umegusa's blog

備忘録

ログ解析勉強会に参加してきました!

勉強会レポートです

お久しぶりです。
今回はこちらの勉強会に行ってきたので議事録的なメモを残します。
ログ分析勉強会 vol.1loganalytics.connpass.com

最近は勉強会に積極的に参加して何か持って帰れないかなーと毎回思ってます。
ただわりと土日はゆっくりしているのでたまには

発表枠

今回のテーマは「セキュリティを中心としたログ分析」でした。
アクセスログ、syslog、DBクエリログなど様々なログを分析し、
何かしらの要因の特定や攻撃者の行動を特定する、などに利用します。

ただ、永遠と流れるログを目grepでやるには辛すぎる!ということで
分析ツールを使用してわかりやすくカスタマイズしたり
独自の可視化環境を作ったりして、分析しやすい環境を作りましょうというお話です。
また、可視化することで今まで気づけなかったログやユーザーパターン、
攻撃者の行動を読み取ることもできるようになっていました。

ログ分析ツール

ログ分析ツールは大きく分けて3種類です。

各フォーマットにより、必要な情報をパースし、特定の場所にログを投げる役割をするツールです

収集したログに対して何らかの条件で抽出する全文検索ツールです

検索されたログや、特定条件に合ったログをグラフなどで可視化するツールです

上記をうまく組み合わせて(もしくはすべてをサポートしているものを使用して)ログの可視化を行います。

ツール

自分が軽く調べた & 勉強会で知ったツールとは下記のようになります。

ツール 役割 備考
fluentd ログ収集 今流行りのログ収集ツール。今回の勉強会でも結構使っているところが目立った。
Logstash ログ収集 Elastic社が作成したログ収集ツール。Elasticsearchやkibanaと同じところで作られてるので親和性が高い。
Log Parser ログ収集 ログをパースする古き良きログ分析ツール
Elasticsearch 全文検索 全文検索エンジン。ELK*1環境やEFK*2環境が最近の流行り。プラグインなどの拡張も可能。
Kibana 可視化 ログの可視化。簡単な設定で様々な形態に可視化できる。
Splunk すべてをサポート ログの収集・全文検索・可視化まですべてやってくれるリッチなツール。ただし有償。

個人的にはEFK環境で十分いろいろなことができるなという印象でした。
Splunkはリッチですが、その分使い方の勉強などが必要なので(ただしできることは相当多い)、
ライトな感じでとりあえず可視化だけ、、ということならそれで充分かなという印象です。
がっつりやるならSplunkの導入も普通にありだと思えるクオリティの高さでした。

最後に

ログの可視化、結構注目されている技術ですね。
実際に稼働させている会社さんも多いみたいです。
(connpassのページに記載してある会社も実際に導入されているそうです)

ログ分析勉強会は近々vol.2も開催されるようですので、もし日程が合いそうならまた参加してみたいです。
それでは、またどこかで!

*1:Elasticsearch + Logstash + Kibana

*2:Elasticsearch + fluentd + Kibana