hsano.jp

Note from daily life.

FastlyのリアルタイムログストリーミングでElasticsearchを使う

Posted at — Oct 16, 2019

Fastly Yamagoya

FastlyがElasticsearch連携をサポート

10月15日にFastlyブログに公開された、「Fastly’s real-time log streaming support extends to Apache Kafka and Elasticsearch」で告知されていますが、リクエストベースの限定提供ということで、ElasticsearchとKafkaそれぞれにログを供給する機能が発表されました。

全文検索として知られていたElasticsearchですが、昨今はリアルタイムなログ収集・分析に使われることが増え、私の周りはほとんどログを扱うために使うというケースになっています。

設定手順はQiitaに

Qiitaの「FastlyからElasticsearchにログを送る(Log Streaming)」に、Fastlyのログストリーミングの宛先としてElasticsearchを利用する大まかな流れを書きました。

Fastlyがログの書き込みに使うユーザーの、ロールが持つ権限に注意が必要です。

IngestlyもFastly+Elasticsearchに対応しています

Ingestly Endpointには、Elasticsearchに最適化したLog Formatと、ElasticsearchがIngestlyのログを確実・適切に扱えるようにするためのMapping Templateが含まれています。

一式は ingestly/ingestly-endpoint/Elasticsearch から入手してください。

特徴としては…

おわりに

Elasticsearch連携を使っている人がまだ少ないので、検証が十分でない可能性はあります。

しかしElasticsearch/Kibanaを使ったデータ探索の利便性、可視化の柔軟性はElasticsearchがダントツ優れていると思います。 Elastic Cloudを使えば、EC2で時前で建てるのとほとんど変わらないコストで認証機能を含め必要な機能をすぐにセットアップできますし、形態素解析プラグインを有効化すれば、日本語でもキーワード分析が可能になります。ユーザーの興味関心を分析するような場合に便利でしょう。

フィードバックがあれば、GitHubでIssueを作成してください。

comments powered by Disqus