ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
•
205 likes•65,638 views
発表レポートブログはこちらです。 http://y-ken.hatenablog.com/entry/elasticsearch-meetup-vol2
![JDBCの利用 TreasureData編
_riverに設定を登録します
$ curl -XPUT 'localhost:9200/_river/td_jdbc_river/_meta' -d '{
"type" : "jdbc",
"jdbc" : {
"driver" : "com.mysql.jdbc.Driver",
"url" : "jdbc:td://api.treasure-data.com/mywebsite",
"user" : "foo@example.com",
"password" : "your_td_password",
"strategy" : "oneshot",
"sql" : "select v['''member_id'''] as `_id`, v['''action'''] AS
action from foo",
},
"index" : {
"index" : "jdbc_td",
"type" : "test_action"
}
}'
page 37](https://image.slidesharecdn.com/elasticsearchkibnanafluentdmanagementtips-131112110924-phpapp01/85/ElasticSearch-Kibana-37-320.jpg)
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
- 1. 12th Nov, 2013 ElasticSearch+Kibanaでログデータの検索と 視覚化を実現するテクニックと運用ノウハウ Kentaro Yoshida in 第2回 ElasticSearch勉強会 page 1
- 2. 1. はじめに 2. 自己紹介 本日の流れ 3. Kibana v3 4. システム構成例 5. JDBCの利用 6. 運用ノウハウ 7. まとめ 8. 次回予告 page 2
- 4. 引用元 site:http://www.elasticsearch.org/ - Google 検索 page 4
- 5. 引用元 site:http://www.elasticsearch.org/ - Google 検索 page 5
- 6. 引用元 site:http://www.elasticsearch.org/ - Google 検索 page 6
- 7. 引用元 site:http://www.elasticsearch.org/ - Google 検索 page 7
- 8. 引用元 site:http://www.elasticsearch.org/ - Google 検索 page 8
- 9. “Kibana” is a great Log Visualization Tool!! page 9
- 10. 2. 自己紹介 page 10
- 11. 自己紹介 • よしけんさん • (株)リブセンス • Web系インフラの 研究開発エンジニア 好きなプロダクト page 11
- 12. お知らせ
- 14. 3. Kibana v3 page 14
- 15. Kibana v3 時間軸ベースのログの検索&視覚化ツール UIがやたら格好イイ クエリ言語を覚える必要は無い 時刻データを持つログファイルに特化している 例えば、Webサーバのアクセスログや、アプリログ Fluentd (Ruby) や、LogStash (JAVA) からElasticSearchに流し込む 例えばFluentdの fluent-plugin-geoip を用いて、アクセス元のIP から求められる地域情報をKibanaの地図にプロットも出来ます page 15
- 23. システム構成例 次のソフトウェアを組み合わせた構成の説明を行います フロントエンド : Nginx Kibanaの静的ファイル配信と認証 検索システム：ElasticSearch KibanaからのリクエストをNginxを通して処理 Fluentdからのログデータの流し込み先 ログアグリゲータ：Fluentd 位置情報付与のために fluent-plugin-geoip ElasticSearchへの出力のために fluent-plugin-elasticsearch page 23
- 24. Nginx設定例 upstream elasticsearch { server 127.0.0.1:9200; } server { listen server_name access_log *:8080 ; kibana.myhost.org; /var/log/nginx/kibana.myhost.org.access.log; satisfy any; allow 192.168.0.0/16; allow 10.0.0.0/8; allow 127.0.0.1; deny all; auth_basic "Restricted"; auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd; location /kibana/ { root /usr/share/nginx/www; index index.html index.htm; } } page 24 location / { proxy_pass http://elasticsearch; proxy_read_timeout 90; }
- 25. Fluentdとの連携サンプル Apacheのアクセスログの IPアドレスを基に地域情報の抽出を行う fluent-plugin-geoipを利用する MaxMind社が提供しているgeoipデータベースを用いる 上記のFluentd Pluginには無償版のGeoLiteCityが同封されているのでそ のまま使えるが、有償版のデータベースファイルも利用可能 gem ‘geoip-c’を利用するため、事前にインストールする必要がある RHEL/CentOS：GeoIP-devel, Ubuntu/Debian：libgeoip-dev 参考 http://y-ken.hatenablog.com/entry/fluent-plugin-geoip-v0.0.4 page 25
- 26. Fluentdとの連携サンプル <source> type forward </source> <source> type monitor_agent bind 0.0.0.0 port 24220 </source> <match apache.access> type geoip add_tag_prefix es. geoip_lookup_key host enable_key_country_code geoip_country </match> <match es.apache.access> type elasticsearch host localhost port 9200 type_name apache include_tag_key true tag_key @log_name logstash_format true logstash_prefix apache flush_interval 10s buffer_type file buffer_path /var/log/td-agent/buffer/es buffer_chunk_limit 100m buffer_queue_limit 500 retry_wait 10s </match> page 26
- 27. Fluentdとの連携サンプル 他にも、こんなことも出来ます fluent-plugin-munin を利用した、H/Wメトリクス情報の収集と検索 fluent-plugin-dstat を利用した、リソース監視情報の収集と検索 fluent-plugin-twitter を利用した、ツイートの収集と検索 page 27
- 28. Fluentdとの連携サンプル もっといろいろなデータを入れたくなりませんか？ このように集計することで生きるデータはアクセスログに限りません MySQLや Hadoop (TreasureData) のレコードにも埋もれています page 28
- 32. JDBCの利用 インストール方法 インストール後、ElasticSearchを再起動して反映 curlコマンドでプラグイン一覧を確認すると良いでしょう $ $ $ $ page 32 cd /usr/share/elasticsearch sudo ./bin/plugin --install river-jdbc -url http://bit.ly/1iovWV9 sudo /etc/init.d/elasticsearch restart curl "http://localhost:9200/_nodes?pretty&plugin=true"
- 34. JDBCの利用 MySQL編 JDBCドライバをダウンロードします http://dev.mysql.com/downloads/connector/j/ ダウンロードした.jarファイルを次のディレクトリへ格納します $ sudo cp -a mysql-connector-java-5.1.27-bin.jar /usr/share/ elasticsearch/plugins/river-jdbc/ ElasticSearchを再起動して読み込ませます $ sudo /etc/init.d/elasticsearch restart page 34
- 35. JDBCの利用 MySQL編 _riverに設定を登録します curl -XPUT 'localhost:9200/_river/mysql_jdbc_river/_meta' -d '{ "type" : "jdbc", "jdbc" : { "driver" : "com.mysql.jdbc.Driver", "url" : "jdbc:mysql://localhost:3306/test", "user" : "your_mysql_user", "password" : "your_mysql_password", "strategy" : "oneshot", "sql" : "select * from orders", }, "index" : { "index" : "jdbc_mysql", "type" : "test_orders" } }' page 35
- 36. JDBCの利用 TreasureData編 JDBCドライバをダウンロードします http://docs.treasure-data.com/articles/jdbc-driver ダウンロードした.jarファイルを次のディレクトリへ格納します $ sudo cp -a td-jdbc-0.2.2-jar-with-dependencies.jar /usr/share/ elasticsearch/plugins/river-jdbc/ ElasticSearchを再起動して読み込ませます $ sudo /etc/init.d/elasticsearch restart page 36
- 37. JDBCの利用 TreasureData編 _riverに設定を登録します $ curl -XPUT 'localhost:9200/_river/td_jdbc_river/_meta' -d '{ "type" : "jdbc", "jdbc" : { "driver" : "com.mysql.jdbc.Driver", "url" : "jdbc:td://api.treasure-data.com/mywebsite", "user" : "[email protected]", "password" : "your_td_password", "strategy" : "oneshot", "sql" : "select v['''member_id'''] as `_id`, v['''action'''] AS action from foo", }, "index" : { "index" : "jdbc_td", "type" : "test_action" } }' page 37
- 49. Q. 便利プラグインが知りたい 管理系プラグイン：少なくともHQとbigdeskは入れましょう HQ：データのブラウズやインデックス管理が出来て便利 head：データの簡易ブラウズが出来て便利 bigdesk：JXM的な負荷確認やクラスター管理に便利 $ $ $ $ page 49 cd /usr/share/elasticsearch sudo ./bin/plugin --install royrusso/elasticsearch-HQ sudo ./bin/plugin --install mobz/elasticsearch-head sudo ./bin/plugin --install lukas-vlcek/bigdesk
- 53. Q. 便利な保守ツールが知りたい 指定日数より前のLogStash形式のインデックスを削除するツール Kibanaを利用するなら定期実行する必要があります logstash-%{+YYYY.MM.dd} （例：logstash-2013.11.12） といったインデックスが日時で作られます どちらも便利ですが、prefix文字列の指定が出来る後者がお勧めです CentOS 6.4にて動作確認済みです https://github.com/bloonix/logstash-delete-index https://github.com/crashdump/logstash-elasticsearch-scripts page 53
- 57. Q. Fluentd連携時のTipsが知りたい fluent-plugin-elasticsearch のバッファ設定に注意 計画停止時の未転送ログ消失を避けるため、buffer_type fileを推奨 ElasticSearchのメンテナンス中に転送待ちログが溢れないように、 buffer_chunk_limit と buffer_queue_limitのチューニングが必要 例えば1分100MBのログ流量で30分メンテナンスするならば、 次の式を満たす必要があります。 3000MB < buffer_chunk_limit * buffer_queue_limit 最大でbuffer_queue_limitの数だけファイルが開いたままの状態とな るため、 Too many open files エラーに気をつけましょう page 57
- 59. 7. まとめ page 59
- 61. 8. 次回予告 page 61
- 63. お知らせ
- 64. お知らせ