(｡･ω･)ﾉﾞ fluentd elasticsearch 過去ログを一括でいれる | (σ・∀・)σ ぴんちゃん

(｡･ω･)ﾉﾞ fluentd elasticsearch 過去ログを一括でいれる | (σ・∀・)σ ぴんちゃん

ま、こういう話になりますよね 正直、こういう仕事が一番嫌ですね 何があるかわからないからねぇ nginx ...概要を表示 ま、こういう話になりますよね 正直、こういう仕事が一番嫌ですね 何があるかわからないからねぇ nginx のアクセスログを Json に変更して、 一括で elasticsearch にバルクインサートする 結果、25万件のアクセスログを 3分で Json に変更して、 10分でバルクインサートできた トータルで 15分ぐらいかかる Json のバルクインサートについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html パラメーターについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-http.html 以下、やったこと

• nginx
• JSON