sonots:blog

• < fluent-agent-lite と fluentd agent の比較(2) 〜 Haikanko OSS化への道(2)
• FluentdとGrowthForecastを使った可視化 〜 Haikanko OSS化への道(4) >

2013年03月27日09:27

カテゴリ

fluentdを使ったログ監視 〜 Haikanko OSS化への道(3)

こんにちは @sonots です。ちょっと間が空いてしまいましたが、Haikanko OSS化への道と称した Fluentd 連載第三回です。過去の記事はこちら

• Haikanko という FLuentd クラスタ管理ツールの話をしてきた #fluentdcasual
  
• fluent-plugin-grepcounter をリリースしました 〜 Haikanko OSS化への道(1) 
  
• fluent-agent-lite と fluentd agent の比較 〜 Haikanko OSS化への道(2)
  

今回は Haikanko が提供する１つのフィーチャー(SIer 的に言うソリューション！)であるログ監視の機能についてお話したいと思います。

やりたいこと

• ログ監視！指定したホストの指定したパスのログファイルに指定したキーワードにマッチする行が現れたら IRC、メールで通知したい
  
• xx 分の間に xx 件以上ヒットしたら通知したい
  
• 通知にはヒットしたログメッセージ全件を貼付けたい

というのを fluentd でやりたい。

実現方法

以前書いた fluent-plugin-grepcounter と、fluent-plugin-ikachan、fluent-plugin-mail を利用して実現しています。

また今回やりたかったことを実現するために、fluent-plugin-ikachan と fluent-plugin-mail に pull request を送らせていただいています。m(_ _)m

設定ファイル

fluent-agent-lite の出力を受け取る fluentd の設定はこんなかんじになっています。

<source>   type forward   port 22000 </source> <match raw.syslog.**>   type copy   <store>     type grepcounter     count_interval 300     input_key message     regexp WARN     threshold 1     add_tag_prefix count     delimiter \n\n   </store> </match> <match count.raw.**>   type copy   <store>     type ikachan     host <ikachan hostname here>     port 4979     channel fluentd_warn     message %s\n[%s] syslog total error count: %s     out_keys message,input_tag_last,count     privmsg_message sonots :D   </store>   <store>     type mail     host <mail hostname here>     from <from address here>     to <to address here>     subject syslog     message total error count: %s\n%s\n/var/log/syslog\n\n%s\n\n--\nreported by fluentd     message_out_keys count,input_tag_last,message   </store> </match>

fluent-plugin-grepcounter の設定

以前書いたので詳しくは fluent-plugin-grepcounter をリリースしました 〜 Haikanko OSS化への道(1)  の記事を参照してください！（手抜き

(2013年12月17日 加筆) オプション指定が若干変わったので修正を加えました。 

<store>     type grepcounter     count_interval 300     input_key message     regexp WARN     threshold 1     add_tag_prefix count     delimiter \n\n   </store>

５分間(count_interval) に WARN にマッチする行が１つ(threshold)でもあれば、後続に出力する設定になってますね。

fluent-plugin-ikachan の設定

以前送ったこちらの pull request で、message に改行文字 \n を指定できるように、また別の pull request で privmsg が送れるように機能追加させて頂いてます！ m(_ _)m

<store>     type ikachan     host <ikachan hostname here>     port 4979     channel fluentd_warn     message %s\n[%s] syslog total error count: %s     out_keys message,input_tag_last,count     privmsg_message sonots :D   </store>

fluent-plugin-grepcounter から渡ってくる JSON が

count.raw.syslog_warn_app_name.host1: {"count":2,"input_tag":"syslog.host1","input_tag_last":"host1","message":"2013/01/13T07:02:13.232645 WARN POST /auth\n2013/01/13T07:02:43.632145 WARN POST /login"}

のようになっている場合、この設定により、#fluentd_warn チャンネルに

ikachan: 2013/01/13T07:02:13.232645 WARN POST /auth ikachan: 2013/01/13T07:02:43.632145 WARN POST /login ikachan: [host1] syslog total error count: 2.0 ikachan: sonots :D

のように通知されます。IRCクライアントが光って気付きやすいですね :D

fluent-plugin-mail の設定

以前送った pull request で subject や message にフォーマット(%s)を指定できるように機能追加させて頂きました。こちらでも message に改行文字 \n を指定できます。

<store>     type mail     host <mail hostname here>     from <from address here>     to <to address here>     subject syslog     message total error count: %s\n%s\n/var/log/syslog\n\n%s\n\n--\nreported by fluentd     message_out_keys count,input_tag_last,message   </store>

fluent-plugin-grepcounter から渡ってくる JSON が

count.raw.syslog_warn_app_name.host1: {"count":2,"input_tag":"syslog.host1","input_tag_last":"host1","message":"2013/01/13T07:02:13.232645 WARN POST /auth\n2013/01/13T07:02:43.632145 WARN POST /login"}

のようになっている場合、この設定により、

From: <from address here> To: <to address here> Subject: syslog total error count: 2.0 host1 /var/log/syslog 2013/01/13T07:02:13.232645 WARN POST /auth 2013/01/13T07:02:43.632145 WARN POST /login -- reported by fluentd

のような内容のメールが送信されてきます。やった！

まとめ

というかんじでログ監視ができるようになりました！

プラグインを１から作ったりもしましたが、その甲斐あってシンプルに実現できるようになりました ^^

Haikanko ではこの設定を、監視設定毎にループを回して自動生成しています。 

次はグラフ描画について一応書いておこうかな。

それでは！

カテゴリなしの他の記事

• sonots
• コメント( 0 )

コメントする

名前
	情報を記憶 評価 -- 1（最低） 2 3 4 5（最高） 顔 星

• < fluent-agent-lite と fluentd agent の比較(2) 〜 Haikanko OSS化への道(2)
• FluentdとGrowthForecastを使った可視化 〜 Haikanko OSS化への道(4) >

そのっつ (SEO Naotoshi)@sonots

A Ruby and Fluentd committer working at DeNA. 記事本文および記事中のコード片は引用および特記あるものを除いてすべて修正BSDライセンスとします。 #ruby #fluentd #growthforecast #haikanko #yohoushi #specinfra #serverspec #focuslight

<% for ( var i = 0; i < 7; i++ ) { %> <% } %> <%= wdays[i] %>

<% for ( var i = 0; i < cal.length; i++ ) { %> <% for ( var j = 0; j < cal[i].length; j++) { %> <% } %> <% } %> 0) { %> id="calendar-3742585-day-<%= cal[i][j]%>"<% } %>><%= cal[i][j] %>

はてぶ人気エントリー

人気記事

最新記事

ブログ移行

ISUCON8 の予選問題出題を担当した

objdump でインライン展開を追う

perf でアプリケーションのプロファイリング

Rubyアソシエーション開発助成成果報告会で Cumo の報告をしてきた

Optimized C++ を読んだ

RubyKaigi 2018 で Cumo の話をしてきた

pybind11 に contribution した

valgrind --tool=callgrind で CPU profiling

「Linux の仕組み」を読んだ

'); label.html('\ ライブドアブログでは広告のパーソナライズや効果測定のためクッキー(cookie)を使用しています。
\ このバナーを閉じるか閲覧を継続することでクッキーの使用を承認いただいたものとさせていただきます。
\ また、お客様は当社パートナー企業における所定の手続きにより、クッキーの使用を管理することもできます。
\ 詳細はライブドア利用規約をご確認ください。\ '); banner.append(label); var closeButton = $(''); closeButton.attr('type', 'button'); closeButton.html('閉じる'); closeButton.on('click', function() { $('#gdpr-banner').hide(); document.cookie = cookieName + '="1";expires=Tue, 31-Dec-2037 00:00:00 GMT;path=/;'; }); banner.append(closeButton); banner.css({ 'position': 'fixed', 'left': '0', 'right': '0', 'bottom': '0', 'background': '#dcdcdc', 'color': '#000', 'padding': '20px', 'text-align': 'center', 'box-shadow': '0 -2px 2px rgba(102, 102, 102, 0.86)', 'z-index': '2147483647', }); label.css({ 'display': 'inline-block', 'text-align': 'left', 'font-size': '14px', 'color': '#000', 'vertical-align': 'middle', 'line-height': '1.5', }); closeButton.css({ 'display': 'inline-block', 'color': '#fff', 'border': 'none', 'font-size': '14px', 'padding': '4px 40px', 'margin-left': '40px', 'background': '#535353', 'vertical-align': 'middle', }); var script = document.createElement('script'); script.type = "text/javascript"; script.src = "https://ipcheck.blogsys.jp/check.js?t=" + Date.now(); script.onerror = function() { $('body').append(banner); }; document.body.appendChild(script); }); })(jQuery);