Big Data入門ã«è¦‹ã›ã‹ã‘ãŸFluentd入門
2013å¹´7月5æ—¥ã€ç¤¾å†…勉強会ã§ä½¿ç”¨ã—ãŸè³‡æ–™ã§ã™ï¼ˆä¸€éƒ¨ä¿®æ£æ¸ˆã¿ï¼‰ã€‚ ライセンスã¯ã‚¯ãƒªã‚¨ã‚¤ãƒ†ã‚£ãƒ–・コモンズ・ゼãƒã¨ã—ã¾ã™ã€‚ã”自由ã«ãŠä½¿ã„下ã•ã„。 ソースã®PowerPointファイルã¯ã“ã¡ã‚‰ => http://bit.ly/begining_fluentd_learning_big_data fluent-plugin-glusterfsã¯ã“ã¡ã‚‰ => https://github.com/keithseahus/fluent-plugin-glusterfsRead less
「ãªã‚“ã ã‹ã„ã¤ã‚‚ã¨é•ã†ã€ã‚’ fluentd を使ã£ã¦æ¤œçŸ¥ã™ã‚‹ – 異常値検出 –
インフラ・システムé‹ç”¨ã‚’担当ã—ã¦ã„る平野ã§ã™ã€‚ 今回ã¯ã€Œãªã‚“ã ã‹ã„ã¤ã‚‚ã¨é•ã†ã€ã‚’システム監視ã§æ¤œçŸ¥ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 通常ã®ã‚·ã‚¹ãƒ†ãƒ 監視ã§ã¯ã€ç›£è¦–é …ç›®ã«å¯¾ã—ã¦é–¾å€¤ã‚’è¨ã‘〠ãã®é–¾å€¤ã‚’外れãŸã‚‰ç•°å¸¸å€¤ã¨ã—ã¦æ¤œçŸ¥ã™ã‚‹ä»•çµ„ã¿ã‚’å°Žå…¥ã—ã¾ã™ã€‚ ãŒã€å˜ç´”ãªé–¾å€¤ã§ã¯ç‰‡ä»˜ã‘ãŸããªã„ç›£è¦–é …ç›®ã‚‚ã‚ã‚Šã¾ã™ã€‚ 例ãˆã°ã€ã‚¢ã‚¯ã‚»ã‚¹æ•°ãªã‚“ã‹ã¯å¹³å¸¸æ™‚ã«ãŠã„ã¦ã‚‚æ—¥ä¸å¸¯ãƒ»å¤œé–“帯ã§ä¼¸ã³çŽ‡ãŒé•ã„〠低ã„閾値è¨å®šã™ã‚Œã°å¤§é‡ã«ã‚¢ãƒ©ãƒ¼ãƒˆãŒã‚ãŒã‚Šã¾ã™ã—ã€é«˜ã„閾値è¨å®šã«ã™ã‚Œã° ã¡ã‚‡ã£ã¨ã—ãŸè² è·ã§ã¯ã‚¢ãƒ©ãƒ¼ãƒˆæ¤œçŸ¥ã§ãã¾ã›ã‚“。 ã“れらを解決ã™ã‚‹ã«ã¯ã€æ™‚間帯別ã«ç›£è¦–閾値を変更ã™ã‚‹ãªã©ã€é‹ç”¨æ–¹æ³•ã§è€ƒæ…®ã‚’ã„れるã¨æ€ã„ã¾ã™ãŒã€ 今回ã¯ã€Œfluent-plugin-anomalydetect（異常値検出プラグイン）ã€ã‚’利用ã—㦠「ãªã‚“ã ã‹ã„ã¤ã‚‚ã¨é•ã†ã€ã‚’検知ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ◇監視内容 監視対象ã¯å½“社ã®ã¨ã‚るサービスã®Apacheã®ã‚¢ã‚¯ã‚»ã‚¹æ•°ï¼ˆPV）ã¨ã—
fluent-plugin-anomalydetect 作りã¾ã—㟠- PolyPeaceLight
jubatusã§ã‚‚異常値検知ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã°ã‹ã‚Šã§ã™ãŒã€ç°¡å˜ã§ãƒ¡ãƒ¢ãƒªã‚‚食ã‚ãšã«ç•°å¸¸å€¤æ¤œçŸ¥ã§ãã‚‹ã¨ã„ã‚ã„ã‚æ—ã‚‹ã‹ãªãã¨æ€ã„ã€ç•°å¸¸å€¤æ¤œçŸ¥ã®pluginを作りã¾ã—ãŸã€‚ rubygems github 一日動ã‹ã—ã¦ã¿ã¾ã—ãŸãŒã€æ‰‹å…ƒã®ç’°å¢ƒã§ã¯ç‰¹ã«ãƒªãƒ¼ã‚¯ã‚‚ãªãã€fluentd本体ã€ã“ã®pluginã€node.js expressã‚’ç«‹ã¡ä¸Šã’ã€abã§é©å½“ã«è² è·ã‚’ã‹ã‘続ã‘ã¾ã—ãŸãŒã€å…¨ä½“ã§60MBãらã„ã§ã—ãŸã€‚ <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> ã“ã‚“ãªæ„Ÿã˜ã§è¨å®šã™ã‚‹ã¨ã€tickã§æŒ‡å®šã—ãŸæ™‚é–“(秒)ã«access.**ã«å…¥ã£ã¦ãるデータ数を数ãˆã¦ãã‚Œã®ç•°å¸¸å€¤ã‚’スコアリングã—ã¾ã™ã€‚ ã¾ãŸ <match access.**> type anomalydetect tag anomaly.acces
fluent-plugin-redeliverã¨ã„ã†ã®ã‚’書ã„ãŸ
昔ã‹ã‚‰ã¨ã†ã¦ã„世間ã«å…¬è¡¨å‡ºæ¥ãªã„よã†ãªã‚‚ã®ã°ã£ã‹ã‚Šä½œã£ã¦ã„ãŸç§ã§ã™ãŒã€ä»Šå¹´ã®ç›®æ¨™ã«ã€Œãƒ‘ブリックã«ãƒªãƒªãƒ¼ã‚¹å‡ºæ¥ã‚‹ã‚‚ã®(製å“ãŠã‚ˆã³ãƒ©ã‚¤ãƒ–ラリ)ã‚’ãŸãã•ã‚“作るã€ã¨æŽ²ã’ã¦ãŠã‚Šã¾ã—ã¦ã€ãã®ç¬¬ä¸€å¼¾ã¨ã„ã†ã‚ã‘ã§ã¯ãªã„ã§ã™ãŒä»Šã‚’ã¨ãã‚ãイベントãƒã‚°åŽé›†ãƒ„ールã®Fluentã®ãƒ—ラグインを書ãã¾ã—ãŸã€‚ åå‰ã¯redeliverプラグインã§ã™ã€‚ãƒã‚°ã«åˆ¥ã®ã‚¿ã‚°ã‚’ã¤ã‘ã¦å†é€ã™ã‚‹ã‚“ã§ã™ã€‚ å¿…è¦ã«è¿«ã‚‰ã‚Œã¦ä½œã£ãŸæ„Ÿã˜ãªã‚“ã§ã™ãŒã€ä¸€å¿œä½œã‚‹å‰ã«ãã‚‚ãã‚‚ãã†ã„ã†ãƒ—ラグインã‚ã‚Šãã†ã˜ã‚ƒã? ã£ã¦æ€ã£ã¦æŽ¢ã—ã¦ã¿ãŸã‚Šã¯ã—ã¾ã—ãŸã€‚ã™ã‚‹ã¨ãã‚Œã£ã½ã„ã‚‚ã®ã¨ã—ã¦rewriteプラグインã¨rewrite-tag-filterプラグインãŒè¦‹ã¤ã‹ã‚Šã¾ã—ãŸã€‚ã‚ら…ã©ã¡ã‚‰ã®ä½œè€…ã‚‚åå—ã¯é•ã†ã‘ã©Kentaroã•ã‚“ãªã‚“ã§ã™ã…ã£ã¦ãã‚Œã¯ãŠã„ã¦ãŠã„ã¦ã€æ®‹å¿µãªãŒã‚‰ãƒ‰ã‚ュメントèªã‚“ã§ã¿ã‚‹ã¨å¾®å¦™ã«ã¼ãã®ä½¿ã„æ–¹ã«åˆè‡´ã—ãªã„ãŸã‚使ãˆã¾ã›ã‚“ã§ã—ãŸã€‚ ã¼ããŒå¿…è¦ã¨ã—ã¦ã„
超åˆç´šï¼Fluentdã®ãƒ—ラグインを書ããŸããªã£ãŸæ™‚ã®ä¸‹åœ°ã¥ãã‚Š · ã•ã‚ˆãªã‚‰ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆ
January 5, 2013 fluentdã‚’ã¾ã¨ã‚‚ã«å‹•ã‹ã—ãŸã“ã¨ãªã„ã‘㩠プラグイン書ã„ãŸã‚‰ã‚ã‹ã‚‹ã®ã§ã¯ï¼ï¼ï¼Ÿ ã¨æ€ã„ç«‹ã£ã¦å–ã‚Šæ•¢ãˆãšä¸‹åœ°ã ã‘ã¤ãã£ãŸã®ã§ãƒ¡ãƒ¢ã€‚ å‚考 fluentdã®ãŸã‚ã®ãƒ—ラグインをイãƒã‹ã‚‰æ›¸ãæ‰‹é †(bundler版) / tagomorisã®ãƒ¡ãƒ¢ç½®ãå ´ Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本ã¯ã‚‚ã‚Šã™å…ˆç”Ÿã®æ‰‹é †ã«ãã£ã¦è¡Œãˆã°å•é¡Œãªã—。 å‚考ã«ã‚ªãƒ•ã‚£ã‚·ãƒ£ãƒ«ã®ãƒ‰ã‚ュメント㨠@fujiwaraã•ã‚“ã®ã‚·ãƒ³ãƒ—ルãªãƒ—ラグイン @studio3104ã•ã‚“ã®ä¸‹åœ°ã‚’見ãªãŒã‚‰æ›¸ãã¨ãªãŠã‚ˆã—。 ã¾ãŸã€rake testã¾ã§é€šã—ãŸã‚‚ã®ã‚’ https://github.com/kenjiskywalker/fluent-plugin-hoge ã“
daemontoolsã§èµ·å‹•ã—ã¦ã„ã‚‹starmanã®ãƒã‚°ã‚’fluentd㧠- ゆーã™ã‘ã¹ãƒ¼æ—¥è¨˜
fluentdãŒé¢ç™½ãã†ãªã‚“ã§ã€æ•£ã‚‰ã°ã£ã¦ã„ã‚‹Appサーãƒã®ãƒã‚°ã‚’集計ã—ã¦ã¿ãŸã„。 アプリケーション㯠基本ã€Perlã§æ›¸ã‹ã‚Œã¦ã‚‹ Starmanã§å‹•ã‹ã™ .psgiã§ã€Œenable "Plack::Middleware::AccessLog", format => "combined";ã€ã—ã¦ã‚‹ daemontoolsã§ãƒ‡ãƒ¼ãƒ¢ãƒ³åŒ– ã¨ã„ã†æ¡ä»¶ã§ã€fluentdã«ä»˜å±žã®ã‚µãƒ³ãƒ—ルè¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã‚’ã»ã‚“ã®å°‘ã—ã„ã˜ã‚‹ã€‚ tailã—ã¦æ¨™æº–出力ã«å‡ºã™ã ã‘ã ã‘ã©ã€ã„ã„æ„Ÿã˜ã§ã™ã€‚ <source> type tail path /service/bokete_web/log/main/current format /^@[0-9a-z]+ (?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[
dstatã‚’fluentd + GrowthForecastã§å¯è¦–化ã™ã‚‹ - Qiita
dstatã®çµæžœã‚’fluentd経由ã§GrowthForecastã«æŠ•ã’る方法ã¯ã€ããã‚‹ã¨ä½•ä»¶ã‹ãƒ–ãƒã‚°è¨˜äº‹ãŒã§ã¦ãã¾ã™ã€‚ ãŸã ã€ã©ã‚Œã‚‚dstatã‚’æ”¹é€ ã—ãŸã‚Šã€ãƒ—ãƒ©ã‚°ã‚¤ãƒ³ã‚’æ”¹é€ ã—ãŸã‚Šã—ã¦ã¦ã€ã‚ã¾ã‚Šä½¿ã„å‹æ‰‹ãŒã‚ˆãã‚ã‚Šã¾ã›ã‚“。 ã¨ã„ã†ã‚ã‘ã§ã€gemã§ã„れれるプラグインã ã‘を使ã£ã¦ã€å¯è¦–化ã§ãã‚‹è¨å®šã‚’探ã—ã¦ã¿ã¾ã—ãŸã€‚ 準備 å¿…è¦ãªgemをインストールã™ã‚‹ã€‚ <source> type dstat tag dstat option -cm delay 3 </source> # GrowthForecast用ã«ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚’åŠ å·¥ã™ã‚‹ <match dstat> type copy # CPU関連ã®çµæžœã ã‘ã‚’å–り出㙠<store> type map tag "perf.cpu" time time record record['dstat']['total cpu usage'] </store> #
3Dクラスタ監視ツール
最近クラスタã®è² è·çŠ¶æ³ã‚’3Dã§è¡¨ç¤ºã™ã‚‹ã‚ˆã†ãªãƒ„ールを作ã£ã¦ã¾ã™ã€‚ クラスタ監視ツールã£ã¦æ—¢å˜ã®ã‚‚ã®ã‚‚ã‚ã‚‹ã®ã«ã€ãªãœä»Šæ›´ï¼Ÿã¨æ€ã†ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€ æ—¢å˜ã®ã‚‚ã®ã§è¶³ã‚Šãªã„ã¨æ€ã£ã¦ã„ã‚‹ã®ã¯ã€ 1. åæ•°å°ãらã„ã¾ã§ãªã‚‰è‰¯ã„ãŒãれ以上ã«ãªã‚‹ã¨ã‚°ãƒ©ãƒ•ã‚’見るã®ãŒã¤ã‚‰ã„ 2. CPU毎ã€ãƒ‡ã‚£ã‚¹ã‚¯æ¯Žã«è¦‹ã‚Œãªã„ 自分ã®ç›®çš„ã¨ã—ã¦ã¯æ•°ç™¾å°ã¨ã‹ã®è¦æ¨¡ã§Hadoopを実行ã—ã€è² è·çŠ¶æ³ã‚’見れるã“ã¨ã€ 後ã‹ã‚‰ã‚‚実行時ã®çŠ¶æ³ã‚’調ã¹ã¦ãƒœãƒˆãƒ«ãƒãƒƒã‚¯ç‰ã‚’分æžå‡ºæ¥ã‚‹ã‚ˆã†ã«ã™ã‚‹ã“ã¨ã§ã™ã€‚ ãã“ã§ã“ã‚“ãªæ„Ÿã˜ã®ã‚‚ã®ã‚’作りã¾ã—ãŸã€‚ 構æˆã¯ã“ã‚“ãªæ„Ÿã˜ã§ã™ã€‚使用技術ã¯ã€ fluentd + node.js + websocket + webgl (Three.js) ã¨ã„ã£ãŸæ„Ÿã˜ã§ã‹ãªã‚Šæµè¡Œã‚Šã®æŠ€è¡“を使ã£ã¦ã‚‹æ„Ÿã˜ã§ã™ã€‚ å„サーãƒãƒ¼ã®è² è·çŠ¶æ³ã‚’fluentdã§é›†ã‚ã¦ã„ã¾ã™ã€‚自作プラグインfluent-plugin-statã§C
fluentd+MongoDBã§é›†ã‚ãŸApacheãƒã‚°ã®æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ ã‚’Railsã§è©¦ä½œ
Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’fluentdã§é›†ã‚ã¦ãã¦MongoDBã«çªã£è¾¼ã‚“ã§ã€Webã§æ¤œç´¢ã™ã‚‹ã‚·ã‚¹ãƒ†ãƒ ã®è©¦ä½œå“を作ã£ãŸã®ã§ã€ä½œæ¥ãƒã‚°ã‚’残ã™ã€‚ Webã«ã¯Ruby on Railsを使ã†ã“ã¨ã«ã—ãŸã€‚ Ruby on Railsã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ‰‹é †ã¯ã€æœ¬Postã§ã¯çœç•¥ã€‚ å‰æã¨ä»•æ§˜ 今回ã¯ãƒ†ã‚¹ãƒˆç”¨ã®ãŸã‚ã€fluentdã§é›†ã‚ã‚‹ã®ã¯åŒä¸€ã‚µãƒ¼ãƒä¸Šã®Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã®ã¿ã€‚ 環境ã¯CentOS 5.5。 ã¨ã‚Šã‚ãˆãšã€æ¤œç´¢æ¡ä»¶ã¨ã—ã¦ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆIPアドレスã¨æœŸé–“を指定ã§ãるよã†ã«ã—ã¦ã¿ã‚‹ã€‚検索æ¡ä»¶ã®å…¥åŠ›çœç•¥ã‚‚許容ã™ã‚‹ã€‚ クライアントIPアドレスã«ã¯æ£è¦è¡¨ç¾ã‚’使ãˆã‚‹ã‚ˆã†ã«ã™ã‚‹ã€‚ fluentdã¨MongoDBã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« インターãƒãƒƒãƒˆã«è‡ªç”±ã«å‡ºã‚‰ã‚Œãªã„環境ã¸ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‚’見æ®ãˆã€yumã¯ä½¿ã‚ãªã„。 MongoDBã®RPMã¯http://downloads-distro.mongodb.
fluent-agent-lite 㨠td-agent ã§ã€å°ã•ãã¯ã˜ã‚ã‚‹ fluentd - Studio3104::BLOG.new
fluentdを使ã£ã¦ã¿ãŸã„ã‘ã©ã€ã€ŒJSONã§ã‚·ãƒªã‚¢ãƒ©ã‚¤ã‚ºã—ãªãã¦ã„ã„ã®ã«ãƒ»ãƒ»ãƒ»ç”Ÿã§ã„ã„ã®ã«ãƒ»ãƒ»ãƒ»ã€ã¨æ€ã£ã¦ãªã‹ãªã‹ä½¿ã„出ã›ãªã„ã¨ã„ã†ã‚±ãƒ¼ã‚¹ã¯ã¾ã¾ã‚ã‚‹ã®ã§ã¯ãªã„ã§ã—ょã†ã‹ã€‚ ã“ã‚“ãªã¨ãã«å›°ã£ã¦ã—ã¾ã†ã‹ã‚‰ã§ã™ã‚ˆã。 rsyncã‚„scpã§æ¯Žæ—¥æ·±å¤œã«ã‚„ã£ã¦ãる生ãƒã‚°ã‚’解æžã™ã‚‹ã‚¹ãƒ‘ゲッティスクリプトãŸã¡ã‚’使ãˆãªããªã£ã¦ã—ã¾ã† アプリケーションサーãƒã«ãƒã‚°ã‚’パースã•ã›ã‚‹ãŸã‚ã®è² è·ã‚’ã‹ã‘ãŸããªã„ ãã‚Œã§ã‚‚使ã£ã¦ã¿ãŸã„ã€ç¾å˜ã®å¤è‡ã„解æžæ©Ÿæ§‹ã‚’アクティブã«ã—ãŸã¾ã¾ã€å¾ã€…ã«fluentdã«ã‚ˆã‚‹å…ˆé‹çš„ãªãƒã‚°è§£æžã‚’始ã‚られãŸã‚‰ã„ã„ãªã¨æ€ã£ã¦ã„る方〠fluent-agent-lite 㨠td-agent ã§ã€fluentd ã‚’å°ã•ãã¯ã˜ã‚ã¦ã¿ãŸã‚‰ã„ã„ã¨æ€ã„ã¾ã™ã€‚ çµè«–ã‚’å…ˆã«è¨€ã†ã¨ã€fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - takumakanari/fluent-plugin-redmine: Fluentd output plugin to create ticket in redmine
{{#tags}}- {{label}}
{{/tags}}