「Fluentd Meetup 2015 å¤ã€ã§ç™ºè¡¨ã—ãŸå†…容ã§ã™ã€‚
fluentdã«ã‚ˆã‚‹å¤§è¦æ¨¡ã‚ューè¨è¨ˆ
「Fluentd Meetup 2015 å¤ã€ã§ç™ºè¡¨ã—ãŸå†…容ã§ã™ã€‚
2種類ã®ãƒã‚°è§£æžåŸºç›¤ - wyukawa's diary
僕ã¯ä»•äº‹ã§ã¯2種類ã®ãƒã‚°è§£æžåŸºç›¤ã‚’見ã¦ã„ã¾ã™ã€‚ 1ã¤ç›®ã¯ã©ã¡ã‚‰ã‹ã¨ã„ã†ã¨ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚ˆã‚Šã®è§£æžåŸºç›¤ã§ã‚µãƒ¼ãƒ“スå´ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãŒShib, ShibUIを通ã—ã¦å¥½ãã«ã‚¯ã‚¨ãƒªã‚’投ã’ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ãŸã ã—tableã‚’createã—ãŸã‚Šdropã—ãŸã‚Šinsertã—ãŸã‚Šã¯ã§ãã¾ã›ã‚“。selectã®ã¿ã§ã™ã€‚データã®æ›´æ–°ä½œæ¥ã¯åˆ¥é€”cronã®hive batchã§è¡Œã„ã¾ã™ã€‚データã¯Fluentd経由ã§å„サービスã®ã‚µãƒ¼ãƒãƒ¼ã‹ã‚‰åŽé›†ã—ã¾ã™ã€‚ã“ã£ã¡ã®ã‚·ã‚¹ãƒ†ãƒ ã¯å¤ãã‹ã‚‰ã‚ã£ã¦åƒ•ã¯å¼•ã継ã„ã ã ã‘ãªã®ã§è¦‹ã¦ã„ã‚‹ã¨ã¯ã„ã£ã¦ã‚‚ãã‚“ãªã«ã‚„ã‚‹ã“ã¨ã¯ç„¡ã„ã§ã™ã—ã€èªžã‚Œã‚‹ã“ã¨ã‚‚å°‘ãªã„ã§ã™ã€‚ 2ã¤ç›®ã¯ç´„1å¹´å‰ã«åƒ•ãŒä¸€ã‹ã‚‰æ§‹ç¯‰ã—ãŸã‚·ã‚¹ãƒ†ãƒ ã§ãƒ—ランナーよりã®ã‚·ã‚¹ãƒ†ãƒ ã«ãªã£ã¦ã¾ã™ã€‚僕ã®ãƒãƒ¼ãƒ 内ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã ã‘ãŒrawデータを触ã£ãŸã‚Šæ›´æ–°ã—ãŸã‚Šã™ã‚‹ã“ã¨ãŒã§ãã¦ã€ãƒ—ランナーã¯ãƒ¬ãƒãƒ¼ãƒˆã‚’通ã—ã¦åŠ å·¥ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’見る形ã«ãªã‚Šã¾ã™ã€‚ãªã®ã§1ã¤ç›®ã®ã‚·ã‚¹
Fluentdã®ç¾å®Ÿè£…ã®Pros/Cons - Go ahead!
TODO: å¿…è¦ãªã‚‰å›³ã‚’足㙠他ã«æ›¸ã„ãŸæ–¹ãŒè‰¯ã„Pros/Consã®ãƒªã‚¯ã‚¨ã‚¹ãƒˆãŒã‚ã£ãŸã‚‰è¿½è¨˜ 内部ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚¹ãƒˆãƒªãƒ¼ãƒ ã®æ‰±ã„ Pros: InputãŒã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルã«å®Ÿè£…ã—ã‚„ã™ã，データストリームをæ£å¸¸æ™‚/エラー時ã§åˆ‡ã‚Šæ›¿ãˆã‚„ã™ã„ Cons: エラーãƒãƒ³ãƒ‰ãƒªãƒ³ã‚°ãŒãƒ–ãƒãƒƒã‚ングモデルよりも複雑ã«ãªã‚Šã‚„ã™ã„ 以下長々ã¨ç†ç”±æ›¸ãã¾ã™ï¼Ž Fluentdã¯ã‚¤ãƒ™ãƒ³ãƒˆã‚¹ãƒˆãƒªãƒ¼ãƒ を効率良ã，ã¾ãŸãƒãƒã‚¹ãƒˆã«æ‰±ã†ã“ã¨ã‚’目的ã«è¨è¨ˆã•ã‚Œã¦ã„ã¾ã™ï¼Žãã®ãŸã‚，独自ã®è»¢é€ãƒ—ãƒãƒˆã‚³ãƒ«(forwardプラグイン)を実装ã—ã¦ã„ã¾ã™ã—，内部ã®ã‚¤ãƒ™ãƒ³ãƒˆã®ãƒãƒ³ãƒ‰ãƒªãƒ³ã‚°ã‚‚ãã‚Œã«æ²¿ã†ã‚ˆã†ã«ãªã£ã¦ã„ã¾ã™ï¼ŽãŸã ，ãã‚Œã«ã‚ˆã£ã¦ç›¸æ€§ã®æ‚ªã„æ“作ã¨ã‹ã‚‚ã‚ã‚Šã¾ã™ï¼Ž Fluentdã¯ãƒãƒƒãƒ•ã‚¡æ©Ÿèƒ½ã‚’æä¾›ã—ã¦ãŠã‚Šï¼Œã“ã‚Œã«ã‚ˆã£ã¦è»¢é€ã®åŠ¹çŽ‡åŒ–ã¨ã‚¨ãƒ©ãƒ¼æ™‚ã®ãƒ‡ãƒ¼ã‚¿ãƒã‚¹ã‚’防ãè¨è¨ˆã«ãªã£ã¦ã„ã¾ã™ï¼ŽãŒï¼Œã‚ã¾ã‚Šã«ã‚‚書ãè¾¼ã¿å…ˆãŒé…ã„ãªã©ã®å•é¡ŒãŒã‚ã‚‹ã¨ï¼Œãƒãƒƒãƒ•ã‚¡ã®åˆ¶é™ã‚’超ãˆã¦
Treasure Agent 2.2.0ã®ãƒªãƒªãƒ¼ã‚¹ - Qiita
ã™ã§ã«ã‚¢ãƒŠã‚¦ãƒ³ã‚¹æ¸ˆã¿ã§ã™ãŒï¼ŒTreasure Agent(td-agent) 2.2.0を出ã—ã¾ã—㟠td-agent 2.2.0 - Google Groups パッケージ内ã®æ›´æ–°ã¯ä»¥ä¸‹ã®é€šã‚Šã§ã™ï¼Ž fluentd v0.12.7 fluent-plugin-s3 v0.5.7 fluent-plugin-mongo v0.7.8 td v0.11.8.2 fluentd-ui v0.3.18 ruby 2.1.5 json 1.8.2 cool.io 1.3.0 Amazon Linux support fluentd v0.12 ã“ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‹ã‚‰ï¼ŒfluentdãŒv0.10ã§ã¯ãªãv0.12ç³»ãŒä½¿ã‚れるよã†ã«ãªã‚Šã¾ã—ãŸï¼Žãã®çµæžœï¼ŒFilter/Label，forwardプラグインã§ã®at-least-onceãªã©ãŒä½¿ãˆã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã™ï¼Ž ã“れらã®æ©Ÿèƒ½ã«é–¢ã—ã¦ã¯ï¼Œv0.12ã®ãƒªãƒªãƒ¼ã‚¹
Fluentdã¨ã¯ã©ã®ã‚ˆã†ãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãªã®ã‹ - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
Fluentd ã¨ã„ã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãŒã‚る。日本国内ã§ã¯ãã“ãã“話題ã«ãªã£ã¦ããŸãŒã€ä½•ãŒã§ãã‚‹ã®ã‹ã€ä½•ã«ä½¿ã†ã¨å¬‰ã—ã„ã®ã‹ã€ä½•ã«ä½¿ãˆã‚‹ã®ã‹ã€ã¨ã„ã†ç‚¹ã«ã¤ã„ã¦è©³ç´°ã‚’よã知らãªã„ã¨ã„ã†äººã‚‚ãŠãらãã¾ã 多ã„ã“ã¨ã§ã—ょã†ã€‚ ãªã®ã§ã€ç°¡å˜ã«ã¾ã¨ã‚る。 http://fluentd.org/ ãªãŠä»¥ä¸‹ã®å€‹åˆ¥é …ç›®ã”ã¨ã«æ›¸ã„ã¦ã„ããŒã€ãã®æ‰‹å‰ã«ã¾ã¨ã‚ã‚’ç½®ã„ã¦ãŠãã®ã§å¿™ã—ã„人ã¯ãã‚Œã ã‘èªã‚€ã¨ã‚ˆã„。インストールやè¨å®šã«ã¤ã„ã¦ã¯å°Žå…¥éƒ¨åˆ†ã«ã¤ã„ã¦ã¯æ—¥æœ¬èªžã®è¨˜äº‹ã¯ã‚‚ã†å¤šãã‚ã‚‹ã®ã§ã€è§¦ã‚Œãªã„。 æ¦‚è¦ ã§ãã‚‹ã“㨠ãƒã‚°ã®åŽé›† センサデータç‰ã®åŽé›† 汎用データ処ç†ãƒ—ãƒã‚»ãƒƒã‚µã¨ã—ã¦ é »å‡ºãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ ãƒã‚°ã®åŽé›† データã®é›†ç´„ ç°¡å˜ãªãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 集計 ソフトウェアã¨ã—ã¦ã®ç‰¹å¾´ コア プラグイン 安定性 性能 開発体制 コミュニティ ã¶ã£ã¡ã‚ƒã‘ã©ã†ãªã®ï¼Ÿ ã¾ã¨ã‚ ç¾æ™‚点ã§ã€è¤‡æ•°ã®å ´æ‰€ã«åˆ†æ•£ã—ãŸãƒ‡ãƒ¼ã‚¿ã‚„常ã«å¢—ãˆç¶šã‘るデータã®å®‰å…¨ãªè»¢
グリー技術者ãŒèžã„ãŸã€fluentdã®æ–°æ©Ÿèƒ½ã¨Treasure Dataå¤æ©‹æ°ã®é‡Žå¿ƒ
fluentdã®ã»ã‹ã«ã‚‚ãƒã‚¤ãƒŠãƒªã‚·ãƒªã‚¢ãƒ©ã‚¤ã‚¼ãƒ¼ã‚·ãƒ§ãƒ³ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã€ŒMessagePackã€ã®é–‹ç™ºãªã©ã§çŸ¥ã‚‰ã‚Œã‚‹å¤æ©‹æ°ã ãŒã€å¦ç”Ÿæ™‚代ã‹ã‚‰ãã®æŠ€è¡“力ã®é«˜ã•ã«ã¯å®šè©•ãŒã‚ã‚Šã€æ³¨ç›®ã•ã‚Œç¶šã‘ã¦ããŸã‚¹ãƒ¼ãƒ‘ーエンジニアã§ã‚‚ã‚る。 今回ã€fluentdã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ã§ã‚‚ã‚ã‚Šã€å¤æ©‹æ°ã¨ã¯æ—§çŸ¥ã®ä»²ã§ã‚‚ã‚るグリー 開発本部 リーダーã®æ£®ç”°æƒ³å¹³æ°ãŒã‚¤ãƒ³ã‚¿ãƒ“ュアーã¨ãªã‚Šã€fluentdã«ã¾ã¤ã‚るトピックやã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã§ã®é–‹ç™ºã€ã‚ªãƒ¼ãƒ—ンソースã¸ã®æƒ³ã„ãªã©ã‚’訊ã„ã¦ã„る。本稿ã§ã¯ã€ãã®æ¨¡æ§˜ã‚’ãŠä¼ãˆã—ãªãŒã‚‰ã€â€œã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒ»å¤æ©‹è²žä¹‹â€ã®é…力ã«è¿«ã£ã¦ã¿ãŸã„。 fluentd v11ã®æ³¨ç›®ãƒã‚¤ãƒ³ãƒˆ 森田　ã¾ãšã¯ã€ã‚°ãƒªãƒ¼ã§ã‚‚大変ãŠä¸–話ã«ãªã£ã¦ã„ã‚‹fluentdã«ã¤ã„ã¦ã€ã„ã‚ã„ã‚èžã‹ã›ã¦ãã ã•ã„。開発ä¸ã®æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ï¼ˆv11）ã§ã¯ã€ã‹ãªã‚Šå¤§ããªå¤‰æ›´ã‚„æ©Ÿèƒ½è¿½åŠ ãŒã‚ã‚‹ã¨ä¼ºã£ã¦ã„ã¾ã™ãŒã€æ³¨ç›®ãƒã‚¤ãƒ³ãƒˆã‚’ã„ãã¤ã‹æ•™ãˆã¦ã‚‚らãˆã¾ã™ã‹ã€‚ フィルタ
Fluentdã¨Riakã®è©± - After Coding
Fluentdã¯ã€Ruby製ã®ãƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ã 。コードã¯å…¬é–‹ã•ã‚Œã¦ã„る。 様々ãªãƒã‚°ã‚’æ§‹é€ åŒ–ã—ã¦ä¸€å…ƒç®¡ç†ã™ã‚‹ã“ã¨ãŒã§ãã€åŽé›†ã¨è§£æžã¸ã®ãƒãƒ¼ãƒ‰ãƒ«ã‚’大ãã下ã’ã¦ãれる。 インストールもプラグイン開発も簡å˜ã€‚日本語ã®è³‡æ–™ã‚‚多ã„。 ãã®è³‡æ–™ã‚‚様々ã‚ã‚‹ãŒã€ãƒ—ラグインを見るãªã‚‰ã“ã‚ŒãŒæœ€è‰¯ã ã¨æ€ã†ã€‚å¿…è¦ãªæƒ…å ±ãŒã‚ˆãã¾ã¨ã¾ã£ã¦ãŠã‚Šã€å¿…èªã¨ã„ãˆã‚‹ã€‚ Big Data入門ã«è¦‹ã›ã‹ã‘ãŸFluentd入門 from Keisuke Takahashi データã®ç¢ºå®Ÿãªè»¢é€ã‚’実ç¾ã™ã‚‹ãƒãƒƒãƒ•ã‚¡æ©Ÿèƒ½ã«ã¤ã„ã¦ã¯ã€æ± 田大輔ã•ã‚“ã®ãƒ–ãƒã‚°ãŒè©³ã—ã„。ã•ã¦ã€Fluentdã¯ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ã—ã¦ãれるãŒã€ä¿å˜ã¯ã—ã¦ãã‚Œãªã„。 永続化ã«ã¯ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ãŒå¿…è¦ã 。 ãã“ã§ã€Riak。 Basho社ãŒã‚¹ãƒãƒ³ã‚µãƒ¼ãƒ‰ã™ã‚‹Erlang製分散型KVS。ã“れもOSSã ãŒã€å¥‘ç´„ã«ã‚ˆã£ã¦å•†ç”¨ã‚µãƒ¼ãƒ“スãŒå—ã‘られる。 ã“ã‚ŒãŒã¾ãŸã‚¨ãƒƒã‚¸ç«‹ã¡ã¾ãã£ã¦ã¦
Fluentdã®ä»•çµ„ã¿ -ãƒãƒƒãƒ•ã‚¡æ©Ÿèƒ½ã§ãƒã‚°åŽé›†æ¼ã‚Œã‚’防ã- - Tech-Sketch
OSSã®ãƒã‚°åŽé›†ç®¡ç†ãƒ„ールFluentdを用ã„ã¦ãƒã‚°ã‚’çµ±åˆç®¡ç†ã—ã¦ã„ã‚‹å ´åˆã®æ‡¸å¿µç‚¹ã¨ã—ã¦ã€ãƒã‚°ã®åŽé›†æ¼ã‚ŒãŒè€ƒãˆã‚‰ã‚Œã¾ã™ã€‚ Fluentdã§ã¯ã€ãƒãƒƒãƒ•ã‚¡æ©Ÿèƒ½ã‚’活用ã™ã‚‹ã“ã¨ã§ãƒã‚°ã‚’åŽé›†æ¼ã‚Œã™ã‚‹ã“ã¨ãªã確実ã«åŽé›†ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ ã“ã®ãƒãƒƒãƒ•ã‚¡æ©Ÿèƒ½ã®ãƒ¡ã‚«ãƒ‹ã‚ºãƒ ã‚’ç†è§£ã™ã¹ã動作検証ã—ãŸçµæžœã‚’紹介ã—ã¾ã™ã€‚対象ã¨ã™ã‚‹Fluentdã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯0.10.30ã§ã™ã€‚ Fluentdã¨ã¯ Ruby実装ã®OSSã®ãƒã‚°åŽé›†ç®¡ç†ãƒ„ールã§ã™ã€‚ Fluentdã¯ã€Inputã€Bufferã€Outputã®3ã¤ã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã§å®Ÿç¾ã•ã‚Œã¦ã„ã¾ã™ã€‚ 様々ãªå ´æ‰€ã‹ã‚‰ãƒã‚°ã‚’åŽé›†ã€JSONå½¢å¼ã«å¤‰æ›ã—(Input)ã€è“„ç©(Buffer)ã€æ§˜ã€…ãªå‡ºåŠ›å…ˆã«ãƒ‡ãƒ¼ã‚¿å‡ºåŠ›(Output)ã—ã¾ã™ã€‚ 例ã¨ã—ã¦ã€ã‚るサーãƒ(server01)ã®Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’別ã®ã‚µãƒ¼ãƒ(server02)内ã«ãƒ•ã‚¡ã‚¤ãƒ«ã¨ã—ã¦å‡ºåŠ›ã™ã‚‹å ´åˆ
「fluentdã€ã¨ã€ŒStormã€ã®æ¯”較ã«ã¤ã„㦠- Tous Les Jours 攻防記
ã¾ãšã€ä¸¡è€…ã¯ã‹ãªã‚Šæ€§è³ªã®ç•°ãªã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆãªã®ã§ã€ä»¥ä¸‹ã®æ¯”較ã¯ç‹é•ã„。 ç‹é•ã„ã§ã‚ã‚‹ã“ã¨ã‚’å‰æã«ã€ã‚¹ãƒˆãƒªãƒ¼ãƒ データ処ç†ãƒ—ラットフォームã¨ã—ã¦ã®ä¸¡è€…を比ã¹ã¦ã¿ã‚‹ã€‚ åŸºæœ¬æƒ…å ± fluentd http://fluentd.org/ 今をã¨ãã‚ããƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ãƒ¼/イベントアグリゲーター。Rubyã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ãŒè»½é‡é«˜é€Ÿã€‚ RPC基盤ã§ã¯ãªãã€ãã®ä¸‹ã®ãƒ¬ã‚¤ãƒ¤ãƒ¼ã«ä½ç½®ã™ã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆã€‚ Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureã§å®Ÿè£…ã•ã‚Œã¦ã„る。 概è¦ã«ã¤ã„ã¦ã¯ã€ä¸‹è¨˜ã®ã‚¹ãƒ©ã‚¤ãƒ‰ãŒã¨ã¦ã‚‚ã‚ã‹ã‚Šã‚„ã™ã‹ã£ãŸã€‚ Twitterã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分散処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€å…¥é–€ ストリームデータ処ç†ã§ä½•ã‚’ã™ã‚‹ã®ã‹ã«ã¤ã„㦠ストリームデータ処ç†ã®ãƒ‹ãƒ¼ã‚ºã«ã¤ã„ã¦ã€è‡ªåˆ†ãŒç†è§£ã—ã¦ã„る範囲ã§ã®ç°¡å˜ãªèª¬æ˜Žã€‚ å…¸
AWSを使ã£ãŸãƒ‡ãƒ¼ã‚¿è§£æžPaaSã®è£å´ - Go ahead!
JAWS DAYS 2013ã¨ã„ã†ã‚¤ãƒ™ãƒ³ãƒˆãŒã‚ã£ã¦ï¼Œ2日目ã«Treasure Dataã¨ã—ã¦ç™ºè¡¨ã—ã¦ãã¾ã—ãŸï¼Žå®Ÿã¯1日目ã«ã¯å¼Šç¤¾CTOãŒãƒ‘ãƒãƒ«ãƒ‡ã‚£ã‚¹ã‚«ãƒƒã‚·ãƒ§ãƒ³ã«ç™»å£‡ã—ãŸã‚Šã—ã¦ã¾ã—ãŸï¼Ž Slideshare Ustream Video streaming by Ustream 最åˆã¯frsyukiãŒç™»å£‡äºˆå®šã«ä¸ŠãŒã£ã¦ã„ãŸã‚“ã ã‘ã©ï¼Œä»Šå½¼ã¯ã‚¢ãƒ¡ãƒªã‚«ã¨ã„ã†ã“ã¨ã§ä»£æ‰“ã§å½¹å‰²ãŒå›žã£ã¦ããŸï¼Œã¨ã„ã†ã®ãŒç™ºè¡¨ã®çµŒç·¯ï¼Ž ãªã‚“ã‹ãƒ©ãƒ™ãƒ«ãŒâ€Devâ€ã¨â€Opsâ€ã¨ã„ã†è¶…大雑把ãªããã‚Šã§ã€ŒAWSã§â€Devâ€ã£ã¦ä½•ç™ºè¡¨ã™ã‚Œã°â€¦ã€ã¨ã„ã†çŠ¶æ…‹ã ã£ãŸã®ã§ï¼Œ AWS上ã§å±•é–‹ã—ã¦ã„ã‚‹Treasure Dataサービスã®ä»•çµ„ã¿ã«ã¤ã„ã¦ã¤ã‚‰ã¤ã‚‰ã¨è©±ã—ã¾ã—ãŸï¼Ž AWSã¹ã£ãŸã‚Šãªæ„Ÿã˜ã§ã¯ãªã㦠Treasure Dataã®ã‚µãƒ¼ãƒ“ス内容ã¨ç›®çš„ ã©ã†AWSã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã‚’使ã£ã¦ã„ã‚‹ã®ã‹ ãªãœã“ã®AWSã®ã‚µãƒ¼ãƒ“スを使ã‚ãªã„ã®ã‹ ã¨ã„ã†ã®ã‚’大ã¾ã‹
Distributed Stream Processing on Fluentd / #fluentd
Distributed Stream Processing on Fluentd / #fluentdAI-enhanced description This document discusses NHN Japan's use of Fluentd for log collection, conversion, and analysis. It summarizes their architecture which involves collecting logs from servers using Scribeline, delivering them to Fluentd processes, converting the logs to a structured format using Fluentd plugins, writing the structured data t
[fluentd] #Fluentd Casual Talks ã§ã€Œfluentdã§Webサイトé‹ç”¨ã‚’楽ã«ã™ã‚‹ã€è©±ã‚’ã—ã¦ãã¾ã—㟠- 酒日記 ã¯ã¦ãªæ”¯åº—
id:tagomoris ã•ã‚“ã«ãŠå£°ãŒã‘ã„ãŸã ãã¾ã—ã¦ã€Fluentd Casual Talks ã«ã¦ã€Œfluentdã§Webサイトé‹ç”¨ã‚’楽ã«ã™ã‚‹ã€ã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã•ã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚ 発表資料ã¯ã“ã¡ã‚‰ 主催者㮠id:tagomoris ã•ã‚“ã€ä¼šå ´ã‚’æä¾›ã—ã¦ã„ãŸã ã„㟠DeNA 様ã€ã„ã‚ã„ã‚準備をã—ã¦ãã ã•ã£ãŸ id:riywo ã•ã‚“ã¯ã˜ã‚多ãã®æ–¹ã€…ã€å‚åŠ ã—ã¦ãã ã•ã£ãŸ100å以上ã®çš†æ§˜ã€ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸï¼æ¥½ã—ã‹ã£ãŸã§ã™ã€‚ 発表ã§ã¯ã“ã“åŠå¹´ã»ã© Fluentd ã‚’é‹ç”¨ã—ã¦æ¥ãŸçµŒé¨“ã‚’ãŠè©±ã—ã—ã¾ã—ãŸãŒã€ç™ºè¡¨å†…ã§è§¦ã‚Œãªã‹ã£ãŸã“ã¨ã§å¤§äº‹(?)ãªã“ã¨ãŒã‚ã‚Šã¾ã™ã®ã§ä»¥ä¸‹ã«è£œéºã‚’ã„ãã¤ã‹æ›¸ã„ã¦ãŠãã¾ã™ã€‚ MongoDB ã«ãƒã‚°ã‚’溜ã‚ã™ãŽãªã„æ–¹ãŒã„ã„ã‹ã‚‚ 太田ã•ã‚“ (@kzk_mover) ã®ç™ºè¡¨å†…ã§ã‚‚触れられã¦ã„ã¾ã—ãŸãŒã€æ•°åƒä¸‡ä»¶ç¨‹åº¦ã«ã—ã¦ãŠã„ãŸã»ã†ãŒã„ã„ã®ã§ã¯â€¦â€¦ã¨ã„ã†å®Ÿæ„Ÿã§ã™ã€‚ 発表内
Subsonic+Nginxã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’fluentdを利用ã—ã¦MongoDBã«å…¥ã‚Œã¦ã¿ãŸ - Glide Note
Fluentd Casual Talksã«å‚åŠ ã—ã€fluentdã®ä½¿ã„ã©ã“ã‚ãŒç†è§£ã§ãã¦ã€ æ„è˜ãŒé«˜ã„ã†ã¡ã«æ—©é€Ÿfluentdã®å°Žå…¥ã‚’ã—Subsonic+nginxã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’MongoDBã«å…¥ã‚Œã¦ã¿ãŸã®ã§ãƒ¡ãƒ¢ã€‚ 導入環境ã¯webサーãƒCentOS 6ã€ãƒã‚°åŽé›†ã‚µãƒ¼ãƒãŒCentOS 5ã§ã€fluentdã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯ td-agent-1.1.5.1-0.x86_64ã«ãªã‚Šã¾ã™ã€‚ã„ãšã‚Œã‚‚ã•ãらVPSã§ç¨¼åƒã•ã›ã¦ã„ã¾ã™ã€‚ nginxã®å°Žå…¥ã¯ä»¥å‰æ›¸ã„ãŸä¸‹è¨˜ã®ã‚¨ãƒ³ãƒˆãƒªã‚’å‚考ã«ã—ã¦ä¸‹ã•ã„。 ã•ãらVPS 2G+Subsonic+Nginxã§è‡ªåˆ†ç”¨ã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°ã‚µãƒ¼ãƒã‚’構築 - Glide Note - グライドノート 今回行ã£ãŸä½œæ¥ã®æµã‚Œ fluentdã‚’åˆã‚ã¦è§¦ã‚‹ã®ã§ã€ä»Šå›žã¯ä¸‹è¨˜ã®ã‚ˆã†ã«é †ã‚’追ã£ã¦æ¤œè¨¼ã¨å°Žå…¥ã‚’è¡Œã„ã¾ã—ãŸã€‚ fluentdã®å°Žå…¥ サーãƒ1å°ã§webサーãƒã¨ãƒã‚°åŽé›†ã‚µãƒ¼ãƒã‚’å‹•ã‹ã—
fluentd ã®ã‚½ãƒ¼ã‚¹ã‚’èªã‚€ (1) - @kyanny's blog
fluentd ã®ã‚½ãƒ¼ã‚¹ã‚’èªã¿å§‹ã‚ã¾ã—ãŸã€‚å˜ãªã‚‹è¶£å‘³ã§ã™ã€‚ 経緯: fluentd ã® exec buffered output plugin を試ã—ã¦ã¿ãŸã‚‰flush_interval ã‚’çŸãã—ã¦ã‚‚ USR1 シグナルをé€ã£ã¦ã‚‚ãƒãƒƒãƒ•ã‚¡ãŒ flush ã•ã‚Œãš command ãŒå®Ÿè¡Œã•ã‚Œãªãã¦æ‚©ã‚“ã§ã„ãŸã‚‰TimeSlicedOutput ã¯ã‚¹ãƒ©ã‚¤ã‚¹ã®æ™‚é–“ãŒçµŒéŽã—ãªã„ã¨ãƒãƒƒãƒ•ã‚¡ã‹ã‚‰å‡ºã¦ã“ãªã„ã¨æ•™ãˆã¦ã‚‚らã„ã€ã‚½ãƒ¼ã‚¹ã‚’èªã‚“ã§ã¡ã‚ƒã‚“ã¨ç†è§£ã—ãŸã„ã¨æ€ã£ãŸãŸã‚ã€ã§ã™ã€‚ ã¨ã¯ã„㈠plugin/out_exec.rb ã‚’ã„ããªã‚Šèªã‚“ã§ã‚‚ã•ã£ã±ã‚Šã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã€é †ã‚’追ã£ã¦èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã™ã€‚ ã¾ãšã¯ bin/fluentd を実行ã™ã‚‹ã¨ fluend ãŒèµ·å‹•ã™ã‚‹ã¨ã“ã‚ã¾ã§ã€‚ bin/fluend 㯠fluend/command/fluentd.rb を実行ã—ã¦ã‚‹ã ã‘ fluent/command
fluentdを試ã—ã¦ã¿ãŸ - wyukawa's diary
クレジットカードç¾é‡‘化è©æ¬ºã€æ¥ç•ŒäººãŒæ•™ãˆã‚‹å£ã‚³ãƒŸæƒ…å ±ã€‘ 僕ã¯è¡Œã£ã¦ãªã„ã‚“ã§ã™ãŒTwitterã€Ustreamã€ã‚¹ãƒ©ã‚¤ãƒ‰ã€ãƒ–ãƒã‚°ãªã©ã‚’見るé™ã‚Šã ã„ã¶ç››ã‚Šä¸ŠãŒã£ãŸã‚ˆã†ã§ã™ãー。僕自身ãŒä»•äº‹ã§ä½¿ã†äºˆå®šã¯ä»Šã®ã¨ã“ã‚ç„¡ã„ã‚“ã§ã™ãŒãƒã‚°è§£æžé–¢é€£ã®ä»•äº‹ã‚’ã—ã¦ã„ã‚‹ã“ã¨ã‚‚ã‚ã‚‹ã®ã§ç´ 振りã—ã¦ã¿ã‚ˆã†ã¨æ€ã„ã¾ã™ã€‚ 環境ã¯VirtualBox上ã®CenOS 5.7(x86_64)を使ã„ã¾ã—ãŸã€‚ fluentdã¯Ruby 1.9上ã§å‹•ãã‚“ã§ã™ãŒCentOS 5.7ã«å…¥ã£ã¦ã„ã‚‹ã®ã¯Ruby 1.8.5ã§ã™ã€‚Ruby 1.9ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‹ã‚‰å§‹ã‚ã‚‹ã¨ã¯ã¾ã‚Šãã†ãªã®ã§yumã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã§ãã‚‹td-agentを使ã„ã¾ã™ã€‚td-agentã¯fluentdã®å®‰å®šç‰ˆãƒ‘ッケージã¨ã„ã†ä½ç½®ä»˜ã‘ã®ã‚ˆã†ã§ã™ã€‚ 試ã—ãŸã®ã¯ä¸‹è¨˜ï¼“ã¤ã§ã™ã€‚ fluent-catã§ãƒã‚°ã‚’é€ã‚‹ Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’åŽé›† Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’Mong
1
ランã‚ング
ランã‚ング
ãŠçŸ¥ã‚‰ã›
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Fluentd ソースコード完全解説 (v0.10å‘ã‘)
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html
{{#tags}}- {{label}}
{{/tags}}