ELBã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’fluent-plugin-elb-logを使ã£ã¦kibanaã§è¡¨ç¤ºã™ã‚‹ | DevelopersIO
ã¯ã˜ã‚㫠先日ãŠä¼ãˆã—ã¾ã—ãŸé€šã‚Šã€ELBã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ãŒå–得出æ¥ã‚‹ã‚ˆã†ã«ãªã£ãŸã®ã§ã™ãŒã€ã™ãã•ã¾fluent-plugin-elb-logã¨ã„ã†fluentプラグインãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸã€‚ã•ã™ãŒfluentd界隈ã€å¯¾å¿œãŒæ—©ã„ã§ã™ã€‚ ã¨ã„ã†ã“ã¨ã§ã€ä»Šå›žã¯ELBã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’fluentd経由ã§Elasticsearchã«å–ã‚Šè¾¼ã¿ã€ãれをKibanaã§è¡¨ç¤ºã—ãŸã„ã¨æ€ã„ã¾ã™ï¼ セットアップ Elasticsearch Elasticsearchã¯æœ€æ–°ã®rpmパッケージを更新サイトã‹ã‚‰å–å¾—ã—ã€rpmコマンドã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã—ã¾ã™ã€‚ $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm $ sudo rpm -ivh ./elasticsearch-1.
ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚¹ + マルãƒãƒ—ãƒã‚»ã‚¹åŒ–㧠Fluentd ã®ãƒã‚°åŽé›†ã‚’効率化ã™ã‚‹ – I'm Sei.
〜 大晦日ã«ç§’é–“ 1 万ユーザをæŒããŸã‚ã«ã‚„ã£ãŸã“㨠(ãƒã‚°åŽé›†ç·¨) 〜今回ã¯ã€å¤§æ™¦æ—¥ã®ã‚¤ãƒ™ãƒ³ãƒˆç”¨ã« EC2 インスタンスを複数å°ç«‹ã¡ä¸Šã’ã¦ãŠã„ã¦ã€å¹´ãŒæ˜Žã‘ãŸã‚¿ã‚¤ãƒŸãƒ³ã‚°ã§å…¨ã¦ Terminate ã—ã¦ã—ã¾ã†äºˆå®šã§ã—ãŸã€‚ ãŸã ã€Terminate ã—ãŸéš›ã«ã€ãã®ã¾ã¾ãƒã‚°ã‚‚一緒ã«æ¶ˆãˆã¦ã—ã¾ã†ã¨ä½•ã‹ã‚ã£ãŸã¨ãã«å›°ã‚‹ã®ã§ã€Nginx ã®ãƒã‚°ã‚„アプリケーションã®ãƒã‚°ã®åŽé›†ã« Fluentd を使ã„ã€ã¨ã‚Šã‚ãˆãš S3 ã«ã¶ã£è¾¼ã‚“ã§ãŠãã“ã¨ã«ã—ã¾ã—ãŸã€‚ Fluend ã¯æ¨™æº–ã§ã¯ 1 ã¤ã® CPU コアã—ã‹ä½¿ã£ã¦ãã‚Œãªã„ã®ã§ã€è¤‡æ•°ã® CPU コアをもã£ã¦ã„るサーãƒã§å‹•ã‹ã™éš›ã¯ã€ãƒžãƒ«ãƒãƒ—ãƒã‚»ã‚¹åŒ–ã™ã‚‹ã“ã¨ã§ CPU を効率的ã«ä½¿ãˆã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã™ã€‚ 具体的ã«ã¯ã€ãƒã‚°é›†ç´„用ã®ã‚µãƒ¼ãƒã¯ in_multiprocess プラグインã§è¤‡æ•°ã®ãƒãƒ¼ãƒˆã‹ã‚‰å—ä¿¡ã§ãるよã†ã«ã—ã¤ã¤ã€é€ä¿¡å´ã¯ out_forward プラグイン
データã®æ›´æ–°å±¥æ´ã‚’RDBMSã‹ã‚‰fluentdã«æµã™fluent-plugin-sql - Blog by Sadayuki Furuhashi
Fluentd Advent Calendar 9日目。担当ã®å¤æ©‹ã§ã™ã€‚ Fluentd v11ã®æƒ…å ±ã¯ Fluentd Casual Talks #3 at :D ã§ãŠè©±ã—ã™ã‚‹ã“ã¨ã«ã—ã¦ã€ä»Šå›žã¯Fluentdã®å¤§å¹…ãªæ€§èƒ½å‘上をå¯èƒ½ã«ã™ã‚‹Multiprocessプラグインを紹介…ã—よã†ã¨æ€ã£ã¦ã„ãŸã‚‰@niku4i ã•ã‚“ã«å…ˆã‚’越ã•ã‚Œã¦ã—ã¾ã£ãŸã®ã§ï¼ä»Šå›žã¯SQL inputプラグインを紹介ã—ã¾ã™ã€‚ SQL inputプラグインã¨ã¯ï¼Ÿ SQL inputプラグインã¯ã€SELECT文を定期的ã«å®Ÿè¡Œã™ã‚‹ã“ã¨ã§ã€RDBMSã‹ã‚‰æœ€è¿‘æ›´æ–°ã•ã‚ŒãŸãƒ¬ã‚³ãƒ¼ãƒ‰ã‚„æœ€è¿‘è¿½åŠ ã•ã‚ŒãŸãƒ¬ã‚³ãƒ¼ãƒ‰ã‚’定期的ã«å–り出ã—ã¦Fluentdã«æµã™ã“ã¨ãŒã§ãるプラグインã§ã™ã€‚内部ã§ã¯"å‰å›žèªã¿å‡ºã—ãŸãƒ¬ã‚³ãƒ¼ãƒ‰"を記憶ã—ã¦ãŠã‚Šã€å‰å›žèªã¿å‡ºã—ãŸã‚¿ã‚¤ãƒŸãƒ³ã‚°ã‚ˆã‚Šå¾Œã«ãªã£ã¦æ›´æ–°/è¿½åŠ ã•ã‚ŒãŸãƒ¬ã‚³ãƒ¼ãƒ‰ã‚’定期的ã«èªã¿å‡ºã—ã¾ã™ã€‚ SQL input plug
社長ãŒè¨Šã『ã™ã‚Œã¡ãŒã„通信ä¸ç¶™æ‰€ã€ï½œãƒ‹ãƒ³ãƒ†ãƒ³ãƒ‰ãƒ¼3DSï½œä»»å¤©å ‚
ã¯ã„。ãã“ã§ã€ä»Šå›žã¯ã‚¤ãƒ³ãƒ•ãƒ©ã« 「クラウドサービスã€ï¼ˆâ€»20）ã®åˆ©ç”¨ã‚’検討ã—ã¾ã—ãŸã€‚ 具体的ã«ã¯ã€AWS（※21）を利用ã—ã¦ã„ã¾ã™ã€‚ ã“ã‚Œã«ã‚ˆã£ã¦ã€ 何å°ã®ã‚µãƒ¼ãƒãƒ¼ã‚’使ãŠã†ã¨æ±ºã‚ãŸæ™‚点ã§ã€ ãã®æ—¥ã®ã†ã¡ã«æ–°ã—ã„サーãƒãƒ¼ãŒä½¿ãˆã‚‹ã¨ã„ㆠã¨ã¦ã‚‚便利ãªä»•çµ„ã¿ãŒåˆ©ç”¨ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ ※20「クラウドサービスã€ï¼ä»®æƒ³ã‚µãƒ¼ãƒãƒ¼ã‚„ストレージã€ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãªã©ã®è¨ˆç®—資æºã‚’ã€å¿…è¦ãªæ™‚ã«å¿…è¦ãªåˆ†ã ã‘インターãƒãƒƒãƒˆã‚’通ã˜ã¦åˆ©ç”¨ã§ãるサービス。 ※21AWSï¼Amazon Web Services。Amazon.comãŒæä¾›ã™ã‚‹ã‚¦ã‚§ãƒ–サービス。国内外ã®æ•°å¤šãã®ä¼æ¥ãŒã“ã®ã‚µãƒ¼ãƒ“スを利用ã—ã¦ã„る。
fluentd + mongodb+ node.js ã§ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«ã‚°ãƒ©ãƒ•ã‚’æã - stanaka's blog
追記 2/22 毎回微妙ã«è¿½è¨˜ã—ã¦ã„ã¾ã™ãŒã€ä»Šå›žã‚‚追記ã§ã™ã€‚最後ã«mongodbã®insert性能ã«ã¤ã„ã¦80lines/secã§åŽ³ã—ããªã£ãŸã€ã¨æ›¸ã„ã¦ã¾ã™ãŒã€ç’°å¢ƒã‹è¨å®šã¾ã‚ã‚ŠãŒã‚ã‚„ã—ã„ã®ã§è¨‚æ£ã—ã¾ã™ã€‚ã‚‚ã†ã™ã“ã—検証ã—ã¦ã¿ã‚ˆã†ã¨æ€ã„ã¾ã™ã€‚ → 検証ã—㦠fluentdå´ã®è¨å®šã®å•é¡Œã§ã‚ã‚‹ã“ã¨ãŒåˆ†ã‹ã‚Šã¾ã—ãŸã€‚詳ã—ãã¯ã€http://blog.stanaka.org/entry/2013/02/22/171053 追記ã“ã“ã¾ã§ 最近ã¯ã€fluentd + mongodb ã§ãƒã‚°ã‚’è“„ç©ã—ã¦ã„ã‚ã„ã‚便利ã«ä½¿ã£ã¦ã„ã‚‹ã‚ã‘ã§ã™ãŒã€æ•°åˆ†ã«ä¸€å›žé›†è¨ˆã‚¹ã‚¯ãƒªãƒ—トを周ã—ãŸã‚Šã€ GrowthForecast ã®ç”»é¢ã‚’リãƒãƒ¼ãƒ‰ã—ã¾ãã‚‹ã®ã§ã¯ãªãã€ã‚‚ã£ã¨ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã§è¦‹ãŸã„! ã¨ã„ã†æ¬²æ±‚ãŒå‹Ÿã£ã¦ããŸã®ã§ã€ node.js を使ã£ã¦å®Ÿè£…ã—ã¦ã¿ã¾ã—ãŸã€‚( https://github.com/stanaka/realti
第2回 ioDrive+MySQL勉強会 発表資料 | 外é“父ã®åŒ
GMOã•ã‚“ã®ã¨ã“ã‚ã§ã€ioDrive＋MySQLã®ç™ºè¡¨ã‚’ã—ã¦ã¾ã„ã‚Šã¾ã—ãŸã€‚ å‰å›žã®Fluentdã‹ã‚‰ä¸4æ—¥ã§ç™»å£‡ã¨ã„ã†æãƒã‚·ã‚¢ãªã‚¹ã‚±ã‚¸ãƒ¥ãƒ¼ãƒ«ã«çœŸã£ç™½ãªç°ã¨ãªã£ã¦ãŠã‚Šã¾ã™ã€‚ １番手ã ã£ãŸã®ã§åŸºæœ¬ã‚’抑ãˆã¤ã¤å°–り気味ã®ã¨ã“ã‚ã¾ã§å…¥ã‚Œã¦ã—ã¾ã£ãŸã›ã„ã§ã€40分ã®ã¨ã“ã‚ã‚’53分使ã„ã€ã•ã‚‰ã«è³ªç–‘å¿œç”ã§1時間以上ã«ãªã‚Šã€ä»–ã®ç™ºè¡¨è€…ã‚„å‚åŠ è€…ã«ã”迷惑をã€ãã—ã¦ãƒ”ザを冷ãˆã•ã›ã¦ç”³ã—訳ã‚ã‚Šã¾ã›ã‚“ã§ã—ãŸã€‚ãŒã€è³‡æ–™è‡ªä½“ã¯ã¼ã¡ã¼ã¡ãªå‡ºæ¥ã«ãªã£ãŸã¨æ€ã„ã¾ã™ã®ã§ã‚µã‚¯ãƒƒã¨å…¬é–‹ã—ã¦ãŠãã¾ã™ã€‚ 事å‰ã«ãƒšãƒ¼ã‚¸ã‚’削りã¨ã£ã¦ã—ã¾ã£ãŸã‚Šã€æ—©é€ã‚Šã§èª¬æ˜Žã—ã¦ã—ã¾ã£ãŸéƒ¨åˆ†ãŒã‚ã‚‹ã®ã§è£œè¶³ã—ãŸã„ã¨ã“ã‚ãªã®ã§ã™ãŒã€ç‡ƒãˆå°½ã症候群ä¸ãªã®ã§MySQL関連ã¯å¾Œã§å°‘ã—ãšã¤æ›¸ã„ã¦ã„ã‘ãŸã‚‰ã¨æ€ã„ã¾ã™ã€‚ æˆ¦åˆ©å“ Fusion-IO社ã®ã‚µãƒ³ã‚¿ã‚¯ãƒãƒ¼ã‚¹ã¨è¨€ã‚れる例ã®æ–¹ãŒã€ç™»å£‡è€…ã«ãƒ—レゼントをã—ã¦ãã‚Œã¾ã—ãŸã€‚ ゴルフシャツã§ã™ãŒ Mサイズ Woman用ã§ã€å¾®å¦™ã«å½¢ãŒå¥³
Fluentdã¨ã„ã†ãƒã‚°åŽé›†ãƒ„ールを使ã£ã¦Apacheã®ãƒã‚°ã‚’å–å¾—ã™ã‚‹ã¾ã§ - kk_Atakaã®æ—¥è¨˜
ã‚らã™ã˜ Twitterã§@tosikawaã•ã‚“ã«ã“ã‚“ãªãƒ„ールã‚るよã€ã¨æ•™ãˆã¦ã‚‚らã£ãŸ …ãŒã€æœªè¦‹ã ã£ãŸãŸã‚ã™ãã‚°ã‚°ã‚‹ ã¨ã‚Šã‚ãˆãšã©ã‚“ãªã‚‚ã®ã‹å‹•ã‹ã—ã¦ã¿ã‚‹äº‹ã« Fluentdã¨ã¯ Log everything in JSON http://fluentd.org/ Oh...シンプルイズベスト…。 Fluentd is a log collector daemon written in Ruby. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like MySQL, MongoDB, or even other instances of Fluentd. Rubyã§ä½œã‚‰ã‚ŒãŸãƒã‚°åŽé›†ãƒ„ール。ãŸã ã—ã€JSONã§â€¦â€¦ï¼Ÿ å‚考サイト Fluentd: Log Everythi
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
(Microsoft Word - hbstudy#53_\203n\203\223\203Y\203I\203\223_\216\350\217\207\217\221_v1.0.docx)
{{#tags}}- {{label}}
{{/tags}}