Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
柔軟ãªãƒã‚°åŽé›†ã‚’å¯èƒ½ã«ã™ã‚‹ã€Œfluentdã€å…¥é–€ | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
複数å°ã®ã‚µãƒ¼ãƒãƒ¼ã‚„クラウド環境を組ã¿åˆã‚ã›ã¦ã®ã‚µãƒ¼ãƒ“スé‹ç”¨ã«ãŠã„ã¦ã¯ã€ãƒã‚°ã®åŽé›†æ–¹æ³•ã«å·¥å¤«ãŒå¿…è¦ã¨ãªã‚‹ã€‚ã“ã†ã„ã£ãŸå ´åˆã«æœ‰ç”¨ãªã®ãŒã€ã•ã¾ã–ã¾ãªãƒã‚°ã®åŽé›†æ‰‹æ®µã‚’æä¾›ã™ã‚‹fluentdã 。今回ã¯fluentdã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚„ãã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«/è¨å®šæ–¹æ³•ã€åŸºç¤Žçš„ãªè¨å®šä¾‹ãªã©ã‚’紹介ã™ã‚‹ã€‚ ã•ã¾ã–ã¾ãªæ–¹æ³•ã§ãƒã‚°ã‚’åŽé›†ã§ãã‚‹fluentd 今回紹介ã™ã‚‹fluentdã¯ã€Treasure DataãŒé–‹ç™ºã™ã‚‹ãƒã‚°åŽé›†ç®¡ç†ãƒ„ールã （図1）。オープンソースã§å…¬é–‹ã•ã‚Œã¦ãŠã‚Šã€Linuxã‚„å„種UNIXã§å‹•ä½œã™ã‚‹ã€‚ 図1 fluentdã®Webサイト ãƒã‚°åŽé›†ã®ãŸã‚ã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦ã¯syslogdã‚„syslog-ngãªã©ãŒæœ‰åã ãŒã€fluentdãŒã“れらã¨ç•°ãªã‚‹ç‚¹ã¨ã—ã¦ã¯ã€ä»¥ä¸‹ãŒæŒ™ã’られる。 ã•ã¾ã–ã¾ãªã‚½ãƒ¼ã‚¹ã‹ã‚‰ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’ã•ã¾ã–ã¾ãªåª’体ã«å‡ºåŠ›ã§ãã‚‹ fluentdã®å¤§ããªç‰¹å¾´ã¨ã—ã¦ã¯ã€ãƒã‚°ã®åŽé›†æ–¹æ³•ã‚„ãƒã‚°ã®è¨˜
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}