[デブサミ秋2015] æ–°å’入社エンジニアãŒï¿½ï¼’å¹´é–“fluentdã‚’é‹ç”¨ã—ã¦å¦ã‚“ã 事ã„ã‚ã„ã‚
「新å’入社エンジニアãŒï¼’å¹´é–“fluentdã‚’é‹ç”¨ã—ã¦å¦ã‚“ã 事ã„ã‚ã„ã‚ã€ ã‚°ãƒªãƒ¼æ ªå¼ä¼šç¤¾ 開発統括本部所属 データエンジニア 山田 é¾å¯› ※Developers Summit 2015 Autumnã§ã®ç™ºè¡¨è³‡æ–™ã§ã™ http://event.shoeisha.jp/devsumi/20151014/timetableRead less
![[デブサミ秋2015] æ–°å’入社エンジニアãŒï¿½ï¼’å¹´é–“fluentdã‚’é‹ç”¨ã—ã¦å¦ã‚“ã 事ã„ã‚ã„ã‚](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc6e5417a6670514e50b61abea86ce1b73297a12/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdevsumiautumn-151015035724-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
グリー技術者ãŒèžã„ãŸã€fluentdã®æ–°æ©Ÿèƒ½ã¨Treasure Dataå¤æ©‹æ°ã®é‡Žå¿ƒ
fluentdã®ã»ã‹ã«ã‚‚ãƒã‚¤ãƒŠãƒªã‚·ãƒªã‚¢ãƒ©ã‚¤ã‚¼ãƒ¼ã‚·ãƒ§ãƒ³ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã€ŒMessagePackã€ã®é–‹ç™ºãªã©ã§çŸ¥ã‚‰ã‚Œã‚‹å¤æ©‹æ°ã ãŒã€å¦ç”Ÿæ™‚代ã‹ã‚‰ãã®æŠ€è¡“力ã®é«˜ã•ã«ã¯å®šè©•ãŒã‚ã‚Šã€æ³¨ç›®ã•ã‚Œç¶šã‘ã¦ããŸã‚¹ãƒ¼ãƒ‘ーエンジニアã§ã‚‚ã‚る。 今回ã€fluentdã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ã§ã‚‚ã‚ã‚Šã€å¤æ©‹æ°ã¨ã¯æ—§çŸ¥ã®ä»²ã§ã‚‚ã‚るグリー 開発本部 リーダーã®æ£®ç”°æƒ³å¹³æ°ãŒã‚¤ãƒ³ã‚¿ãƒ“ュアーã¨ãªã‚Šã€fluentdã«ã¾ã¤ã‚るトピックやã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã§ã®é–‹ç™ºã€ã‚ªãƒ¼ãƒ—ンソースã¸ã®æƒ³ã„ãªã©ã‚’訊ã„ã¦ã„る。本稿ã§ã¯ã€ãã®æ¨¡æ§˜ã‚’ãŠä¼ãˆã—ãªãŒã‚‰ã€â€œã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒ»å¤æ©‹è²žä¹‹â€ã®é…力ã«è¿«ã£ã¦ã¿ãŸã„。 fluentd v11ã®æ³¨ç›®ãƒã‚¤ãƒ³ãƒˆ 森田　ã¾ãšã¯ã€ã‚°ãƒªãƒ¼ã§ã‚‚大変ãŠä¸–話ã«ãªã£ã¦ã„ã‚‹fluentdã«ã¤ã„ã¦ã€ã„ã‚ã„ã‚èžã‹ã›ã¦ãã ã•ã„。開発ä¸ã®æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ï¼ˆv11）ã§ã¯ã€ã‹ãªã‚Šå¤§ããªå¤‰æ›´ã‚„æ©Ÿèƒ½è¿½åŠ ãŒã‚ã‚‹ã¨ä¼ºã£ã¦ã„ã¾ã™ãŒã€æ³¨ç›®ãƒã‚¤ãƒ³ãƒˆã‚’ã„ãã¤ã‹æ•™ãˆã¦ã‚‚らãˆã¾ã™ã‹ã€‚ フィルタ
Fluentdã¨Redisを使ã£ãŸãƒ©ãƒ³ã‚ング機能ã®å®Ÿè£… | SmartNews開発者ブãƒã‚°
ゴクãƒã®å¤§å¹³ã§ã™ã€‚ã”ãã‚ã†ã•ã¾ã§ã™ã€‚ Redisã¯é«˜é€Ÿã§ã€ã‹ã¤ãƒ‡ãƒ¼ã‚¿ã®æ°¸ç¶šåŒ–ã‚„ã€è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿åž‹ã«ã‚ˆã‚‹ã‚¹ãƒˆã‚¢(list,set,sorted setç‰ï¼‰ã‚‚対応ã—ã¦ãŠã‚Šã€æ©Ÿèƒ½çš„ãŒè±Šå¯Œã¨ã„ã†ã“ã¨ã‹ã‚‰æ„›ç”¨è€…ã®å¤šã„KVS実装ã®ä¸€ã¤ã ã¨æ€ã„ã¾ã™ã€‚ 特ã«ç§ã®ã‚ˆã†ãªã‚¢ãƒ—リケーションエンジニアã®äººé–“ã«ã¨ã£ã¦ã¯ãƒ‡ãƒ¼ã‚¿åž‹ã®ãƒãƒªã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ã®è±Šå¯Œã•ãŒä¾¿åˆ©ã•ã‚’æ„Ÿã˜ã‚‹éƒ¨åˆ†ã§ã€ãŸã¨ãˆã°listを用ã„ã¦ã‚¿ã‚¤ãƒ ライン的ãªæƒ…å ±ã‚„å±¥æ´æƒ…å ±ã®ç®¡ç†ã€sorted setを用ã„ã¦ãƒ©ãƒ³ã‚ãƒ³ã‚°æƒ…å ±ã®ç®¡ç†ã€ãªã©ã®ã‚ˆã†ã«ã‚¢ãƒ—リケーションã®éœ€è¦ã®å¤šãã«RedisãŒå¯¾å¿œã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ ã“れらã®æƒ…å ±ã‚’ç™»éŒ²ã™ã‚‹éš›ã®ãƒ•ãƒãƒ¼ã¨ã—ã¦ã¯è‡ªä½œã®ã‚¢ãƒ—リケーションã‹ã‚‰ç›´æŽ¥ã€ã¨ã„ã†ã‚±ãƒ¼ã‚¹ãŒå¤šã„ã¨æ€ã„ã¾ã™ãŒã€ã›ã£ã‹ãFluentdã®ã‚ˆã†ãªä¾¿åˆ©ãªlog collector実装ãŒã‚ã‚‹ã®ã§ã€Fluentdã¨Redisを組ã¿åˆã‚ã›ã‚‹äº‹ã§ã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ã«æƒ…å ±ã®è“„ç©ã‚’è¡Œã„ãŸã„
Happy Elements Labs: fluentdã¨MongoDBã§ãƒ¦ãƒ¼ã‚¶ãƒ¼è¡Œå‹•ã‚’見ãˆã‚‹åŒ–
ã¯ã˜ã‚㫠エンジニアã®@ryooo321ã§ã™ã€‚ よã‚ã—ããŠé¡˜ã„ã—ã¾ã™ã€‚ 今回ã¯å¼Šç¤¾ã§é‹ç”¨ä¸ã®å…¨ã‚¢ãƒ—リã§åˆ©ç”¨ã—ã¦ã„る行動分æžãƒ—ラットフォームã«ã¤ã„ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 2012å¹´ã®6月ã«ä½œã£ã¦ã‹ã‚‰ã€ç´„9ヶ月ã»ã©é‹ç”¨ã—ã¦ã„ã¾ã™ã€‚ 特徴 ・手ãŒã‹ã‹ã‚‰ãªã„データストア ・ã•ã¾ã–ã¾ãªå•ã„åˆã‚ã›å¯¾å¿œã§åˆ©ç”¨ã§ãる柔軟ãªã‚¯ã‚¨ãƒª ・機æ•ãªMap/Reduceã«ã‚ˆã‚‹é›†è¨ˆ ・集計çµæžœã‚’CSVやグラフã§å¯è¦–化 目的 ・ユーザーã®å•ã„åˆã‚ã›ã«åŠ¹çŽ‡çš„ã«å¯¾å¿œã—ã€ã‚¢ãƒ—リã®ä¼ç”»ãƒ»é–‹ç™ºã«é›†ä¸ã™ã‚‹ãŸã‚ ・ユーザーã®è¡Œå‹•ã‚’抽象化・å¯è¦–化ã™ã‚‹ã“ã¨ã§PDCAã®è³ªã‚’å‘上ã•ã›ã‚‹ãŸã‚ 行動ãƒã‚°ã®ãƒ•ãƒãƒ¼ 1. ユーザーã‹ã‚‰Ruby on Rails製ã®ã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã‚²ãƒ¼ãƒ ã«ãƒªã‚¯ã‚¨ã‚¹ãƒˆ 2. Railsã‹ã‚‰ãƒãƒ¼ã‚«ãƒ«ã®fluentdã«ãƒã‚°å‡ºåŠ›(fluent-logger-ruby) 3. ãƒãƒ¼ã‚«ãƒ«ã®fluentd
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}