2014å¹´9月9日開催ã®ã€Žã‚µãƒ¼ãƒ/インフラエンジニア養æˆèªæœ¬ ãƒã‚°åŽé›†ã€œå¯è¦–化編ã€ã€€å‡ºç‰ˆè¨˜å¿µï¼åŸ·ç†è€…ãŒèªžã‚‹å¤§è¬›æ¼”ä¼šï¼ ã§ã®ç™ºè¡¨ã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ Read less
Fluentdã®ãŠå‹§ã‚システム構æˆãƒ‘ターン
2014å¹´9月9日開催ã®ã€Žã‚µãƒ¼ãƒ/インフラエンジニア養æˆèªæœ¬ ãƒã‚°åŽé›†ã€œå¯è¦–化編ã€ã€€å‡ºç‰ˆè¨˜å¿µï¼åŸ·ç†è€…ãŒèªžã‚‹å¤§è¬›æ¼”ä¼šï¼ ã§ã®ç™ºè¡¨ã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ Read less
Fluentdã¨Mysqlを利用ã—ãŸç°¡å˜ãªRecommendEngineã®é–‹ç™º - Y's note
WEB+DB PRESS Vol.72 作者: 近藤宇智朗,生井智å¸,Dr.Kein,tokuhirom,森田創,ä¸å³¶è¡,å ¤æ™ºä»£,A-Listers,ã¯ã¾ã¡ã‚„2,竹原,å·æ·»è²´ç”Ÿ,ä¹…ä¿é”彦,é“井俊介,飯田ç¥åŸº,ä¸æ‘知æˆ,è¦ä¸–やよã„,後藤秀宣,天野ç¥ä»‹,奥野幹也,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2012/12/22メディア: 大型本購入: 11人 クリック: 94回ã“ã®å•†å“ã‚’å«ã‚€ãƒ–ãƒã‚° (10件) を見る RecommendEngineを作りãŸã„ Fluentd Casual Talks LT #fluentd #fluentdcasual Fluentdを使ã£ã¦NginxLogã‚’Mysqlã«ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã§æ ¼ç´ã™ã‚‹ - Yuta.Kikuchiã®æ—¥è¨˜ 興味連動型広告ã«ãŠã‘るマッãƒãƒ³ã‚°ã®å¾®å¦™ãªçŸ¥è˜ã ã‘ã‚’æ´»ã‹ã—ã¦æœ€è¿‘ã¯ä»•äº‹ã‚’ã—ã¦ã„ã‚‹@yutakikucã§ã™ã€‚ã“
td-agent2ã‚’Amazon Linuxã§ç‹¬è‡ªãƒ“ルドã™ã‚‹ | DevelopersIO
ã©ã‚‚ã€å¤§ç€§ã§ã™ã€‚ 皆ã•ã‚“ã€Treasure Data Serviceã‚„fluentdを活用ã™ã‚‹ãŸã‚ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆãƒ»ã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã§ã‚ã‚‹Treasure Agent(通称td-agent)を活用ã—ã¦ã¾ã™ã‹?AWS環境ã§ã‚‚ã€Amazon Kinesisã‚„Amazon DynamoDBã¨ã®é€£æºãªã©ãƒ“ッグデータã«é–¢ã‚る処ç†ã§ã¯æ¬ ã‹ã›ãªã„ツールã«ãªã‚Šã¤ã¤ã‚ã‚Šã¾ã™ã€‚ ãŸã ã€Treasure Data社公å¼ã®td-agentパッケージã¯ã‚µãƒãƒ¼ãƒˆOSã«Amazon LinuxãŒå«ã¾ã‚Œã¦ãŠã‚‰ãšã€ç‹¬è‡ªã«ãƒ“ルドã—ã¦ä½¿ç”¨ã™ã‚‹ã“ã¨ãŒæŽ¨å¥¨ã•ã‚Œã¦ã„ã¾ã™ã€‚ãã“ã§æœ¬ã‚¨ãƒ³ãƒˆãƒªãƒ¼ã§ã¯ã€ãã®ç‹¬è‡ªãƒ“ルドを検証ã—ãŸçµæžœã‚’シェアã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚Amazon Linuxã§ã®ã‚µãƒãƒ¼ãƒˆã«ã¤ã„ã¦ã€è©³ã—ãã¯ä»¥ä¸‹ã®Qiitaエントリーをå‚ç…§ã—ã¦ãã ã•ã„。 td-agent - Treasure Agentã¨Amazon Linux - Qiita
fluentdã®åŠ¹æžœçš„ãªæ´»ç”¨ä¾‹ã¨å®‰å®šé‹ç”¨ã®ãƒã‚¤ãƒ³ãƒˆ
fluentdã®åŠ¹æžœçš„ãªæ´»ç”¨ä¾‹ã¨å®‰å®šé‹ç”¨ã®ãƒã‚¤ãƒ³ãƒˆï¼šä»Šã•ã‚‰èžã‘ãªã„fluentd～クラウド時代ã®ãƒã‚°ç®¡ç†å…¥é–€ï¼ˆ3）（3/3 ページ） fluentdã®å®‰å®šé‹ç”¨ã«å‘ã‘㦠実際ã«fluentdを使ã†å ´åˆã«ã¯ã€ã“ã“ã¾ã§ç´¹ä»‹ã—ã¦ããŸã‚ˆã†ãªfluentdã®å†…部仕様をæ£ã—ãç†è§£ã—ãŸä¸Šã§ã€ãƒã‚°ã‚’ãƒã‚¹ãƒˆã›ãšã€ç¢ºå®Ÿã«ãƒã‚°ç®¡ç†ãŒã§ãるよã†é‹ç”¨ã—ã¦ã„ã‹ãªã‘ã‚Œã°ãªã‚Šã¾ã›ã‚“。ãã®ãŸã‚ã«ã¯ã€fluentdã®ç¨¼åƒçŠ¶æ³ã‚’把æ¡ã™ã‚‹ã“ã¨ãŒéžå¸¸ã«é‡è¦ã§ã™ã€‚ 「fluentdã®ãƒ—ãƒã‚»ã‚¹ãŒæ£å¸¸ã«ç¨¼åƒã—ã¦ã„ã‚‹ã‹ã€ã€Œfluentd自体ã®ãƒã‚°ã«ã‚¨ãƒ©ãƒ¼ãƒã‚°ãŒå‡ºåŠ›ã•ã‚Œã¦ã„ãªã„ã‹ã€ã¨ã„ã£ãŸåŸºæœ¬çš„ãªçŠ¶æ…‹ç›£è¦–ã«åŠ ãˆã€fluentdã®å†…部状態を把æ¡ã™ã‚‹ã“ã¨ã‚‚有効ã§ã™ã€‚ fluentdã«ã¯ã€Œin_monitor_agentã€ã¨ã„ã†fluentdã®å†…部状態を監視ã™ã‚‹ãŸã‚ã®æ¨™æº–組ã¿è¾¼ã¿ã‚¤ãƒ³ãƒ—ットプラグインãŒã‚ã‚Šã¾ã™ã€‚ã“ã®ç« ã§ã¯in_monitor_age
広告ãƒã‚°è§£æžåŸºç›¤ã«Fluentdを使ã£ã¦ã„る話 - ã™ãšã‘んメモ
ã“ã‚Œã¯Fluentd Advent Calendar 14日目ã®è¨˜äº‹ã§ã™ã€‚ ç§ã¯ç¾åœ¨ã€VOYAGE GROUPã®å会社ã§ã‚ã‚‹adingoã§ã€DMP cosmiã®é–‹ç™ºã‚’ã—ã¦ã„ã¾ã™ã€‚今日ã¯cosmiã§ã®fluentd利用ã®è©±ã‚’ã—よã†ã¨æ€ã„ã¾ã™ã€‚ DMPã«ã¤ã„㦠éŽåŽ»ã«å‹‰å¼·ä¼šã§ã‚¢ãƒ‰ãƒ†ã‚¯ã¾ã‚ã‚ŠåŠã³DMPã«ã¤ã„ã¦è©±ã—ãŸã®ã§ãれを貼ã£ã¦ãŠãã¾ã™ã€‚ã–ã£ã¨ã„ã†ã¨ã€ã„ã„æ„Ÿã˜ã«ã„ã‚ã‚“ãªãƒã‚°ã‚’å—ã‘ã„られるよã†ã«ã—ã¦ã€ãれらをモニタリングã—ãªãŒã‚‰æ•´ç†ã—ã¦ä½¿ãˆã‚‹ã‚ˆã†ã«ã™ã‚‹ã€ã¨ã„ã†å½¹å‰²ã‚’ã‚‚ã£ãŸãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚ Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp ã©ã“ã§ä½¿ã£ã¦ã„ã‚‹ã‹ ã»ã¼å…¨ã¦ã§ã™ã€‚構æˆã¨ã—ã¦ã¯ ãƒã‚°åŽé›†ã‚µãƒ¼ãƒ | | out-forward (roundro
fluentdã¨å®šç•ªãƒ—ラグインã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«
fluentdã¨å®šç•ªãƒ—ラグインã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ï¼šä»Šã•ã‚‰èžã‘ãªã„fluentd～クラウド時代ã®ãƒã‚°ç®¡ç†å…¥é–€ï¼ˆ2）（1/2 ページ） å‰å›žã®è¨˜äº‹ã€Œå¢—ãˆã‚‹ãƒã‚°ã€å¤šæ§˜åŒ–ã™ã‚‹ãƒã‚°ã‚’ã©ã†åŠ¹çŽ‡çš„ã«é‹ç”¨ã™ã‚‹ã‹ã€ã§ã¯ã€fluentdã®å¤§ã¾ã‹ãªã‚¢ãƒ¼ã‚テクãƒãƒ£ã«ã¤ã„ã¦ã”紹介ã—ã¾ã—ãŸã€‚第2回ã§ã¯ã€fluentdãŒã©ã†ã„ã£ãŸã‚‚ã®ã§ã‚ã‚‹ã‹ã‚’ã‚‚ã†å°‘ã—具体的ã«ç†è§£ã™ã‚‹ãŸã‚ã«ã€å®Ÿéš›ã®åˆ©ç”¨ã¾ã§ã®æµã‚Œã‚’紹介ã—ã¾ã™ã€‚ fluentdã®ä½¿ã„æ–¹ fluentdを利用ã™ã‚‹ã«ã¯ã€å„サーãƒãƒ¼ã«fluentdをインストールã—ã€ã©ã®ãƒ—ラグインを使ã£ã¦å‡¦ç†ã‚’è¡Œã†ã‹ã«ã¤ã„ã¦ã®è¨å®šãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚ ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ‰‹é † fluentdã¯ã•ã¾ã–ã¾ãªæ–¹æ³•ã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã§ãã¾ã™ã€‚例ãˆã°ã€ rpmパッケージã«ã‚ˆã‚‹ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ï¼ˆCentOSã€Red Hat Enterprise Linuxãªã©ã®OSå‘ã‘） debパッケージã«ã‚ˆã‚‹ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ï¼ˆUbuntuã€Deb
fluentdã«ã‚ˆã‚‹ãƒã‚°åŽé›†ã‚·ã‚¹ãƒ†ãƒ ã®æ§‹ç¯‰ï½žå¿œç”¨ç·¨
ã¯ã˜ã‚㫠基本編ã§ã¯ã€ãƒã‚°åŽé›†ã‚µãƒ¼ãƒãƒ¼ãŠã‚ˆã³ã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¨åŸºæœ¬çš„ãªè¨å®šã«ã¤ã„ã¦è§£èª¬ã—ã¾ã—ãŸã€‚応用編ã§ã¯ã€ã‚µãƒ¼ãƒãƒ¼ãŒåŽé›†ã—ãŸãƒã‚°ã‚’データベースã«é›†ç©ã—ã€æ¤œç´¢ã™ã‚‹æ–¹æ³•ã‚’解説ã—ã¾ã™ã€‚ データベースã¸ã®ãƒã‚°é›†ç© 基本編ã§ã¯ã€fluentdãŒåŽé›†ã—ãŸãƒã‚°ã¯å…¨ã¦ãƒ•ã‚¡ã‚¤ãƒ«ã¨ã—ã¦ä¿å˜ã—ã¦ã„ã¾ã™ãŒã€ä¿å˜ã•ã‚ŒãŸãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ã®ã‚µã‚¤ã‚ºãŒå¤§ãããªã‚‹ã¨ã€ãƒã‚°ã®è§£æžã‚‚困難ã«ãªã‚Šã¾ã™ã€‚ ãã“ã§ã€å…¬å¼ãƒ—ラグインã¨ã—ã¦ç”¨æ„ã•ã‚Œã¦ã„ã‚‹mongoプラグインを使用ã—ã¦ã€åŽé›†ã—ãŸãƒã‚°ã‚’MongoDB上ã«é›†ç©ã—ã¾ã™ã€‚ ãªãŠã€ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã¯ã‚µãƒ¼ãƒãƒ¼ä¸Šã§è¡Œã£ã¦ä¸‹ã•ã„。 MongoDBレãƒã‚¸ãƒˆãƒªè¨å®š インストールã«å…ˆç«‹ã¡ã€MongoDBã®ãƒªãƒã‚¸ãƒˆãƒªã‚’è¨å®šã—ã¾ã™ã€‚ $ sudo vi /etc/yum.repos.d/mongo.repo [mongo] name=MongoDB Repository baseurl=http
Fluentdã§å§‹ã‚るリアルタイムã§ã®ãƒã‚°æœ‰åŠ¹æ´»ç”¨
ã¯ã˜ã‚ã« Fluentdã¯ã€ãƒã‚°ã‚’åŽé›†ã—æ ¼ç´ã™ã‚‹ãŸã‚ã®ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚Fluentdã«ã‚¤ãƒ³ãƒ—ットã•ã‚ŒãŸã€ã™ã¹ã¦ã®ãƒã‚°ã‚’JSONã«å¤‰æ›ã—ã€ã‚¢ã‚¦ãƒˆãƒ—ットã—ã¾ã™ã€‚インプットã¨ã‚¢ã‚¦ãƒˆãƒ—ットã¯ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«åŒ–ã•ã‚Œã¦ãŠã‚Šã€ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’è¿½åŠ ã™ã‚‹ã“ã¨ã§ã‚¤ãƒ³ãƒ—ット元ã¨ã‚¢ã‚¦ãƒˆãƒ—ãƒƒãƒˆå…ˆã‚’è¿½åŠ ã§ãるよã†ã«ãªã£ã¦ã„ã¾ã™ã€‚ Fluentdã¯æ€¥é€Ÿã«çŸ¥å度を高ã‚ã€å¤šãã®Webサービス会社ã§å®Ÿéš›ã«ä½¿ç”¨ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚従æ¥ã®ãƒã‚°ãŒæŠ±ãˆã¦ã„ãŸå•é¡Œã‚‚ã€FluentdãŒé©åˆ‡ãªè§£æ±ºç–ã¨ãªã£ã¦ã„ã‚‹ã¨èªçŸ¥ã•ã‚Œã€ã‹ã¤ç°¡å˜ã«å°Žå…¥ãƒ»ã‚¹ãƒ¢ãƒ¼ãƒ«ã‚¹ã‚¿ãƒ¼ãƒˆã§ãるミドルウェアã§ã‚ã£ãŸã“ã¨ãŒå¤§ãã‹ã£ãŸã¨æ€ã„ã¾ã™ã€‚ 本稿ã§ã¯ã€Fluentdã®ç°¡å˜ãªä»•çµ„ã¿ã¨å°Žå…¥æ–¹æ³•ã€ã‚·ãƒ³ãƒ—ルãªå‹•ä½œäº‹ä¾‹ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ 対象èªè€… システム管ç†è€… データサイエンティスト å¿…è¦ãªç’°å¢ƒ UNIXç³»OS Ruby 1.9 ãƒã‚°ã‚’出力ã™ã‚‹ç†ç”± システムé‹ç”¨ã‚’始ã‚ã‚‹
Happy Elements Labs: fluentdã¨MongoDBã§ãƒ¦ãƒ¼ã‚¶ãƒ¼è¡Œå‹•ã‚’見ãˆã‚‹åŒ–
ã¯ã˜ã‚㫠エンジニアã®@ryooo321ã§ã™ã€‚ よã‚ã—ããŠé¡˜ã„ã—ã¾ã™ã€‚ 今回ã¯å¼Šç¤¾ã§é‹ç”¨ä¸ã®å…¨ã‚¢ãƒ—リã§åˆ©ç”¨ã—ã¦ã„る行動分æžãƒ—ラットフォームã«ã¤ã„ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 2012å¹´ã®6月ã«ä½œã£ã¦ã‹ã‚‰ã€ç´„9ヶ月ã»ã©é‹ç”¨ã—ã¦ã„ã¾ã™ã€‚ 特徴 ・手ãŒã‹ã‹ã‚‰ãªã„データストア ・ã•ã¾ã–ã¾ãªå•ã„åˆã‚ã›å¯¾å¿œã§åˆ©ç”¨ã§ãる柔軟ãªã‚¯ã‚¨ãƒª ・機æ•ãªMap/Reduceã«ã‚ˆã‚‹é›†è¨ˆ ・集計çµæžœã‚’CSVやグラフã§å¯è¦–化 目的 ・ユーザーã®å•ã„åˆã‚ã›ã«åŠ¹çŽ‡çš„ã«å¯¾å¿œã—ã€ã‚¢ãƒ—リã®ä¼ç”»ãƒ»é–‹ç™ºã«é›†ä¸ã™ã‚‹ãŸã‚ ・ユーザーã®è¡Œå‹•ã‚’抽象化・å¯è¦–化ã™ã‚‹ã“ã¨ã§PDCAã®è³ªã‚’å‘上ã•ã›ã‚‹ãŸã‚ 行動ãƒã‚°ã®ãƒ•ãƒãƒ¼ 1. ユーザーã‹ã‚‰Ruby on Rails製ã®ã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã‚²ãƒ¼ãƒ ã«ãƒªã‚¯ã‚¨ã‚¹ãƒˆ 2. Railsã‹ã‚‰ãƒãƒ¼ã‚«ãƒ«ã®fluentdã«ãƒã‚°å‡ºåŠ›(fluent-logger-ruby) 3. ãƒãƒ¼ã‚«ãƒ«ã®fluentd
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
fluentdã§ãƒã‚°ãŒæ¬ æã™ã‚‹å¯èƒ½æ€§ã‚’考ãˆã‚‹ : sonots:blog
Fluentd
{{#tags}}- {{label}}
{{/tags}}