Design & Implement Batch Stream Processing Application for Ruby沖縄Ruby会è°01発表「Rubyã«ã‚ˆã‚‹ãƒãƒƒãƒæ¥å‹™ã®ã‚¹ãƒˆãƒªãƒ¼ãƒ 処ç†åŒ–ã®è¨è¨ˆã¨å®Ÿè£…〠http://regional.rubykaigi.org/okrk01/
NHKã®æ¬¡ã®ç•ªçµ„æƒ…å ±ã‚’ #fluentd 経由ã§idobataã«æµã™ - id:bash0C7ã®é€²æ— éŽåŽ»ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–[〜2019-02-23]
NHK番組表APIãŒå…¬é–‹ã•ã‚ŒãŸã“ã¨ã¨ã€ãれを簡å˜ã«å©ã‘ã‚‹gemã®nhk_program-for-rubyãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã“ã¨ã‚’知りã€ã¨ã¦ã‚‚使ã£ã¦ã¿ãŸããªã‚Šã¾ã—ãŸã€‚ ãã“ã§ã€ã”自宅ã®Fluentdã§å®šæœŸçš„ã«NHKã®æ¬¡ã®ç•ªçµ„ã®æƒ…å ±ã‚’å–å¾—ã—ã€idobataã«æµã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ NHKã®ç•ªçµ„表APIã‹ã‚‰ç•ªçµ„データをå–å¾— NHK番組表APIã®ï¼®ï½ï½— Ｏｎ Ａｉｒ ＡＰＩ （Ｖｅｒ．１） | NHK番組表APIã‚’mitukiii/nhk_program-for-ruby · GitHubを使ã£ã¦å©ã„ã¦ã„ã¾ã™ã€‚ fluentdã‹ã‚‰ç•ªçµ„データをå–å¾—ã™ã‚‹ bash0C7/fluent-plugin-ruby_eval · GitHub ã‹ã‚‰nhk_programを使ã£ã¦ã„ã¾ã™ã€‚ fluent-plugin-ruby_evalã¨ã¯ ã“ã‚“ãªæ„Ÿã˜ã§ã™ã€‚ã”覧ã®ã¨ãŠã‚Šã€ã¾ã ã¡ã‚ƒã‚“ã¨èª¬æ˜Žã§ããªã„ãらã„ã«è€ƒãˆãŒç·´
![NHKã®æ¬¡ã®ç•ªçµ„æƒ…å ±ã‚’ #fluentd 経由ã§idobataã«æµã™ - id:bash0C7ã®é€²æ— éŽåŽ»ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–[〜2019-02-23]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b243c1d6422424e4e28d560b03c71d9d7943406a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815714508769%2F12921228815717739993%2F1391362170)
Fluentdã€Amazon Redshiftã¨Tableauを用ã„ãŸã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ãªãƒ‡ãƒ¼ã‚¿å¯è¦–化 | SmartNews開発者ブãƒã‚°
ゴクãƒæ”¹ã‚ã€ã‚¹ãƒžãƒ¼ãƒˆãƒ‹ãƒ¥ãƒ¼ã‚¹æ ªå¼ä¼šç¤¾ã®å¤§å¹³ã§ã™ã€‚ å··é–“ã§ã¯ã€Œbigdataã€ã®æ´»ç”¨ãŒå«ã°ã‚Œã¦ä¹…ã—ã„ã§ã™ãŒã€å¼Šç¤¾ã¯ã¾ã ã¾ã å°ã•ã„è¦æ¨¡ã®ã‚¹ã‚¿ãƒ¼ãƒˆã‚¢ãƒƒãƒ—ã®ãŸã‚å°‘ãªãã¨ã‚‚データサイズã¨ã—ã¦hugeãªdataã®æ´»ç”¨ãŒè¡Œãˆã‚‹ç’°å¢ƒã§ã¯ã‚ã‚Šã¾ã›ã‚“。 ã§ã‚ã‚Œã°ãƒ‡ãƒ¼ã‚¿ã®æ´»ç”¨ã«å¯¾ã™ã‚‹è¦æ±‚ãŒä½Žã„ã‹ã€ã¨ã„ã†ã¨ãã†ã§ã‚‚ç„¡ãã€ã‚µãƒ¼ãƒ“スサイドã§ã‚‚自然言語処ç†ã‚„機械å¦ç¿’ã‚’ä¸å¿ƒã¨ã—ãŸãƒ‡ãƒ¼ã‚¿è§£æžå‡¦ç†ãŒã‚µãƒ¼ãƒ“スã®ç”Ÿå‘½ç·šã¨ãªã£ã¦ã„ã¾ã™ã—ã€ã‚µãƒ¼ãƒ“スã®è£å´ã§ã‚‚戦略を立ã¦ã‚‹ä¸Šã§åŠ¹æžœæ¸¬å®šã‚„諸々ã®ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã¯éžå¸¸ã«é‡è¦ãªä½ç½®ã‚’å ã‚ã¦ã„ã¾ã™ã€‚ 本記事ã§ã¯ä¸»ã«ã‚µãƒ¼ãƒ“スã®è£å´ã§æ±‚ã‚られるデータ解æžã«ãŠã„ã¦ã€ã„ã‹ã«ã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ã«ãƒ‡ãƒ¼ã‚¿ã‚’解æžã™ã‚‹ã‹ã€ã®ä¸€ä¾‹ã¨ã—ã¦ã€æŽ²é¡Œã®ã‚ˆã†ãªçµ„ã¿åˆã‚ã›ã«ã‚ˆã‚‹ãƒ‡ãƒ¼ã‚¿å¯è¦–化ã®äº‹ä¾‹ã‚’ç°¡å˜ã«ã§ã™ãŒã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ データ解æžåŸºç›¤ã‚’作るå´ã®è¦–点ã‹ã‚‰ã™ã‚‹ã¨ã€ã‚·ã‚¹ãƒ†ãƒ ã¨ã—ã¦æ±‚ã‚られるè¦ä»¶ã¯ä»¥ä¸‹ã®ã‚ˆã†ãªã‚‚ã®ã ã¨ç†è§£ã—ã¦ã„ã¾
Fluentdã¨Redisを使ã£ãŸãƒ©ãƒ³ã‚ング機能ã®å®Ÿè£… | SmartNews開発者ブãƒã‚°
ゴクãƒã®å¤§å¹³ã§ã™ã€‚ã”ãã‚ã†ã•ã¾ã§ã™ã€‚ Redisã¯é«˜é€Ÿã§ã€ã‹ã¤ãƒ‡ãƒ¼ã‚¿ã®æ°¸ç¶šåŒ–ã‚„ã€è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿åž‹ã«ã‚ˆã‚‹ã‚¹ãƒˆã‚¢(list,set,sorted setç‰ï¼‰ã‚‚対応ã—ã¦ãŠã‚Šã€æ©Ÿèƒ½çš„ãŒè±Šå¯Œã¨ã„ã†ã“ã¨ã‹ã‚‰æ„›ç”¨è€…ã®å¤šã„KVS実装ã®ä¸€ã¤ã ã¨æ€ã„ã¾ã™ã€‚ 特ã«ç§ã®ã‚ˆã†ãªã‚¢ãƒ—リケーションエンジニアã®äººé–“ã«ã¨ã£ã¦ã¯ãƒ‡ãƒ¼ã‚¿åž‹ã®ãƒãƒªã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ã®è±Šå¯Œã•ãŒä¾¿åˆ©ã•ã‚’æ„Ÿã˜ã‚‹éƒ¨åˆ†ã§ã€ãŸã¨ãˆã°listを用ã„ã¦ã‚¿ã‚¤ãƒ ライン的ãªæƒ…å ±ã‚„å±¥æ´æƒ…å ±ã®ç®¡ç†ã€sorted setを用ã„ã¦ãƒ©ãƒ³ã‚ãƒ³ã‚°æƒ…å ±ã®ç®¡ç†ã€ãªã©ã®ã‚ˆã†ã«ã‚¢ãƒ—リケーションã®éœ€è¦ã®å¤šãã«RedisãŒå¯¾å¿œã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ ã“れらã®æƒ…å ±ã‚’ç™»éŒ²ã™ã‚‹éš›ã®ãƒ•ãƒãƒ¼ã¨ã—ã¦ã¯è‡ªä½œã®ã‚¢ãƒ—リケーションã‹ã‚‰ç›´æŽ¥ã€ã¨ã„ã†ã‚±ãƒ¼ã‚¹ãŒå¤šã„ã¨æ€ã„ã¾ã™ãŒã€ã›ã£ã‹ãFluentdã®ã‚ˆã†ãªä¾¿åˆ©ãªlog collector実装ãŒã‚ã‚‹ã®ã§ã€Fluentdã¨Redisを組ã¿åˆã‚ã›ã‚‹äº‹ã§ã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ã«æƒ…å ±ã®è“„ç©ã‚’è¡Œã„ãŸã„
S3ã¨Fluentdを用ã„ãŸåŠ¹çŽ‡çš„ãªãƒã‚°ç®¡ç† | SmartNews開発者ブãƒã‚°
ゴクãƒã®å¤§å¹³ã§ã™ã€‚ ç§ã«ã¨ã£ã¦ä¸€ç•ªå¤§äº‹ã§æ›¿ãˆã®åŠ¹ã‹ãªã„ミュージシャンã¯ã•ã ã¾ã•ã—ã•ã‚“ã§ã™ãŒã€ç§ã«ã¨ã£ã¦ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングã®ã‚µãƒ¼ãƒ“スã®ä¸ã§ä¸€ç•ªå¤§äº‹ã§æ›¿ãˆãŒåŠ¹ã‹ãªã„サービスã¯S3ã§ã™ã€‚ 多種多様ãªAPIを用ã„ã¦æŸ”軟ã«ãƒ•ã‚¡ã‚¤ãƒ«ã®æ“作ãŒå‡ºæ¥ã‚‹äº‹ã‚„ã€â€99.999999999ï¼…â€ã¨è¬³ã‚ã‚Œã¦ã„る高ã„è€éšœå®³æ€§ã€S3ã«ã‚るデータをElastic MapReduceã‚„Redshiftãªã©ã‚’用ã„ã¦æ‰‹è»½ã«ãƒ‡ãƒ¼ã‚¿è§£æžã‚’è¡Œãˆã‚‹åŸºç›¤ãŒæä¾›ã•ã‚Œã¦ã„ã‚‹ã“ã¨ãªã©ã€ã‚ã¾ã‚Šã«ä¾¿åˆ©ã™ãŽã¦S3ã®ä»£æ›¿ã¨ãªã‚‹ã‚µãƒ¼ãƒ“スを探ã—ã ã™ã®ãŒé›£ã—ã„状態ã§ã™ã€‚ ã‚‚ã¡ã‚ん多ãã®AWSユーザーãŒåŒã˜ã‚ˆã†ã«S3ã®ä¾¿åˆ©ã•ã‚’享å—ã—ã¦ã„ã‚‹ã¨æ€ã„ã¾ã™ã—ã€ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆä¸Šã§ã‚‚多ãã®ãƒ–ãƒã‚°ç‰ã§ãã®é…力ãŒèªžã‚‰ã‚Œã¦ã„ã¾ã™ã€‚ãã®ä¸ã§æœ¬è¨˜äº‹ã¯æ—¢ã«å˜åœ¨ã™ã‚‹è¨˜äº‹ã¨ä¼¼ãŸã‚ˆã†ãªå†…容を書ã„ã¦ã—ã¾ã†ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€å¼Šç¤¾ãªã‚Šã®S3ã®ä½¿ã„æ–¹ã«ã¤ã„ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ãªãŠ
Big Data入門ã«è¦‹ã›ã‹ã‘ãŸFluentd入門
2013å¹´7月5æ—¥ã€ç¤¾å†…勉強会ã§ä½¿ç”¨ã—ãŸè³‡æ–™ã§ã™ï¼ˆä¸€éƒ¨ä¿®æ£æ¸ˆã¿ï¼‰ã€‚ ライセンスã¯ã‚¯ãƒªã‚¨ã‚¤ãƒ†ã‚£ãƒ–・コモンズ・ゼãƒã¨ã—ã¾ã™ã€‚ã”自由ã«ãŠä½¿ã„下ã•ã„。 ソースã®PowerPointファイルã¯ã“ã¡ã‚‰ => http://bit.ly/begining_fluentd_learning_big_data fluent-plugin-glusterfsã¯ã“ã¡ã‚‰ => https://github.com/keithseahus/fluent-plugin-glusterfsRead less
“シリコンãƒãƒ¬ãƒ¼ã®æŠ€è¡“者集団â€ã§ã¯ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã‚’見誤る (1/5)
シリコンãƒãƒ¬ãƒ¼ã®æ—¥æœ¬äººãƒ™ãƒ³ãƒãƒ£ãƒ¼ã¨ã—ã¦æ³¨ç›®åº¦ã®é«˜ã„トレジャーデータã®CTOã§ã‚る太田一樹æ°ã¨ã®ã‚¤ãƒ³ã‚¿ãƒ“ューãŒå®Ÿç¾ã—ãŸã€‚CEO芳å·è£•èª æ°ã®å®¶ã®ãƒ™ãƒ©ãƒ³ãƒ€ã¨ç†±æµ·ã®æ¸©æ³‰ã§å§‹ã¾ã£ãŸä¼šç¤¾ã®èµ·æ¥ç‰©èªžã‚„サービスã®ãƒã‚¤ãƒ³ãƒˆãªã©ã‚’èžã„ãŸ1時間ã®ã‚¤ãƒ³ã‚¿ãƒ“ューをã»ã¼åŠ å·¥ãªã—ã§æŽ²è¼‰ã™ã‚‹ã€‚ Hadoopã®ãƒãƒ†ãƒ³ã‚·ãƒ£ãƒ«ã‚’æ„Ÿã˜å§‹ã‚ãŸã¨ãã«å£°ã‚’ã‹ã‘ã¦ã‚‚らã£ãŸ TECH.ASCII.jp 大谷（以下ã€TECH 大谷）：太田ã•ã‚“ã¨ã„ã†ã¨ã€Hadoopã®äººã¨ã„ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ãŒã‚ã‚Šã¾ã™ãŒã€ãã‚‚ãã‚‚ã®ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã‚’æ•™ãˆã¦ãã ã•ã„。 トレジャーデータ 太田æ°ï¼ˆä»¥ä¸‹ã€TD 太田）：ã¯ã„。もã¨ã‚‚ã¨ç§ã®ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã¯HPC（High Performance Computing）ã®ã‚¨ãƒªã‚¢ã§ã€19æ³ãらã„ã‹ã‚‰ã‚ã¾ã‚Šå¦æ ¡ã«ã‚‚è¡Œã‹ãšï¼ˆç¬‘）ã€ãƒ—リファードインフラストラクãƒãƒ£ã¨ã„ã†ä¼šç¤¾ã®CTOをやらã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚ã‚ã¨ã€ç±³ã‚ªãƒ¬ã‚´ãƒ³ã®å›½ç«‹ç ”究所ã§
Kibanaã£ã¦ãªã‚“ã˜ã‚ƒï¼Ÿï¼ˆKibana+elasticsearch+fluentdã§ãƒã‚°è§£æžï¼‰
å‰å›žã®è¨˜äº‹ã§ã¯ splunk enterpriseを使ã£ã¦ã¿ã¾ã—ãŸã€‚ 今回もãƒã‚°è§£æžãƒ—ラットホームã§ã‚ã‚‹ã€Kibanaを使ã£ã¦ã¿ã¾ã™ã€‚ Kibanaã¯æ¤œç´¢ãªã©ã«Elasticsearchを利用ã—ã¾ã™ã€‚ ã¾ãŸKibanaã¯ãƒ‡ãƒ¼ã‚¿ã®åŽé›†ã«Logstashã®åˆ©ç”¨ã‚’推奨ã—ã¦ã„ã¾ã™ã€‚ ãã‚Œãžã‚Œä»¥ä¸‹ã®ã‚ˆã†ãªãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚ Logstash ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ã—ã€è§£æžã—ã¦ä¿å˜ã—ã¾ã™ã€‚ ã“ã®çµ„ã¿åˆã‚ã›ã§ä½¿ç”¨ã™ã‚‹å ´åˆã€ä¿å˜å…ˆã¯elasticsearchã«ãªã‚Šã¾ã™ã€‚ Elasticsearch リアルタイムデータã®å…¨æ–‡æ¤œç´¢ã‚„統計ãªã©ã‚’Restfulインターフェースã§æä¾›ã—ã¾ã™ã€‚ Kibana データã®æƒ…å ±ã‚’æç”»ã—ã€æ¤œç´¢ã—ãŸã‚Šãƒ‰ãƒªãƒ«ãƒ€ã‚¦ãƒ³ã§æƒ…å ±ã‚’ãŸã©ã‚Œã‚‹GUIアプリケーションã§ã™ã€‚ ã“ã®ï¼“ã¤ã‚’組ã¿åˆã‚ã›ã¦ä½¿ç”¨ã™ã‚‹ã¨ä¾¿åˆ©ãªãƒã‚°è§£æžãƒ—ラットホームãŒä½œã‚Œã¾ã™ã‚ˆã¨ã„ã†ã®ãŒKibanaã®å£²ã‚Šã§ã™ã€‚ データã®åŽé›†ã‚„解æžã‚’è¡Œ
Jubatus Casual Talksã§è©±ã—ã¦ã㟠- katsyoshiã®ãƒ–ãƒã‚°
Jubatus Casual Talksã§è©±ã—ã¦ã㟠Jubatus Casual Talksã§è©±ã—ã¦ãã¾ã—ãŸï¼Žmikutter-jubatusã¨fluent-plugin-jubatusを話ã—ã¾ã—ãŸï¼Žmikutter-jubatusã«ã¤ã„ã¦ã¯ä»¥å‰æ›¸ã„ãŸã®ã§ã“ã“ã§ã¯å‰²æ„›ã—ã¾ã™ï¼Ž fluent-plugin-jubatus Fluentdã«æŠ•ã’られãŸãƒ‡ãƒ¼ã‚¿ã‚’Jubatusã«æŠ•ã’ã¦çµæžœã‚’å†ã³Fluentdã«æŠ•ã’るプラグインã§ã™ï¼Ž Fluentdã¯ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã§æµã‚Œã‚‹ã‚ˆã†ã«ãƒ‡ãƒ¼ã‚¿ãŒå¾—られã¾ã™ã®ã§ï¼Œãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã§è©•ä¾¡ã§ãã‚‹Jubatusã¨ç›¸æ€§ãŒã‚ˆã„ã¨è€ƒãˆã¦ã„ã¾ã™ï¼Žä»Šã¯ã‚µãƒãƒ¼ãƒˆã—ã¦ã„る機能ã¨ã—ã¦ï¼Œåˆ†é¡žå™¨ã¨ç•°å¸¸å€¤æ¤œçŸ¥ã®ã¿ã§ã™ï¼Žã¾ãŸï¼Œåˆ†é¡žå™¨ã§ã¯å¦ç¿’ã¯ã‚µãƒãƒ¼ãƒˆã—ã¦ãŠã‚‰ãšï¼Œåˆ¤å®šã®ã¿ã‚’サãƒãƒ¼ãƒˆã—ã¦ã„ã¾ã™ï¼Ž 異常検知 異常検知ã«ã¤ã„ã¦ã¯ï¼ŒJubatus Casual Talks開催ä¸ã«å®Ÿè£…ã•ã‚ŒãŸã®ã§ã“ã“ã§èª¬æ˜Žã‚’
RubyKaigi 2013ã«ã„ã£ã¦ããŸï¼†ã—ゃã¹ã£ã¦ã㟠- ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
ã“ã®5月30,31æ—¥ãŠã‚ˆã³6月1æ—¥ã«è¡Œã‚れ㟠RubyKaigi 2013 ã«proposalãŒé€šã£ãŸã®ã§ã€ã‚¹ãƒ”ーカーã¨ã—ã¦å‚åŠ ã—ã¦ã¾ã„ã‚Šã¾ã—ãŸã€‚ http://rubykaigi.org/2013/ é¢ç™½ã„トークãŒã„ã‚ã„ã‚ã‚ã£ãŸã—色んãªäººã¨è©±ãŒã§ããŸã—ã€ç©ºã時間ã«fluentdã®ä¿®æ£ã«ã¤ã„ã¦ã®è©±ã‚„作æ¥ã‚‚進んã ã—ã€æœ¬å½“ã«ã™ã°ã‚‰ã—ã„イベントã ã£ãŸã€‚ ãŠå°å ´ã¯é ã‹ã£ãŸã‘ã©Herokuã•ã‚“ã®ãŠã‹ã’ã§ãŠæ˜¼ã«å›°ã‚‰ãªã‹ã£ãŸã—ã€Microsoftã•ã‚“ã®ãŠã‹ã’ã§é£²ã¿ç‰©ã«ã‚‚困らãªã‹ã£ãŸã—ã€Githubã•ã‚“ã®ã‹ã’ã§æ‡‡è¦ªä¼šã«ã‚‚困らãªã‹ã£ãŸã€‚ã™ã”ã„。スãƒãƒ³ã‚µãƒ¼æ§˜ã™ã”ã„ã§ã™ã。 セッションã¯ã„ã‚ã„ã‚èžã„ãŸã‘ã©ã¾ã¨ã¾ã‚‰ãªã„ã®ã§ãƒ‘ス。テクニックã®è©±ãŒå¤šã‹ã£ãŸãªã€‚Rails以外ã«Ruby本体ã®è©±ãŒã¡ã‚ƒã‚“ã¨ã„ãã¤ã‚‚ã‚ã‚‹ã®ãŒã•ã™ãŒRubyKaigiã§ã™ã”ã„。RGenGCã¯Fluentdã«ã™ã”ã„効ããã†ãªã®ã§æœŸå¾…ã—ãŸã„ãªã‚。
「fluentdã€ã¨ã€ŒStormã€ã®æ¯”較ã«ã¤ã„㦠- Tous Les Jours 攻防記
ã¾ãšã€ä¸¡è€…ã¯ã‹ãªã‚Šæ€§è³ªã®ç•°ãªã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆãªã®ã§ã€ä»¥ä¸‹ã®æ¯”較ã¯ç‹é•ã„。 ç‹é•ã„ã§ã‚ã‚‹ã“ã¨ã‚’å‰æã«ã€ã‚¹ãƒˆãƒªãƒ¼ãƒ データ処ç†ãƒ—ラットフォームã¨ã—ã¦ã®ä¸¡è€…を比ã¹ã¦ã¿ã‚‹ã€‚ åŸºæœ¬æƒ…å ± fluentd http://fluentd.org/ 今をã¨ãã‚ããƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ãƒ¼/イベントアグリゲーター。Rubyã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ãŒè»½é‡é«˜é€Ÿã€‚ RPC基盤ã§ã¯ãªãã€ãã®ä¸‹ã®ãƒ¬ã‚¤ãƒ¤ãƒ¼ã«ä½ç½®ã™ã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆã€‚ Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureã§å®Ÿè£…ã•ã‚Œã¦ã„る。 概è¦ã«ã¤ã„ã¦ã¯ã€ä¸‹è¨˜ã®ã‚¹ãƒ©ã‚¤ãƒ‰ãŒã¨ã¦ã‚‚ã‚ã‹ã‚Šã‚„ã™ã‹ã£ãŸã€‚ Twitterã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分散処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€å…¥é–€ ストリームデータ処ç†ã§ä½•ã‚’ã™ã‚‹ã®ã‹ã«ã¤ã„㦠ストリームデータ処ç†ã®ãƒ‹ãƒ¼ã‚ºã«ã¤ã„ã¦ã€è‡ªåˆ†ãŒç†è§£ã—ã¦ã„る範囲ã§ã®ç°¡å˜ãªèª¬æ˜Žã€‚ å…¸
Search logs using Fluentd and Kibana - Go ahead!
Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored events, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requirements Java fo
Fluentdã¨GrowthForecastを使ã£ã¦è‡ªåˆ†ã®è¡Œå‹•ã‚’ãƒã‚®ãƒ³ã‚°ãƒ»å¯è¦–化ã™ã‚‹ - ã™ãŽã‚ƒãƒ¼ã‚“メモ
ãŠãらãã¯ãã‚Œã•ãˆã‚‚平凡ãªæ—¥ã€…: ã‚‚ã«ã‹ã˜ã§ã‚ªãƒ¬ã‚ªãƒ¬ç›£è¦–ツールã«ã¤ã„ã¦è©±ã—ã¦ãã¾ã—㟠GrowthForecast.plã§è‡ªåˆ†ãƒã‚®ãƒ³ã‚°ã—ã¦ã¿ãŸ - by edvakf in hatena ã®è¨˜äº‹ã®ã‚ˆã†ã«ã€Fluentdã‚„GrowthForecastを使ã£ãŸãƒã‚®ãƒ³ã‚°ã£ã¦é¢ç™½ãã†ã ãªãƒ¼ã¨æ€ã£ã¦è‡ªåˆ†ã§ã‚‚ã‚„ã£ã¦ã¿ãŸã€‚ アプリケーション毎ã®ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªæ™‚é–“ã‚’å–ã‚‹ ã¾ãšè€ƒãˆãŸã®ã¯ã“れ。ã‚ーイベント発ç«å›žæ•°ã»ã©ç´°ã‹ããªãã¦ã‚‚ã€ã€Œã‚¢ã‚¯ãƒ†ã‚£ãƒ–ã«ã—ã¦ã„る時間ã®å‰²åˆã€ãŒå–ã‚ŒãŸã‚‰ãã‚Œã¯ãã‚Œã§è‰¯ã„ã‹ãªã€ã¨ã€‚ 1秒ã”ã¨ã«ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªã‚¢ãƒ—リを調ã¹ã¦ãƒã‚®ãƒ³ã‚°ã—ã¦ã„ã。Mac OS Xã«ãŠã„ã¦ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªã‚¢ãƒ—リケーションを調ã¹ã‚‹ãªã‚‰AppleScriptãŒç°¡å˜ã€‚ name of (info for (path to frontmost application)) ã“ã‚Œã ã‘ã§ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ã«ã—ã¦ã„るアプリケーションåãŒå–れる。
サービス終了ã®ãŠçŸ¥ã‚‰ã› - NAVER ã¾ã¨ã‚
サービス終了ã®ãŠçŸ¥ã‚‰ã› NAVERã¾ã¨ã‚ã¯2020å¹´9月30日をもã¡ã¾ã—ã¦ã‚µãƒ¼ãƒ“ス終了ã„ãŸã—ã¾ã—ãŸã€‚ ç´„11å¹´é–“ã€NAVERã¾ã¨ã‚ã‚’ã”利用・ã”愛顧ã„ãŸã ãèª ã«ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚
fluent-plugin-anomalydetect 作りã¾ã—㟠- PolyPeaceLight
jubatusã§ã‚‚異常値検知ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã°ã‹ã‚Šã§ã™ãŒã€ç°¡å˜ã§ãƒ¡ãƒ¢ãƒªã‚‚食ã‚ãšã«ç•°å¸¸å€¤æ¤œçŸ¥ã§ãã‚‹ã¨ã„ã‚ã„ã‚æ—ã‚‹ã‹ãªãã¨æ€ã„ã€ç•°å¸¸å€¤æ¤œçŸ¥ã®pluginを作りã¾ã—ãŸã€‚ rubygems github 一日動ã‹ã—ã¦ã¿ã¾ã—ãŸãŒã€æ‰‹å…ƒã®ç’°å¢ƒã§ã¯ç‰¹ã«ãƒªãƒ¼ã‚¯ã‚‚ãªãã€fluentd本体ã€ã“ã®pluginã€node.js expressã‚’ç«‹ã¡ä¸Šã’ã€abã§é©å½“ã«è² è·ã‚’ã‹ã‘続ã‘ã¾ã—ãŸãŒã€å…¨ä½“ã§60MBãらã„ã§ã—ãŸã€‚ <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> ã“ã‚“ãªæ„Ÿã˜ã§è¨å®šã™ã‚‹ã¨ã€tickã§æŒ‡å®šã—ãŸæ™‚é–“(秒)ã«access.**ã«å…¥ã£ã¦ãるデータ数を数ãˆã¦ãã‚Œã®ç•°å¸¸å€¤ã‚’スコアリングã—ã¾ã™ã€‚ ã¾ãŸ <match access.**> type anomalydetect tag anomaly.acces
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Mac OS X ã« Fluentd をインストールã—㦠Ruby ã‹ã‚‰ãƒã‚°å‡ºåŠ›ã—ã¦ã¿ã‚‹ - Qiita
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
blog.4shs.org is Expired or Suspended.
fluentd を利用ã—ãŸå¤§è¦æ¨¡ã‚¦ã‚§ãƒ–サービスã®ãƒã‚®ãƒ³ã‚°
{{#tags}}- {{label}}
{{/tags}}