デブサミ2014-Stormã§å®Ÿç¾ã™ã‚‹ãƒ“ッグデータã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ãƒ—ラットフォーム～ストリームデータ処ç†ã‹ã‚‰æ©Ÿæ¢°å¦ç¿’ã¾ã§ï½ž
2. 自己紹介 { “æ°å†“所属†“Twitter†“Facebook†“分野†: : : : : â€éˆ´æœ¨ 貴典†“Acroquest Technology Co., Ltd.†“@takanorig†“https://www.facebook.com/takanorig†[“SEPGâ€, “Testingâ€, “Managementâ€, â€Frameworkâ€, â€Platformâ€] } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
Kafka+Storm+Elasticsearch+Kibanaã§ã‚¹ãƒˆãƒªãƒ¼ãƒ データ処ç†ã®å¯è¦–化を行ã£ã¦ã¿ãŸ - Taste of Tech Topics
ã“ã‚“ã«ã¡ã¯ã€‚kimukimuã§ã™ã€‚ AWS re:Invent 2013 㧠Amazon Kinesis ãŒç™ºè¡¨ã•ã‚Œã‚‹ãªã©ã€ ストリームデータ処ç†ã«å¯¾ã™ã‚‹ãƒ‹ãƒ¼ã‚ºã®é«˜ã¾ã‚Šã‚’æ„Ÿã˜ã¾ã™ã。 （Amazon Kinesis ã¯ã€Stormã¨ã‚‚連æºã§ãるよã†ã«ãªã£ã¦ã„るよã†ã§ã™ï¼‰ã€‚ ã•ã¦ã€å…ˆæ—¥ã€Storm 0.9.0 ãŒæ£å¼ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã‚Šã€Apache Kafka 0.8.0 ãŒæ£å¼ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã‚Šã—ãŸã®ã§ã€ ãれらを連æºã—ã¦ã€ã‚¹ãƒˆãƒªãƒ¼ãƒ データã®å¯è¦–化を行ã†ãƒ—ãƒãƒˆã‚¿ã‚¤ãƒ—を作ã£ã¦ã¿ã¾ã—ãŸã€‚ 1. ã¯ã˜ã‚ã« ã¾ãšã€ã€Œã‚¹ãƒˆãƒªãƒ¼ãƒ データã€ã¨ã¯ã€é€£ç¶šçš„ã«ç™ºç”Ÿã—続ã‘るデータã®ã“ã¨ã‚’指ã—ã¾ã™ã€‚ システムãŒå‡ºåŠ›ã™ã‚‹ãƒã‚°ã‚„センサーãŒç™ºç”Ÿã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã€SNSãªã©ã§å¸¸æ™‚発生ã™ã‚‹ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ãªã©ãŒè©²å½“ã—ã¾ã™ã€‚ 今回ã¯ã€ApacheãŒå‡ºåŠ›ã™ã‚‹ãƒã‚°ã‚’ã€ã‚¹ãƒˆãƒªãƒ¼ãƒ データã¨ã—ã¦åŽé›†ãƒ»å¯è¦–化ã™ã‚‹ã“ã¨ã‚’è¡Œã£ã¦ã¿ã¾ã™ã€‚ 1-1.ã‚„ã‚ŠãŸã„
Stormã‚’ã¯ã˜ã‚よã†
本書ã¯ã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚·ã‚¹ãƒ†ãƒ Stormã®æ¦‚è¦ã‚’紹介ã™ã‚‹æ›¸ç±ã§ã™ã€‚Stormã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³0.7.1をベースã«ã€ã‚¹ãƒ‘ウトã€ãƒœãƒ«ãƒˆã¨ã„ã£ãŸStormクラスタを構æˆã™ã‚‹åŸºæœ¬çš„ãªè¦ç´ ã‹ã‚‰ã€ãƒãƒ¼ã‚«ãƒ«ãƒ¢ãƒ¼ãƒ‰ã§ã®ä½¿ç”¨ä¾‹ã€ãƒˆãƒãƒã‚¸ãƒ¼ã®ä½œæˆã€ã‚¹ãƒ‘ウトã€ãƒœãƒ«ãƒˆã®å®Ÿè£…ã€ã¾ãŸNode.jsã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã¨ã—ã¦å‹•ä½œã•ã›ã‚‹ã€‚ã•ã‚‰ã«ã€PHPã‹ã‚‰ä»–言語ã‹ã‚‰Stormを利用ã™ã‚‹ä¾‹ã‚’解説ã—ã¾ã™ã€‚ãªãŠæœ¬æ›¸ã¯Ebookã®ã¿ã®è²©å£²ã¨ãªã‚Šã¾ã™ã€‚ ã¾ãˆãŒã 本書ã§ä½¿ç”¨ã•ã‚Œã¦ã„る表記è¦å‰‡ サンプルコードã®ä½¿ç”¨ã«ã¤ã„㦠本書ã«é–¢ã™ã‚‹ãŠå•ã„åˆã‚ã› è¬è¾ž 1ç« ã€€Stormã¨ã¯ Stormã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆ Stormã®ç‰¹å¾´ 2ç« ã€€Stromã‚’ã¯ã˜ã‚ã‚‹ã«ã¯ æ“作モード 「Hello Worldã€Storm 1番目ã®ãƒˆãƒãƒã‚¸ãƒ¼ã®ä½œæˆ ã¾ã¨ã‚ 3ç« ã€€ãƒˆãƒãƒã‚¸ãƒ¼ ストリームã®ã‚°ãƒ«ãƒ¼ãƒ—化 LocalClusterã‹ã‚‰StormSubmit
Stormã‚’ã¯ã˜ã‚よㆠ- Go ahead!
O’Reillyã®æ–¹ã‹ã‚‰Stormã‚’ã¯ã˜ã‚よã†ã‚’献本ã—ã¦é ‚ã„ã¦èªã‚“ã ã®ã§ãƒ¬ãƒ“ãƒ¥ãƒ¼ï¼ æ„Ÿæƒ³ 最近増ãˆã¦ãã¦ã„ã‚‹100ページãらã„ã®æœ¬ãªã®ã§ï¼Œã•ã£ãã‚Šèªã‚ã¾ã—ãŸï¼Ž ç°¡å˜ã«ã¾ã¨ã‚る㨠â€è‹±èªžã¯èªã¿ãŸããªã„ã®ã§æƒ…å ±ãŒå¤ãã¦ã‚‚Stormã®æ¦‚è¦ã‚’日本語ã§èªã¿ãŸã„†ã¨ã„ã†æ–¹å‘ã‘ã®æœ¬ï¼Ž 大ããªç†ç”±ã¯ä»¥ä¸‹: Stormã®å¯¾è±¡ãƒãƒ¼ã‚¸ãƒ§ãƒ³ãŒ0.7.1ã¨å¤ã„．俺ã§ã‚‚Tridentã¨ã„ã†ã®ãŒ0.8ã‹ã‚‰å…¥ã£ã¦ã„ã‚‹ã®ã‚’知ã£ã¦ã„ã‚‹ã®ã§ï¼Œãã®è¾ºã®ç›®çŽ‰æ©Ÿèƒ½ã¯æ›¸ã‹ã‚Œã¦ã„ãªã„ 多分原著ã®æ–¹ã‚‚å°‘ã—書ãæ–¹ãŒé›‘．ãªã‚“ã®èª¬æ˜Žã‚‚ãªã実装ã®ã‚¯ãƒ©ã‚¹åを使ã£ã¦èª¬æ˜Žã—ã¦ã„る所ã¨ã‹ã‚ã‚‹ã®ã§ã€Œï¼Ÿã€ã¨ãªã‚‹æ‰€ãŒã‚ã‚‹ サンプルコードも少ã—雑ã§ï¼Œä½¿ã£ã¦ãªã„変数ãŒã‚ã£ãŸã‚Šèª¬æ˜Žã¨å®Ÿè£…ãŒã‚ã£ã¦ãªã‹ã£ãŸã‚Šã‚‚ãŸã¾ã«ã‚ã‚‹ 翻訳ãŒå°‘ã—微妙．CursorãŒâ€ã‚«ãƒ¼ã‚µãƒ¼â€ã ã£ãŸã‚Šï¼ŒåŽŸè‘—ã®æ–¹ã®æ§‹æˆã®ä¸å‘³ã•ã‚‚ã‚ã‚‹ã®ã‹ï¼Œæ—¥æœ¬èªžçš„ã«ç†è§£ã—ã«ãã„æ–‡ãŒã¡ã‚‡ãã¡ã‚‡ãæ··ã˜ã£ã¦ã„ã‚‹ (監訳ã¯ã„
Stormã£ã¦ã©ã“ã§å®Ÿéš›ã«ä½¿ã‚ã‚Œã¦ã‚‹ã®ï¼Ÿ - Taste of Tech Topics
ã“ã‚“ã«ã¡ã¯ã€‚kimukimuã§ã™ã€‚ 今日もStormã®è©±ã§ã™ã€‚ ã§ã™ãŒã€ä»Šæ—¥ã¯å°‘ã—趣å‘を変ãˆã¦StormãŒå®Ÿéš›ã«ã©ã‚“ãªå ´æ‰€ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹ã‹ã‚’紹介ã—ã¦ã¿ã¾ã™ã€‚ ・・・ã¨ã„ã†ã®ã‚‚ã€Stormã£ã¦ã€Œãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分散処ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークã€ã§ã¯ã‚ã‚Šã¾ã™ãŒã€ ãã‚Œã ã‘ã ã¨ä½•ãŒã§ãã‚‹ã‹ã•ã£ã±ã‚Šã§ã€ã‹ã¤æ—¥æœ¬ã§ã¯å®Ÿé‹ç”¨ã¨ã—ã¦ä½¿ã£ã¦ã„ã‚‹å ´æ‰€ã¯ç„¡ã„ã®ã§ã€‚ ＃ã‚ã‚‹ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€å°‘ãªãã¨ã‚‚æƒ…å ±ã¯å…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。 ãã‚“ãªã‚ã‘ã‚‚ã‚ã£ã¦ã€ç´¹ä»‹ã™ã‚‹ã®ã¯å…¨ã¦å¤–国ã®ä¼æ¥ã¨ãªã‚Šã¾ã™ãŒã€æ›¸ãã¾ã™ã。 å°šã€å…ƒæƒ…å ±ã¯Stormã®Wikiã‹ã‚‰ã§ã™ã€‚ ä¼æ¥å 用途 Groupon リアルタイムã®ãƒ‡ãƒ¼ã‚¿çµ±åˆã«ä½¿ç”¨ã—ã¦ã„る。é‡è¤‡ã—ãªã„データをã¾ã¨ã‚ã‚‹ã®ã«æœ‰ç”¨ã€‚ Rubicon Project リアルタイム入æœã‚·ã‚¹ãƒ†ãƒ ã«ãŠã‘る広告ã®è¡¨ç¤ºå›žæ•°ã®è§£æžã«ä½¿ç”¨ã€‚毎日6å„„5åƒä¸‡ã®ã‚ªãƒ¼ã‚¯ã‚·ãƒ§ãƒ³ã®çµæžœã‚’毎日処ç†ã—ã€ã‚ˆã‚Šæœ‰åŠ¹ãªåºƒå‘Šã®æ案を行ã£ã¦ã„る。ã¾ãŸ
Twitterã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分散処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€å…¥é–€
鈴木 è²´å…¸ï¼‹æœ¨æ‘ å®—å¤ªéƒŽ Twitterã®Nathan Marzæ°ãŒé–‹ç™ºã—ã¦ã„ã‚‹ 「Storm〠。 2011å¹´9月ã«ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã•ã‚Œã¾ã—ãŸãŒã€ã¾ã ã¾ã 日本ã§å¾—ã‚‰ã‚Œã‚‹æƒ…å ±ã¯å°‘ãªã〠詳細ã¯ä¸æ˜Žãªã¨ã“ã‚も多ã„ã§ã™ã€‚ ãã“ã§ã€æ—¥æœ¬åˆï¼ˆãŸã¶ã‚“）ã®ã€ŒStormã€ã‚»ãƒƒã‚·ãƒ§ãƒ³ã‚’è¡Œã„ã¾ã™ã€‚ 「Stormã€ã¯ã€CEP（Complex Event Processingï¼è¤‡åˆã‚¤ãƒ™ãƒ³ãƒˆå‡¦ç†ï¼‰ã«å±žã™ã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã‚り〠分散リアルタイム処ç†ã‚’è¡Œã†ãŸã‚ã®åŸºæœ¬ã‚»ãƒƒãƒˆã‚’æä¾›ã—ã¦ã„ã¾ã™ã€‚ 今回ã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã§ã¯ã€ãã®æ¦‚念や特性ãªã©ã«ã¤ã„ã¦è§£èª¬ã—ã¦ã¿ã¾ã™ã€‚Read less
Twitterã€åˆ†æ•£ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€å…¬é–‹ | gihyo.jp
2011å¹´9月18æ—¥ã€Twitterã¯åˆ†æ•£ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€ã‚’オープンソースã§å…¬é–‹ã—ã¾ã—ãŸã€‚よりæ£ç¢ºã«è¨€ã†ã¨ã€2011å¹´7月ã«è²·åŽã•ã‚ŒãŸBackTypeã®ãƒ¡ãƒ³ãƒãƒ¼ãŒè²·åŽä»¥å‰ã‚ˆã‚Šé–‹ç™ºã‚’進ã‚ã¦ã„ãŸã‚‚ã®ã§ã™ã€‚BackTypeã¯Twitterã®ã¤ã¶ã‚„ãを解æžã™ã‚‹ã‚·ã‚¹ãƒ†ãƒ を開発ã—ã¦ã„ãŸã‚¹ã‚¿ãƒ¼ãƒˆã‚¢ãƒƒãƒ—ä¼æ¥ã§Hadoopã®ãƒ˜ãƒ“ーユーザã§ã‚‚ã‚ã‚Šã¾ã—ãŸãŒã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性ã®å•é¡Œç‚¹ã‚’解消ã™ã¹ãStormã®é–‹ç™ºã«è‡³ã£ãŸã‚ˆã†ã§ã™ã€‚ã¡ãªã¿ã«åŒã˜ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã‚·ã‚¹ãƒ†ãƒ ã¨ã—ã¦ç±³Yahoo! ãŒã€ŒS4ã€ã‚’公開ã—ã¦ã„ã¾ã™ãŒã€Stormã¯ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹ä¿¡é ¼æ€§ã®é«˜ã•ã‚„APIã®ã‚·ãƒ³ãƒ—ルã•ã«é•ã„ãŒã‚ã‚Šã¾ã™ã€‚ Stormã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã¯Hadoopã¨ä¼¼é€šã£ã¦ãŠã‚Šã€ã‚¯ãƒ©ã‚¹ã‚¿ã¯Master-Workerパターンã«åŸºã¥ã„ã¦ã„ã¾ã™ã€‚Masterノードã«ã¯ã€ŒNimbusâ ã€â ã€Workerノードã«ã¯
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
ストリームデータ分散処ç†åŸºç›¤Storm
Charming Python: Functional programming in Python, Part 3
{{#tags}}- {{label}}
{{/tags}}