Apache Sparkã§å§‹ã‚ã‚‹ãŠæ‰‹è»½ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ウインドウ集計 | æ ªå¼ä¼šç¤¾NTTデータ先端技術ãƒãƒƒãƒã‚’高速ã«ã—ãŸå¾Œã¯ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã®ä¸–ç•Œã¸ï¼ ç¾åœ¨ã€ã•ã¾ã–ã¾ãªæ¥ç¨®ã®ä¼æ¥ã§ãƒ“ッグデータ分æžã®å–り組ã¿ãŒè¡Œã‚ã‚Œã¦ã„る。ビッグデータã¸ã®æœ€åˆã®å–ã£æŽ›ã‹ã‚Šã¯ã€æ—¢å˜ã®ãƒãƒƒãƒå‡¦ç†ã®é«˜é€ŸåŒ–ã‚„ã€å¤§é‡ã®æ¥å‹™ãƒ‡ãƒ¼ã‚¿ã‚’用ã„ãŸåˆ†æžãƒ¬ãƒãƒ¼ãƒˆã®ä½œæˆã¨ã„ã†ä¼æ¥ãŒå¤šã„ã“ã¨ã ã‚ã†ã€‚ãã—ã¦ã€ãƒãƒƒãƒå‡¦ç†ã®é«˜é€ŸåŒ–ãŒä¸€æ®µè½ã—ãŸæ¬¡ã®ã‚¹ãƒ†ãƒƒãƒ—ã¨ã—ã¦ã€ã€Œãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã€ã‚’テーマã«æŽ²ã’ã‚‹ä¼æ¥ã‚‚多ã„ã‹ã¨æ€ã‚れる。具体的ã«ã¯ã€ ç›´è¿‘10秒間ã®ãƒˆãƒ©ãƒ•ã‚£ãƒƒã‚¯ã‚’集計ã—ãŸã„。 ç›´è¿‘10分間ã§è‡ªç¤¾å•†å“ãŒTwitterã§è©±é¡Œã«ãªã£ãŸå›žæ•°ã‚’知りãŸã„。 ç›´è¿‘10時間ã§ã®å…¨åº—舗ã§ã®æ¥å®¢æ•°ã‚’集計ã—ãŸã„。 ã¨ã„ã£ãŸãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ã‚’実ç¾ã—ãŸããªã‚‹ã®ã§ã¯ãªã„ã ã‚ã†ã‹ï¼Ÿã“ã†ã„ã£ãŸãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ç”¨ã®é›†è¨ˆã¯ã€æŠ€è¡“çš„ã«ã¯ã€Œã‚¦ã‚¤ãƒ³ãƒ‰ã‚¦é›†è¨ˆï¼ˆTime-Window Operation）ã€ã¨å‘¼ã°ã‚Œã‚‹ã€‚ãã“ã§æœ¬ã‚³ãƒ©ãƒ ã§ã¯ã€è¿‘é ƒã€ã€Œãƒã‚¹ãƒˆHadoopã€ã¨ã—ã¦è©±é¡Œã®Apac
é›»å書ç±ã€Žå®Ÿè·µ 機械å¦ç¿’ã€ã®ç„¡æ–™ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ãŒå¯èƒ½ã«ï¼
Facebookã€åˆ†æ•£SQLエンジン「Prestoã€å…¬é–‹ã€‚大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’MapReduce/Hiveã®10å€åŠ¹çŽ‡ã‚ˆã処ç†ã™ã‚‹ã¨
Hadoopã§ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã‚·ã‚¹ãƒ†ãƒ を作ã‚ㆠ記事一覧 | gihyo.jp
ヤーウエã€ã„ã¨é«˜ã神ã‹ã‚‰ã® 日本ã¸ã®ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
Yahoo! Mail antispam - Bay area Hadoop user group
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
{{#tags}}- {{label}}
{{/tags}}