楽ã—ã„å¯è¦–化 ： elasticsearchã¨Spark Streamingã®å‡ºä¼šã„ | NTTãƒ‡ãƒ¼ã‚¿å…ˆç«¯æŠ€è¡“æ ªå¼ä¼šç¤¾0. ãƒã‚°ã‚„データをå–å¾—ã—ãŸå¾Œã¯ï¼Ÿ ãƒã‚°ã‚„データã®åˆ†æžã«ã¯ã€æ§˜ã€…ãªã‚¢ãƒ—ãƒãƒ¼ãƒãŒè€ƒãˆã‚‰ã‚Œã‚‹ãŒã€Apache Solrã‚„elasticsearchã¨ã„ã£ãŸå…¨æ–‡æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³è£½å“ã«ãƒ‡ãƒ¼ã‚¿ã‚’è“„ç©ã—ã€ãã®æ©Ÿèƒ½ã‚’用ã„ã¦æ¤œç´¢ãƒ»é›†è¨ˆãƒ»åˆ†æžã‚’è¡Œã†æ–¹æ³•ãŒã‚る。ãã®éš›ã€ãƒ‡ãƒ¼ã‚¿ã‚’ãã®ã¾ã¾è“„ç©ã™ã‚‹ã®ã§ã¯ãªãã€å„ツイート・å„è¡Œã«å±žæ€§ã‚’付与（エンリッãƒãƒ¡ãƒ³ãƒˆï¼‰ã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šã€åˆ†æžã®å¹…ã¯å¤§ãã広ãŒã‚‹ã€‚ 全文検索エンジンã¸ã®ãƒ‡ãƒ¼ã‚¿ã®æŠ•å…¥ã§ã¯ã€Flume-ngã‚„fluentdã¨ã„ã£ãŸãƒ‡ãƒ¼ã‚¿åŽé›†è£½å“を利用ã™ã‚‹å®Ÿä¾‹ãŒå¤šã„。ã—ã‹ã—ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã‚¨ãƒ³ãƒªãƒƒãƒãƒ¡ãƒ³ãƒˆã®å‰å‡¦ç†ã‚’è¡ŒãŠã†ã¨ã—ãŸå ´åˆã€å‡¦ç†ãŒè¤‡é›‘ã«ãªã‚‹ã«ã¤ã‚Œã€å˜ä½“サーãƒãƒ¼ã§å‹•ä½œã™ã‚‹Flume-ngã‚„fluentdã§ã¯å‡¦ç†èƒ½åŠ›ãŒé 打ã¡ã«ãªã£ã¦ãる。ãã“ã§ã€ç™»å ´ã™ã‚‹ã®ãŒã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹ã“ã¨ãŒã§ãるストリーミング処ç†ç³»ã®ãƒ“ッグデータ関連技術ã§ã‚る。
Apache Sparkâ„¢ - Unified Engine for large-scale data analytics
Apache Sparkã§å§‹ã‚ã‚‹ãŠæ‰‹è»½ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ウインドウ集計 | NTTãƒ‡ãƒ¼ã‚¿å…ˆç«¯æŠ€è¡“æ ªå¼ä¼šç¤¾
{{#tags}}- {{label}}
{{/tags}}