[Apache Spark]ストリーミング処ç†ã§ç›´è¿‘ã®äººæ°—ãƒãƒƒã‚·ãƒ¥ã‚¿ã‚°ã‚’å–å¾—ã™ã‚‹ | DevelopersIOã¯ã˜ã‚ã« Apache Sparkã®ç”¨é€”ã®ä¸€ã¤ã¨ã—ã¦ã€ã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°å‡¦ç†ãŒã‚ã‚Šã¾ã™ã€‚今回ã¯ãã®ä¾‹ã¨ã—ã¦ã€Twitterã‹ã‚‰ç›´è¿‘ã®äººæ°—ã®ãƒãƒƒã‚·ãƒ¥ã‚¿ã‚°ã‚’å–å¾—ã™ã‚‹å‡¦ç†ã‚’å–り上ã’ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 処ç†ã®æµã‚Œã¨ç”¨èªžã«ã¤ã„㦠ソースをãŠè¦‹ã›ã™ã‚‹å‰ã«ã€å¤§ã¾ã‹ãªå‡¦ç†ã®æµã‚Œã¨ã€ç”¨èªžã«ã¤ã„ã¦èª¬æ˜Žã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚å…ˆãšå‡¦ç†ã®æµã‚Œã§ã™ãŒã€ä»¥ä¸‹ã®ã‚ˆã†ã«ãªã‚Šã¾ã™ã€‚ Streamã®ä½œæˆ ãƒãƒƒã‚·ãƒ¥ã‚¿ã‚°ã‚’æŒã¤RDDã®å–å¾— DStreamã®å–å¾— DStream内ã®RDDよりãƒãƒƒã‚·ãƒ¥ã‚¿ã‚°ã‚’å–å¾— 見慣れãªã„用語ã°ã‹ã‚Šã‹ã¨æ€ã„ã¾ã™ãŒã€ä»¥ä¸‹ã§å‡¦ç†ã®æµã‚Œã«æ²¿ã£ã¦è§£èª¬ã—ãŸã¨æ€ã„ã¾ã™ã€‚ 1.Streamã®ä½œæˆ データを連続ã—ã¦å–å¾—ã™ã‚‹ãŸã‚ã®Streamを作æˆã™ã‚‹å‡¦ç†ã§ã™ã€‚今回ã¯Twitterよりデータをå–å¾—ã™ã‚‹ã‚¹ãƒˆãƒªãƒ¼ãƒ を作りã¾ã™ãŒã€ä»–ã«ã‚‚ Kinesisã€Kafkaã€Flumeã€ZeroMQã€TCPãªã©ã‹ã‚‰å–å¾—ã™ã‚‹ã“ã¨ãŒå‡ºæ¥ã‚‹ã‚ˆã†ã§
![[Apache Spark]ストリーミング処ç†ã§ç›´è¿‘ã®äººæ°—ãƒãƒƒã‚·ãƒ¥ã‚¿ã‚°ã‚’å–å¾—ã™ã‚‹ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/976e6989ab538c58fa5b64a03837c916f8d9ba11/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
Big Data + Fast Data = ラムダアーã‚テクãƒãƒ£ãƒ¼ï¼ | NTTãƒ‡ãƒ¼ã‚¿å…ˆç«¯æŠ€è¡“æ ªå¼ä¼šç¤¾
Apache Sparkã§å§‹ã‚ã‚‹ãŠæ‰‹è»½ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ウインドウ集計 | NTTãƒ‡ãƒ¼ã‚¿å…ˆç«¯æŠ€è¡“æ ªå¼ä¼šç¤¾
{{#tags}}- {{label}}
{{/tags}}