Apach Spark + Spark MLlib + MongoDBã§wikipedia記事をクラスタリングJWordã®O.Yã§ã™ã€‚ ビッグデータãŒãƒ ーブメントã¨ãªã£ã¦ä¹…ã—ãã€ç”¨é€”ã¯ãªã‚“ã§ã‚れ今ã¯Hadoopã‚’å°Žå…¥ã—ã¦ã„ã‚‹ä¼æ¥ã•ã‚“も多ã„ã“ã¨ã‹ã¨æ€ã„ã¾ã™ã€‚ JWordã§ã‚‚Hadoopã‚’å°Žå…¥ã—ã¦ãŠã‚Šæ¤œç´¢ã‚¯ã‚¨ãƒªãƒ¼ã®é›†è¨ˆç‰ã«ä½¿ç”¨ã—ã¦ã„ã¾ã™ã€‚ Hadoopã¯ç°¡å˜ã«åˆ†æ•£å‡¦ç†ç’°å¢ƒã‚’実ç¾ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ãŒã€åˆ†æ•£ã•ã›ã‚‹å‡¦ç†å˜ä½ã§mapreduceアプリケーションを書ã‹ãªãゃãªã‚‰ãªã„ã®ã§è¤‡é›‘ãªå‡¦ç†ã ã¨ãƒ—ãƒã‚°ãƒ©ãƒ é‡ãŒå¤šããªã‚Šã‚„ã™ã„ã€Hadoop Streamingを使用ã—ãŸå ´åˆã«ã¯å‡¦ç†ã‚¹ãƒ”ードãŒé…ã„（JWordã§ã¯é–‹ç™ºåŠ¹çŽ‡ã‚’優先ã—ã¦PHPã‹Pythonã§mapreduceアプリケーションを書ã„ã¦ã„る）ã€èµ·å‹•ãƒ‡ãƒ¼ãƒ¢ãƒ³ãŒå¤šã™ãŽã‚‹ã€ãƒ¡ãƒ¢ãƒªã‚³ãƒ³ãƒˆãƒ¼ãƒ«ãŒé›£ã—ã„（メモリ系ã®è¨å®šãŒãŸãã•ã‚“ã‚ã‚Šãƒãƒ¼ã‚¸ãƒ§ãƒ³ã«ã‚ˆã£ã¦å¾®å¦™ã«åå‰ãŒå¤‰ã‚ã£ã¦ãŸã‚Šå»ƒæ¢ã•ã‚Œã¦ãŸã‚Šã™ã‚‹ï¼‰ã€HDFSã‚’å¿…è¦ã¨ã—ãªã„å ´åˆã§ã‚‚セットã§ä»˜ã„ã¦ãã‚‹ç‰ãƒ‡ãƒ¡ãƒªãƒƒãƒˆã‚‚ã‚ã‚Šã¾ã™ã€‚
MongoDB PyMongo 2.7.1 よã使ã†æ©Ÿèƒ½ã®ã¾ã¨ã‚
Pythonã¨MongoDBã®å‹‰å¼·ãŒã¦ã‚‰ã«Tweetã‚’ä¿å˜ã—ã¦ã¿ãŸ | ãŠçµµæãã™ã‚‹ãƒ—ãƒã‚°ãƒ©ãƒž
{{#tags}}- {{label}}
{{/tags}}