データ分æžç’°å¢ƒã«ã¤ã„ã¦æ›¸ã„ã¦ã¿ã‚‹ - wyukawa's diaryãƒã‚°ã‚’HDFSã«é›†ã‚ã¦Hiveã§ETLや集計を行ã„集計çµæžœã‚’RDBMSã«è“„ç©ã—ã¦ãƒ¬ãƒãƒ¼ãƒ†ã‚£ãƒ³ã‚°ãƒ„ールã§å¯è¦–化ã™ã‚‹ã¨ã„ã†ã®ã¯ä¸€èˆ¬çš„ãªè©±ã ã¨æ€ã„ã¾ã™ã€‚ データã®æµã‚Œã§ã„ã†ã¨ App -> HDFS -> RDBMS -> レãƒãƒ¼ãƒ†ã‚£ãƒ³ã‚°ãƒ„ール ã¨ã„ã†æ„Ÿã˜ã§ã™ã€‚ ä»–ã«ã‚‚Prestoã®ã‚ˆã†ãªlow latencyãªãƒ„ールãŒåŠ ã‚ã‚‹ã“ã¨ãŒã‚ã‚‹ã¨æ€ã„ã¾ã™ã€‚ã“れらã®ãƒ„ールをã©ã†çµ„ã¿åˆã‚ã›ã¦ã©ã†ETLã‚’ã¾ã‚ã—ã¦ã„ãã®ãŒã„ã„ã®ã‹ã¤ã‚‰ã¤ã‚‰ã¨æœ€è¿‘考ãˆã¦ãŠã‚Šã¾ã™ã€‚ 僕ãŒçµŒé¨“ã—ãŸã®ã¯Pythonã§ETL処ç†ã‚’書ã„ã¦ï¼ˆå†…部的ã«ã¯hiveserverã«hiveクエリを投ã’ãŸã‚Šã€MySQLã«é›†è¨ˆçµæžœã‚’ä¿å˜ã—ãŸã‚Šï¼‰ã€ã‚¹ã‚±ã‚¸ãƒ¥ãƒ¼ãƒªãƒ³ã‚°ã¯cron, Azkabanã§ã€é›†è¨ˆçµæžœã¯MySQLã§ãƒ¬ãƒãƒ¼ãƒ†ã‚£ãƒ³ã‚°ãƒ„ールã¯è‡ªä½œã§ã¨ã„ã†ã‚‚ã®ã§ã™ã€‚adhocãªãƒ‡ãƒ¼ã‚¿åˆ†æžã¯shib使ã„ã¾ã™ã€‚ã¾ã‚ã“ã‚Œã§ã‚‚å分é‹ç”¨å›žã£ã¦ã‚‹ã‚“ã ã‘ã©ã€ä»–ã«ã‚‚良ã„方法ãŒç„¡
ビッグ・データをæ“る者ãŒå‹ã¤
Hadoopã§ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã‚·ã‚¹ãƒ†ãƒ を作ã‚ㆠ記事一覧 | gihyo.jp
第14回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬( #TokyoWebmining 14th)ï¼å¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚° ç¥ã‚Šï¼ を開催ã—ã¾ã—㟠- hamadakoichi blog
Mahout Recommendation - #TokyoWebmining 14th
邦訳「Collective Intelligence vs. The Wisdom of Crowdsã€
解æžè€…ã¨ã—ã¦åƒ•ãŒå¤§äº‹ã«ã—ã¦ã„ã‚‹ã“㨠- doryokujin's blog
Facebookã®æ–°ã—ã„リアルタイム解æžã‚·ã‚¹ãƒ†ãƒ ã¨ã¯ï¼Ÿ - nokunoã®æ—¥è¨˜
Hadoopを用ã„ãŸå¤§è¦æ¨¡ãƒã‚°è§£æž
Hadoopã¨MongoDBを活用ã—ãŸã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã‚¢ãƒ—リã®ãƒã‚°è§£æž
{{#tags}}- {{label}}
{{/tags}}