Red Book, 5th ed. Ch. 5: Large-Scale Dataflow Engines
Of the many developments in data management over the past decade, MapReduce and subsequent large-scale data processing systems have been among the most disruptive and the most controversial. Cheap commodity storage and rising data volumes led many Internet service vendors to discard conventional database systems and data warehouses and build custom, home-grown engines instead. Google’s string of p
並列データベースシステムã®æ¦‚念ã¨åŽŸç†
3. 講義内容 ï® åºè«– - 並列データベースã®å‰ã« ï® ä¸¦åˆ—å‡¦ç†ã®åŸºç¤Ž ï® ï® ä¸¦åˆ—å‡¦ç†ã®Terminology 並列計算機アーã‚テクãƒãƒ£ ï® ä¸¦åˆ—ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ ï® ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹å‡¦ç†ã®ä¸¦åˆ—化 ï® çµåˆå‡¦ç†ã®é«˜é€ŸåŒ– ï® ï® ï® ï® ä¸¦åˆ—ãƒãƒƒã‚·ãƒ¥çµåˆ 並列ソート パーティショニング手法 多é‡çµåˆã‚„計算機間ã®ãƒ‡ãƒ¼ã‚¿äº¤æ›ã§ç™ºç”Ÿã™ã‚‹å•é¡Œ ï® MapReduceã«ã‚ˆã‚‹é–¢ä¿‚演算ã®ä¸¦åˆ—å‡¦ç† 3 4. データベース開発ã®æµã‚Œ ï® Coddã®è«–æ–‡: 1970å¹´ ï® ï® ï® ï® System Rã‚„Ingres: 70年代ä¸ç›¤ Oracle, IBM DB2, Ingres: 80年代åºç›¤ 並列データベースã®éš†ç››: 80å¹´ä»£å¾ŒåŠ ï® ï® A Relational Model of Data for Large Shared Data Banks, Communications of ACM 商用
MapReduceã§ãã‚‹10個ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ - データサイエンティスト上ãŒã‚Šã®DXå‚謀・起æ¥å®¶
Hadoopã¨Mahoutã«ã‚ˆã‚Šã€ãƒ“ッグデータã§ã‚‚機械å¦ç¿’ã‚’è¡Œã†ã“ã¨ãŒã§ãã¾ã™ã€‚Mahoutã§å®Ÿè£…ã•ã‚Œã¦ã„る手法ã¯ã€å…¨ã¦åˆ†æ•£å‡¦ç†ã§ãるアルゴリズムã¨ã„ã†ã“ã¨ã«ãªã‚Šã¾ã™ã€‚Mahoutã§å®Ÿè£…ã•ã‚Œã¦ã„るアルゴリズムã¯ã€ã“ã“ã«åˆ—挙ã•ã‚Œã¦ã„ã¾ã™ã€‚è«–æ–‡ã¨ã—ã¦ã‚‚ã€2006å¹´ã«ã€ŒMap-Reduce for Machine Learning on Multicoreã€ã¨ã—ã¦ã„ãã¤ã‹ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒç´¹ä»‹ã•ã‚Œã¦ã„ã¾ã™ã€‚ ãã“ã§ä»Šå›žã¯ã€ï¼ˆä½•ç•ªç…Žã˜ã‹åˆ†ã‹ã‚Šã¾ã›ã‚“ãŒè‡ªåˆ†ã®ç†è§£ã®ãŸã‚ã«ã‚‚）ã“ã®è«–æ–‡ã§ç´¹ä»‹ã•ã‚Œã¦ã„るアルゴリズムã¨ã€ã©ã†ã‚„ã£ã¦åˆ†æ•£å‡¦ç†ã™ã‚‹ã®ã‹ã‚’ç°¡å˜ã«ãƒ¡ãƒ¢ã—ã¦ãŠããŸã„ã¨æ€ã„ã¾ã™ã€‚計算ã™ã‚‹ã¹ã統計é‡ãŒã€summation form（足ã—ç®—ã§è¡¨ç¾ã§ãる形）ã«ãªã£ã¦ã„ã‚‹ã‹ã©ã†ã‹ãŒã€é‡è¦ãªãƒã‚¤ãƒ³ãƒˆã§ã™ã€‚ãªã£ã¦ãªã„å ´åˆã¯ã€â€ã†ã¾ãâ€MapReduceã®å½¢ã«ãƒãƒ©ã™å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ ※例ã«ã‚ˆã£ã¦ã€é–“é•ã„ãŒã‚ã£ãŸå ´åˆã¯éšæ™‚
機械å¦ç¿’ × MapReduce - ny23ã®æ—¥è¨˜
個人的ãªèˆˆå‘³ã¨ã„ã†ã‚ˆã‚Šï¼Œé›‘用絡ã¿ã§çœºã‚ãŸè«–æ–‡ã®ç´¹ä»‹ï¼Žæ©Ÿæ¢°å¦ç¿’アルゴリズムを並列分散化ã™ã‚‹ã¨ã„ã†è©±ãŒæœ€è¿‘æµè¡Œã£ã¦ã„るよã†ã ．全然網羅的ã§ã¯ãªã„ã‘ã©ï¼Œèª°ã‹ã®å½¹ã«ç«‹ã¤ã‹ã‚‚知れãªã„ã®ã§ï¼Œå¹¾ã¤ã‹ãƒ¡ãƒ¢ã—ã¦ãŠã．ã¾ãšå¤å…¸çš„ã«ã¯ã“れ， Map-reduce for machine learning on multicore (NIPS 2006) å¤å…¸çš„ãªæ©Ÿæ¢°å¦ç¿’アルゴリズム（ãƒãƒƒãƒå¦ç¿’）ã®å¤šãã¯ï¼ŒStatistical Query Model ã§è¨˜è¿°ã§ãã¦ï¼Œãれら㯠summation form ã§è¨˜è¿°ã§ãã‚‹ (ã‹ã‚‰ï¼ŒMapReduce ã§ä¸¦åˆ—化ã§ãã‚‹)．実装㯠Mahout．ãŸã 最近ã¯ï¼Œãƒãƒƒãƒã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã§è§£ã‘ã‚‹å•é¡Œã«ã¯å¤šãã®å ´åˆå¯¾å¿œã™ã‚‹ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒæ案ã•ã‚Œã¦ã„ã¦ï¼Œãƒãƒƒãƒã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を並列化ã™ã‚‹ã“ã¨ã®ãƒ¡ãƒªãƒƒãƒˆã¯ã‚ã¾ã‚Šç„¡ã„．オンラインアルゴリズムã ã¨ãƒ‘ラメタãŒé€£ç¶šçš„ã«æ›´æ–°ã•ã‚Œã‚‹ã®ã§ï¼ŒMapR
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://tech-sketch.jp/2012/03/hadoop-mapreduce1-1.html
ReStore: Reusing Results of MapReduce Jobs
{{#tags}}- {{label}}
{{/tags}}