PHP 㨠MySQL 㧠1 ã‚«ãƒãƒ£ã‚«ãƒãƒ£ã‚«ãƒãƒ£...ãƒƒã‚¿ãƒ¼ãƒ³ï¼ MapReduce (@ニコニコ超会è°)
PHP 㨠MySQL 㧠1 ã‚«ãƒãƒ£ã‚«ãƒãƒ£ã‚«ãƒãƒ£...ãƒƒã‚¿ãƒ¼ãƒ³ï¼ MapReduce (@ニコニコ超会è°)
Hadoopã§Map/Reduceクラスã®Key/Valueを自動判別ã™ã‚‹
Hadoopã§Hiveãªã©ã‚’使ã‚ãšç”ŸMapReduceアルゴリズムを書ãã¨ã€Mapクラスã¨Reduceクラスã®Key/Valueã®ã‚¯ãƒ©ã‚¹åž‹ã‚’Job実行時ã«ã„ã¡ã„ã¡æŒ‡å®šã—ãªã‘ã‚Œã°ã„ã‘ãªã„ã®ãŒè‹¥å¹²é¢å€’ãã•ãæ„Ÿã˜ã¾ã™ã€‚ 僕ãŒã¾ã ã‚ã¾ã‚ŠHadoopã«ã¤ã„ã¦ç†è§£ã—ã¦ãªã„ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒ...
ASCII.technologies誌ã«MapReduceã®è¨˜äº‹ã‚’書ãã¾ã—㟠— ã‚ã‚Šãˆã‚‹ãˆã‚Šã‚
Recent entries Apache2.4ã®ãƒªãƒªãƒ¼ã‚¹äºˆå®šã¯æ¥å¹´(2011å¹´)åˆã‚(ã‚ãã¾ã§äºˆå®š) inoue 2010-12-23 Herokuã®ç™ºéŸ³ inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9ã€ã®åŽŸç¨¿å…¬é–‹ inoue 2010-12-18 IPA未è¸ã®ãƒ‹ãƒ¥ãƒ¼ã‚¹ inoue 2010-12-15 労基法ã¨ãƒã‚ンゲームinoue 2010-12-06 フãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ inoue 2010-12-03 ASCII.technologies誌ã«MapReduceã®è¨˜äº‹ã‚’書ãã¾ã—㟠inoue 2010-11-25 æŠ€è¡“è©•è«–ç¤¾ãƒ‘ãƒ¼ãƒ•ã‚§ã‚¯ãƒˆã‚·ãƒªãƒ¼ã‚ºçµ¶è³›ç™ºå£²ä¸ inoue 2010-11-24 雑誌連載「Emacsã®ãƒˆãƒ©ãƒŽãƒžã‚ã€ã®åŽŸç¨¿(part8)公開 inoue 2010-11-22 RESTã®å½“惑 inoue 2010-11-22 「プ
Rubyã§Hadoop Streaming[2/2] - 森薫ã®æ—¥è¨˜
Hadoop, Ruby | 00:43 | d:id:kaorumori:20090202:1233509351ã®ç¶šãã§ã™ã€‚Rubyã®ã‚³ãƒ¼ãƒ‰ãŒé•·ããªã£ã¦ã—ã¾ã„ã¾ã—ãŸã€‚æ–‡å—数をカウントã™ã‚‹MapReducemap.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! words = line.split(/:/) words.each do |word| unless word.empty? printf("%s\t1\n", word) end end end reduce.rb #!/usr/bin/env ruby h = Hash.new ARGF.each do |line| line.chomp! array = line.split(/\t/) key = array[0] value = array[1] if h.k
Rubyã§Hadoop Streaming[1/2] - 森薫ã®æ—¥è¨˜
Hadoop, Ruby | 02:29 | WEB+DB PRESS Vol.48ã§id:naoyaã•ã‚“ãŒHadoopã®è¨˜äº‹ã‚’執ç†ã•ã‚Œã¦ã„ã¾ã—ãŸã€‚Perlã‹ã‚‰Hadoop Streamingを使ã†æ–¹æ³•ãŒè§£èª¬ã•ã‚Œã¦ã„ã¦ã€ãã‚Œã¨åŒã˜ã“ã¨ã‚’Rubyã§è©¦ã—ã¦ã¿ã¾ã—ãŸã€‚WEB+DB PRESS Vol.48作者: WEB+DB PRESS編集部編出版社/メーカー: 技術評論社発売日: 2008/12/23メディア: 大型本標準入力をãã®ã¾ã¾å‡ºåŠ›ã™ã‚‹Mapperã«ã‚ˆã‚‹MapReduce/etc/passwdã‚’HDFSã«ã‚³ãƒ”ー $ /usr/local/hadoop/bin/hadoop dfs -copyFromLocal /etc/passwd passwd Mapperã®ä½œæˆmap.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! pr
第1回　Amazon Elastic MapReduceを使ã†æº–備をã™ã‚‹ | gihyo.jp
Amazon Elastic MapReduceã¨ã¯ 昨今ã€ãƒãƒƒãƒå‡¦ç†ã«Hadoopを活用ã™ã‚‹äº‹ä¾‹ãŒè©±é¡Œã«ãªã£ã¦ã„ã¾ã™ã€‚ãã®ä¸ã§ã‚‚特ç†ã™ã¹ããªã®ã¯ã€åˆ†æ•£å‡¦ç†æŠ€è¡“ã§ã‚ã‚‹MapReduceã§ã™ã€‚ã—ã‹ã—ã€MapReduceを実際ã«ä½¿ã†ã«ã¯ã€æ•°å°ã‹ã‚‰æ•°100å°ã®ã‚µãƒ¼ãƒã‚’用æ„ã—ã€Hadoopã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã‚‚ã—ãªã‘ã‚Œã°ãªã‚Šã¾ã›ã‚“。ãã®ã‚ˆã†ãªã‚µãƒ¼ãƒæ§‹ç¯‰ãƒ»ç®¡ç†ã€ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã®æ‰‹é–“ã‚’ç„¡ãã—ã€ã™ã使ãˆã‚‹ã®ãŒAmazon Web Service（AWS）ã®Elastic MapReduce（EMR）ã§ã™ã€‚ 図1　Amazon Elastic MapReduce AWSã€MapReduceã®èª¬æ˜Žã¯å¤šãã®æ›¸ç±ã€ãƒ–ãƒã‚°ãªã©ã‚’å‚ç…§ã—ã¦ãã ã•ã„。ã¾ãŸã€EMRを使用ã™ã‚‹ã«ã¯ã€ã¾ãšAWSã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã‚’作ã£ã¦ãŠãå¿…è¦ãŒã‚ã‚Šã¾ã™ãŒã€ãã®æ‰‹é †ã‚‚割愛ã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚本連載ã§ã¯EMRã®ä½¿ã„æ–¹ã€æ°—ã‚’ã¤ã‘ãªã‘ã‚Œã°ã„ã‘ãªã„点ãªã©ã‚’é‡ç‚¹çš„
第2回　Web Consoleã‹ã‚‰Elastice MapReduceã‚’èµ·å‹•ã•ã›ã‚‹ | gihyo.jp
å‰å›žã¯ã€Amazon Elastic MapReduce（EMR）を使ã†ã¾ã§ã«å¿…è¦ãªã“ã¨ã‚’説明ã—ã¾ã—ãŸã€‚今回ã‹ã‚‰ã¯å®Ÿéš›ã®ä½¿ã„方を紹介ã—ã¦ã„ãã¾ã™ã€‚ Web Consoleã«æŽ¥ç¶šã™ã‚‹ ã¾ãšã¯Webブラウザã§AWSã®Web Consoleã«æŽ¥ç¶šã—ã¾ã™ã€‚AWSã®æŽ¨å¥¨ãƒ–ラウザã¯Firefoxã§ã™ã€‚接続ã—ãŸã‚‰ã€ã€Œâ AWS Management Consoleを利用ã™ã‚‹ã€ã‚’クリックã—ã€Web Consoleã®ãƒã‚°ã‚¤ãƒ³ç”»é¢ã«é€²ã¿ã¾ã™ï¼ˆå›³1â ）â 。 図1 次ã«ã€ç™»éŒ²ã«ä½¿ç”¨ã—ãŸE-mailアドレスã¨ãƒ‘スワードを使ã£ã¦Web Consoleã«ãƒã‚°ã‚¤ãƒ³ã—ã¾ã™ï¼ˆå›³2â ）â 。 図2 ãƒã‚°ã‚¤ãƒ³ã—ãŸã‚‰ã€ã‚¿ãƒ—ã®ä¸ã‹ã‚‰Amazon Elastic MapReduceã‚’é¸æŠžã—ã¾ã™ï¼ˆå›³3â ）â 。 図3 æ–°ã—ã„Job Flowを作æˆã™ã‚‹ 次ã«ã€Create New Job Flowã‚’é¸æŠžã—ã€æ–°è¦ã«MapReduceã®Jobを作æˆ
第3回　Amazon Elastic MapReduce Ruby Clientã§EMRã‚’èµ·å‹•ã™ã‚‹ | gihyo.jp
å‰å›žã¯ã€Web Consoleã‹ã‚‰Amazon Elastic MapReduceã‚’èµ·å‹•ã™ã‚‹æ–¹æ³•ã‚’説明ã—ã¾ã—ãŸã€‚今回ã¯APIã§ã®èµ·å‹•æ–¹æ³•ã‚’紹介ã—ã¦ã„ãã¾ã™ã€‚ Web Consoleã¨APIã¯ã©ã“ãŒé•ã†ã®ã‹ 使用å‰ã«ã€ã¾ãšWeb Consoleã¨APIã®é•ã„ã‚’ãŠã•ãˆã¦ãŠãã¾ã—ょã†ã€‚ Webコンソールã¯ã€1回ã®æ“作ã§Jobã‚’1ã¤ã—ã‹å®Ÿè¡Œã§ãã¾ã›ã‚“。ã“ã‚Œã ã¨ã€æ¯Žå›žEC2ã®ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ãŒèµ·å‹•ã€ã‚¿ãƒ¼ãƒŸãƒãƒ¼ãƒˆãŒèµ°ã‚Šã€ã‚ã¾ã‚ŠåŠ¹çŽ‡çš„ã¨ã¯ã„ãˆã¾ã›ã‚“。 一方APIを使用ã™ã‚‹ã¨ã€1回ã®èµ·å‹•ã§è¤‡æ•°ã®Jobを実行ã§ãã¾ã™ã€‚ãŸã¨ãˆã°ã€3ã¤ã®Jobを実行ã—ãŸã„å ´åˆã¯ã€ä»¥ä¸‹ã®ã‚ˆã†ãªæ“作ãŒå¯èƒ½ã«ãªã‚Šã¾ã™ã€‚ APIã§EMRã‚’èµ·å‹•ã™ã‚‹ ↓ 3ã¤ã®Jobを投入ã™ã‚‹ ↓ ã™ã¹ã¦ã®JobãŒçµ‚了ã—ãŸã‚‰ã€EMRをターミãƒãƒ¼ãƒˆã™ã‚‹ ã¾ãŸã€ã€Œâ 最近EMRã§åŠ ã‚ã£ãŸæ–°æ©Ÿèƒ½ã‚’利用ä¸ã«ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹æ•°ã‚’変更ã€ã¨ã„ã£ãŸã“ã¨ã‚‚ã§ãã¾ã™ã€‚ EMRã§ã¯ã©ã®
MapReduce in CACM – Perspectives
Thanks for your comment Scott and hats off to you and the rest of the CACM team for consistently delivering a great magazine. I fully understand the tension between "free" and having paying members that allow for the good quality content to be published. Many argue that what I would like to see happen isn’t practical. I think it is practical but freely admit that it is difficult. What I have in mi
HadoopDB: MapReduce over Relational Data – Perspectives
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Recent CommentsStefan-Tudor Ilie on About PerspectivesJames Hamilton on About PerspectivesStefan-Tudor Ilie on About PerspectivesJames Hamilton on About PerspectivesStefan-Tudor Ilie on About PerspectivesJames Hamilton on Overall Data Center CostsBrad Blonkvist on Overall Data Ce
Google を支ãˆã‚‹æŠ€è¡“ - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
Google を支ãˆã‚‹æŠ€è¡“ ã‚’èªã¿ã¾ã—ãŸã€‚ Google ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã§å‹•ã„ã¦ã„ã‚‹å„種分散処ç†ã‚·ã‚¹ãƒ†ãƒ ã«é–¢ã—ã¦ã¯ Google 自身ã‹ã‚‰è«–æ–‡ãŒã„ãã¤ã‚‚発表ã•ã‚Œã¦ã„ã¾ã™ã€‚ãれらã®è«–文をã¯ã˜ã‚ã¨ã™ã‚‹æ¯”較的最近ã®æƒ…å ±ã‚½ãƒ¼ã‚¹ã‚’ãƒ™ãƒ¼ã‚¹ã«ã€ã‚る程度ã‹ã¿ç •ã„ã¦è¦æ‰€è¦æ‰€ã‚’紹介ã™ã‚‹ã¨ã„ã†å†…容ã§ã—ãŸã€‚åŠ ãˆã¦è‘—者ã®è¥¿ç”°åœä»‹ã•ã‚“㯠OpenCobol (COBOL ã‚’ C 言語ã«å¤‰æ›ã—コンパイルã™ã‚‹ gcc ã®ãƒ•ãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰) を開発ã•ã‚ŒãŸã€æŠ€è¡“çš„ãªãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ãŒã—ã£ã‹ã‚Šã—ã¦ã„ã‚‹æ–¹ã§ã‚るよã†ã§ã€å†…容ã¯ä¿¡é ¼ã§ãã‚‹ã¨æ€ã„ã¾ã™ã€‚ 自分ã¯ã“ã‚Œã¾ã§ Google ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã®å„種ソフトウェアã«ã¤ã„ã¦ã¯æ–¹ã€…ã§è€³ã«ã—ã¦ã„ã¾ã—ãŸãŒã€æ¼ 然ã¨ä½•ã‚’ã™ã‚‹ã‚‚ã®ã‹ç¨‹åº¦ã®ã“ã¨ã—ã‹çŸ¥ã‚Šã¾ã›ã‚“ã§ã—ãŸã€‚ Web 検索ã®åŸºæœ¬çš„ãªä»•çµ„ã¿ã¨ ãã‚Œã«ã¾ã¤ã‚ã‚‹ Google ãŒç›´é¢ã—ãŸå•é¡Œã€ç‰¹ã«å¤§è¦æ¨¡å‡¦ç† ãれを支ãˆã‚‹ãŸã‚ã«é–‹ç™ºã•ã‚ŒãŸå„種ソフトウェ
MapReduce - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
"MapReduce" 㯠Google ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã§åˆ©ç”¨ã•ã‚Œã¦ã„る並列計算システムã§ã™ã€‚検索エンジンã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ä½œæˆã‚’ã¯ã˜ã‚ã¨ã™ã‚‹ã€å¤§è¦æ¨¡ãªå…¥åŠ›ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã‚’想定ã—ã¦ä½œã‚‰ã‚ŒãŸã‚·ã‚¹ãƒ†ãƒ ã§ã™ã€‚ MapReduce ã®é¢ç™½ã„ã¨ã“ã‚ã¯ã€map() 㨠reduce() ã¨ã„ã†äºŒã¤ã®é–¢æ•°ã®çµ„ã¿åˆã‚ã›ã‚’定義ã™ã‚‹ã ã‘ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹æ§˜ã€…ãªè¨ˆç®—å•é¡Œã‚’解決ã™ã‚‹ã“ã¨ãŒã§ãる点ã§ã™ã€‚ MapReduce ã®è¨ˆç®—モデル map() ã«ã¯ãã®è¨ˆç®—å•é¡Œã®ãƒ‡ãƒ¼ã‚¿ã¨ã—ã¦ã® key-value ペアãŒæ¬¡ã€…ã«æ¸¡ã£ã¦ãã¾ã™ã€‚map() ã§ã¯ key-value 値ã®ãƒšã‚¢ã‚’ç•°ãªã‚‹è¤‡æ•°ã® key-value ペアã«å¤‰æ›ã—ã¾ã™ã€‚reduce() ã«ã¯ã€map() ã§ä½œã£ãŸ key-value ペアをåŒä¸€ã® key ã§æŸããŸã‚‚ã®ãŒé †ç•ªã«æ¸¡ã£ã¦ãã¾ã™ã€‚ãã® key-values ペアを任æ„ã®å½¢å¼ã«å¤‰æ›ã™ã‚‹ã“ã¨
楽天版MapReduce・Hadoopã¯Rubyを活用 ï¼ ï¼ IT
2008/12/01 楽天ã¯11月29æ—¥ã€æ±äº¬ãƒ»å“å·ã®æœ¬ç¤¾ã§é–‹å‚¬ã—ãŸæŠ€è¡“系イベント「楽天テクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹2008ã€ã«ãŠã„ã¦ã€è¿‘ã„å°†æ¥ã«åŒç¤¾ã®Eã‚³ãƒžãƒ¼ã‚¹ã‚µãƒ¼ãƒ“ã‚¹ã€Œæ¥½å¤©å¸‚å ´ã€ã‚’支ãˆã‚‹è¨ˆç”»ãŒã‚ã‚‹Rubyベースã®å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†æŠ€è¡“「ROMAã€ï¼ˆãƒãƒ¼ãƒžï¼‰ã¨ã€Œfairyã€ï¼ˆãƒ•ã‚§ã‚¢ãƒªãƒ¼ï¼‰ã«ã¤ã„ã¦ã€ãã®æ¦‚è¦ã‚’明らã‹ã«ã—ãŸã€‚ レコメンデーションã®å‡¦ç†è‡ªä½“ã¯ã‚·ãƒ³ãƒ—ル æ¥½å¤©å¸‚å ´ã§ã¯ç¾åœ¨ã€2600万点ã®å•†å“ã‚’å–り扱ã„ã€4200万人ã®ä¼šå“¡ã«å¯¾ã—ã¦ã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„る。ã“ã®è¦æ¨¡ã®ä¼šå“¡æ•°ãƒ»å•†å“点数ã§ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³ï¼ˆå•†å“ã®æŽ¨è–¦ï¼‰ã‚’è¡Œã†ã®ã¯å®¹æ˜“ã§ã¯ãªã„。 ※記事åˆå‡ºæ™‚ã«æ¥½å¤©å¸‚å ´ã®ä¼šå“¡æ•°ã‚’4800万人ã¨ã—ã¦ã‚ã‚Šã¾ã—ãŸãŒã€ã“ã‚Œã¯æ¥½å¤©ã‚°ãƒ«ãƒ¼ãƒ—ã®ã‚µãƒ¼ãƒ“ス利用者全体ã®æ•°å—ã§ã—ãŸã€‚æ¥½å¤©å¸‚å ´ã®ä¼šå“¡æ•°ã¯æ£ã—ãã¯4200万人ã¨ã®ã“ã¨ã§ã™ã€‚ãŠè©«ã³ã—ã¦è¨‚æ£ã„ãŸã—ã¾ã™ã€‚ レコメンデーションã®ä»•çµ„ã¿ã¨ã—ã¦åŒç¤¾ã¯ã€ä¸€èˆ¬çš„ã§ã‚·ãƒ³ãƒ—ルãªã‚¢
1
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
JRubyã¨DSLã§MapReduce ~ Hadoop Papyrus (1 of 2)
Amazon Elastic MapReduceã®ä½¿ã„方─Hadoopより手軽ã«ã¯ã˜ã‚る大è¦æ¨¡è¨ˆç®— 記事一覧 | gihyo.jp
{{#tags}}- {{label}}
{{/tags}}