Amazon Elastic MapReduceã®ä½¿ã„方─Hadoopより手軽ã«ã¯ã˜ã‚る大è¦æ¨¡è¨ˆç®— 記事一覧 | gihyo.jp第8回Amazon Elastic MapReduceã®ãƒ‘フォーマンスをモニタリングã™ã‚‹ å°æž—隆 2011-05-12
Hive on AWS @ COOKPAD - クックパッド開発者ブãƒã‚°
ã“ã‚“ã«ã¡ã‚。サービス開発担当ã®å‹é–“ã§ã™ã€‚クックパッドã®ï¼‘å¹´ã®æœ€å¤§ã®ãƒ”ークã§ã‚ã‚‹ãƒãƒ¬ãƒ³ã‚¿ã‚¤ãƒ³ãŒçµ‚ã‚ã‚Šã€å°‘ã—è½ã¡ç€ãã‚’ã¨ã‚Šã‚‚ã©ã—ãŸæŠ€è¡“部ã‹ã‚‰ãŠå±Šã‘ã—ã¾ã™ã€‚ ã•ã¦ã€å…ˆæ—¥ç§‹è‘‰åŽŸã§ã€Œç¬¬0回 AWS User Group - Japan勉強会ã€ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚100人を超ã™å‚åŠ è€…ã®ä¸ã€AWSã®ã‚¨ãƒãƒ³ã‚¸ã‚§ãƒªã‚¹ãƒˆJeff Barrã•ã‚“ã®è¬›æ¼”ãŒã‚ã£ãŸã‚Šã€å†…容ã®æ¿ƒã„LTãŒç¶šã„ãŸã‚Šã¨ã€éžå¸¸ã«å¤§ç››æ³ã§ã—ãŸã€‚ãã‚“ãªLTã«åƒ•ã‚‚å‚åŠ ã—ã¦ã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ãƒãƒƒãƒã‚·ã‚¹ãƒ†ãƒ ã¨AWSã¨ã®é€£æºã«ã¤ã„ã¦è©±ã—ã¦ãã¾ã—ãŸã€‚ クックパッドã§ã¯AWSã¨ã—ã¦EC2, S3ã‚’ã¤ã‹ã£ã¦åˆ†æ•£è§£æžç’°å¢ƒã‚’構築ã—ã¦ã€Hiveを使ã£ãŸãƒ‡ã‚¤ãƒªãƒ¼ã®ãƒã‚°è§£æžã‚’è¡Œã£ã¦ã„ã¾ã™ã€‚LTã§ã¯ãれらã®è©±ã‚’ã—ãŸã®ã§ã™ãŒã€ï¼•åˆ†ã¨é™ã‚‰ã‚ŒãŸæ™‚é–“ã§ã¯é§†ã‘足ã®ç™ºè¡¨ã«ãªã£ã¦ã—ã¾ã£ãŸã®ã§ã€å½“æ—¥ã˜ã£ãり話ã›ãªã‹ã£ãŸç®‡æ‰€ãªã©ã‚’確èªã„ãŸã ã‘ã‚Œã°ã¨æ€ã„ã¾ã™ã€‚ [slideshare id=328
Hadoop
TOPICS Database 発行年月日 2010å¹´01月 PRINT LENGTH 568 ISBN 978-4-87311-439-2 原書 Hadoop: The Definitive Guide, First Edition FORMAT 本書ã¯ã€Hadoopã®åŸºç¤Žã‹ã‚‰å¿œç”¨ã¾ã§ã‚’包括的ã«è§£èª¬ã™ã‚‹æ›¸ç±ã§ã™ã€‚ã¯ã˜ã‚ã«ã€Hadoopã®åˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ HDFSã‚„I/Oã®åŠ¹çŽ‡åŒ–ã®ä»•çµ„ã¿ãªã©ã€Hadoopã®åŸºç¤Žã‚’説明ã—ã€ãªã‹ã§ã‚‚MapReduceã«ã¤ã„ã¦è©³ã—ã解説ã—ã¾ã™ã€‚MapReduceã®ã‚¢ãƒ—リケーションを開発ã™ã‚‹ãŸã‚ã«å¿…è¦ãªã‚¹ãƒ†ãƒƒãƒ—を一通り紹介ã—ã€ã•ã‚‰ã«ãƒ¦ãƒ¼ã‚¶ã®ç›®ã‹ã‚‰è¦‹ã¦MapReduceãŒã©ã†å®Ÿè£…ã•ã‚Œã‚‹ã®ã‹ã‚’詳述ã—ã¾ã™ã€‚後åŠã§ã¯Hadoop管ç†è€…ã®ãŸã‚ã«ã€HDFSã¨MapReduceを実行ã™ã‚‹ãŸã‚ã®Hadoopクラスタã®ç«‹ã¡ä¸Šã’ã¨ç®¡ç†ã®æ–¹æ³•ã‚’紹介。ã•ã‚‰ã«Pigã€HBaseã€ZooK
Googleã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’リアルタイムã«åˆ†æžã§ãるクラウドサービス「Google Cloud Dataflowã€ã‚’発表。「1å¹´å‰ã‹ã‚‰MapReduceã¯ä½¿ã£ã¦ã„ãªã„ã€ã€‚Google I/O 2014
Googleã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’リアルタイムã«åˆ†æžã§ãるクラウドサービス「Google Cloud Dataflowã€ã‚’発表。「1å¹´å‰ã‹ã‚‰MapReduceã¯ä½¿ã£ã¦ã„ãªã„ã€ã€‚Google I/O 2014 大è¦æ¨¡åˆ†æ•£å‡¦ç†ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦GoogleãŒé–‹ç™ºã—ã€Hadoopã«æŽ¡ç”¨ã•ã‚Œã¦åºƒã使ã‚ã‚Œã¦ã„ã‚‹MapReduce。ã—ã‹ã—Googleã¯ã‚‚ã†MapReduceを使ã‚ãšã€ã‚ˆã‚Šå„ªã‚ŒãŸå‡¦ç†ç³»ã®ã€ŒGoogle Cloud Dataflowã€ã‚’使ã£ã¦ã„ã‚‹ã“ã¨ãŒã€Google I/O 2014ã®åŸºèª¿è¬›æ¼”ã§æ˜Žã‚‰ã‹ã«ã•ã‚Œã¾ã—ãŸã€‚ Googleã®ã‚·ãƒ‹ã‚¢ãƒã‚¤ã‚¹ãƒ—レジデントUrs Hölzleæ°ã¯ã€ã€Œã‚¨ã‚¯ã‚µãƒã‚¤ãƒˆã®ã‚¹ã‚±ãƒ¼ãƒ«ã¾ã§æ‰±ãˆã€ãƒ‘イプライン処ç†ã‚’記述ã—ã‚„ã™ã最é©åŒ–ã‚‚ã—ã¦ãれる。ãã‚Œã«ãƒãƒƒãƒã‚‚リアルタイム分æžã‚‚åŒã˜ã‚³ãƒ¼ãƒ‰ã§è¨˜è¿°ã§ãã‚‹ã€ã¨ã€Cloud Dataflowã®ç‰¹é•·ã‚’説明ã—ã¾ã™ã€‚ Google I/Oã®
グーグルã«ã‚ˆã‚‹MapReduceサービス「BigQueryã€ãŒç™»å ´ã€‚SQLライクãªå‘½ä»¤ã§å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿æ“作
「数兆件ã®ãƒ‡ãƒ¼ã‚¿ã‚‚対話的ã«ã€é«˜é€Ÿã«åˆ†æžã§ãã‚‹ã€ã€‚グーグルã¯5月19æ—¥ã«ã“ã®ã‚ˆã†ãªè¡¨ç¾ã§æ–°ã—ã„サービス「BigQueryã€ã®ç™»å ´ã‚’紹介ã™ã‚‹ã‚¨ãƒ³ãƒˆãƒªã‚’ã€ãƒ–ãƒã‚°ã«ãƒã‚¹ãƒˆã—ã¦ã„ã¾ã™ã€‚ グーグルãŒå…¬é–‹ã—ãŸBigQueryã¯ã€Hadoopやデータウェアãƒã‚¦ã‚¹ãªã©ã‚’用ã„ã¦å¤šãã®ä¼æ¥ãŒè¡ŒãŠã†ã¨ã—ã¦ã„る大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ï¼ˆã„ã‚ゆる「Big Dataã€ï¼‰ã®åˆ†æžã‚’ã€ã‚°ãƒ¼ã‚°ãƒ«ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã§å¯èƒ½ã«ã—ã¾ã™ã€‚利用者ã¯Google Storage経由ã§å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’転é€ã—ã€SQLライクãªå‘½ä»¤ã«ã‚ˆã£ã¦æŠ½å‡ºã‚„分æžã‚’è¡Œã„ã¾ã™ã€‚ ã¾ã‚‹ã§ã‚°ãƒ¼ã‚°ãƒ«ãŒå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®MapReduceをホスティングã—ã€ãã®æ©Ÿèƒ½ã‚’サービスã¨ã—ã¦æä¾›ã™ã‚‹ã‚ˆã†ãªã‚‚ã®ãŒBigQueryã¨ã„ãˆã¾ã™ï¼ˆãŸã ã—公開ã•ã‚ŒãŸã€ŒBigQueryã€ã®èª¬æ˜Žã«ã¯ã€å†…部ã§MapReduceを利用ã—ã¦ã„ã‚‹ã®ã‹ã©ã†ã‹ã®è¨˜è¿°ã¯ãªã„ã®ãŸã‚ã€MapReduce「的ã€ãªã‚µãƒ¼ãƒ“スã¨è¡¨ç¾ã™ã¹ãã‹ã‚‚ã—ã‚Œ
グーグルãŒæ§‹ç¯‰ã—ãŸå¤§è¦æ¨¡ã‚·ã‚¹ãƒ†ãƒ ã®ç¾å®Ÿã€ãã—ã¦ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターン（1）～MapReduceç·¨
グーグルãŒã€ŒEvolution and Future Directions of Large-Scale Storage and Computation Systems at Googleã€ï¼ˆã‚°ãƒ¼ã‚°ãƒ«ã«ãŠã‘ã‚‹ã€å¤§è¦æ¨¡ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã¨ã‚³ãƒ³ãƒ”ュテーションã®é€²åŒ–ã¨å°†æ¥ã®æ–¹å‘性）ã¨ã„ã†è¬›æ¼”ã‚’ã€6月ã«è¡Œã‚ã‚ŒãŸACM（米国計算機å¦ä¼šï¼‰ä¸»å‚¬ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングã®ã‚·ãƒ³ãƒã‚¸ã‚¦ãƒ 「ACM Symposium on Cloud Computing 2010ã€ã§è¡Œã£ã¦ã„ã¾ã™ã€‚ グーグルã¯ã©ã®ã‚ˆã†ã«ã—ã¦å¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ を構築ã—ã¦ããŸã®ã‹ã€ãã—ã¦ã€ãã“ã‹ã‚‰ã©ã®ã‚ˆã†ãªã“ã¨ã‚’å¦ã‚“ã ã®ã‹ãŒèªžã‚‰ã‚Œã¦ã„ã¾ã™ã—ã€å¾ŒåŠã§ã¯å¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターンã¨ã„ã†ã€éžå¸¸ã«èˆˆå‘³æ·±ã„ノウãƒã‚¦ã‚‚公開ã—ã¦ã„ã‚‹ã€éžå¸¸ã«æƒ…å ±é‡ã®å¤šã„講演ã§ã™ã€‚ ãã®è¬›æ¼”ã®å†…容をã€å…¨éƒ¨ã§4ã¤ã®è¨˜äº‹ã€MapReduceç·¨ã€BigTableç·¨ã€æ•™è¨“ç·¨ã€ãƒ‡ã‚¶ã‚¤ãƒ³
優良ä¼æ¥ã¯ãªãœHadoopã«èµ°ã‚‹ã®ã‹
ã¡ãªã¿ã«ã€ã“ã®åˆ†æžã®ãŸã‚ã«å¿…è¦ã¨ã•ã‚Œã‚‹MapReduceã®ã‚³ãƒ¼ãƒ‰ã§ã‚ã‚‹ãŒã€ãã®ã‚µã‚¤ã‚ºã¯ã‚ãšã‹20ステップã ã¨ã„ã†ã€‚Yahoo!ã®ãƒ—レゼンテーターã§ã‚ã‚‹ã€ã‚¨ãƒªãƒƒã‚¯ãƒ»ãƒãƒ«ãƒ‡ã‚·ãƒ¥ãƒã‚¤ãƒ©ãƒ¼æ°ã«ã‚ˆã‚‹ã¨ã€ãŸã¨ãˆçµŒé¨“ã®æµ…ã„エンジニアã§ã‚ã£ã¦ã‚‚ã€MapReduceã«ã‚ˆã‚‹ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã¯å¯èƒ½ã§ã‚ã‚‹ã¨ã•ã‚Œã‚‹ã€‚ ã¾ãŸã€VISAã®ã‚¸ãƒ§ãƒ¼ãƒ»ã‚«ãƒ‹ãƒ³ã‚¬ãƒ æ°ã‹ã‚‰ã‚‚ã€è²´é‡ãªãƒ‡ãƒ¼ã‚¿ãŒæä¾›ã•ã‚Œã¦ã„ãŸã®ã§ä»¥ä¸‹ã«ç´¹ä»‹ã™ã‚‹ã€‚åŒç¤¾ã§ã¯ã€1æ—¥ã«1億トランザクションãŒç™ºç”Ÿã™ã‚‹ãŸã‚ã€2å¹´é–“ã§700å„„å¼·ã®ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ãƒã‚°ãŒè“„ç©ã•ã‚Œã€ãã®ãƒ‡ãƒ¼ã‚¿é‡ã¯36テラãƒã‚¤ãƒˆã«è‡³ã‚‹ã¨ã„ã†ã€‚ã“ã†ã—ãŸã‚¹ã‚±ãƒ¼ãƒ«ã®ãƒ‡ãƒ¼ã‚¿ã‚’ã€å¾“æ¥ã®RDBを用ã„ã¦åˆ†æžã™ã‚‹ã«ã¯ã€ç´„1カ月ã®æ™‚é–“ãŒå¿…è¦ã¨ã•ã‚Œã¦ããŸãŒã€Hadoopを用ã„ã‚‹ã“ã¨ã§13分ã«çŸç¸®ã•ã‚ŒãŸã¨ã„ã†ã€‚ ã“ã‚Œã¾ã§ã¯ã€Yahoo!ã«ã—ã‚VISAã«ã—ã‚ã€è†¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚’RDBã«æŠ¼ã—込むã»ã‹ã«æ–¹æ³•ã¯ãªãã€ãã®åˆ†æžã«æ•°å日をè¦ã™ã‚‹
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹ Facebookã§ã¯ã€24時間ã”ã¨ã«0.5ペタãƒã‚¤ãƒˆã®ãƒ‡ãƒ¼ã‚¿ãŒç”Ÿæˆã•ã‚Œã€ãれらを分æžã™ã‚‹ãŸã‚ã«æ¯Žæ—¥6万回以上もã®Hiveã®ã‚¯ã‚¨ãƒªãŒå®Ÿè¡Œã•ã‚Œã¦ã„ã‚‹ãã†ã§ã™ã€‚ ã“ã†ã—ãŸå¤§è¦æ¨¡å‡¦ç†ã‚’è¡Œã†ãƒ—ラットフォームã¨ã—ã¦ä½¿ã‚ã‚Œã¦ã„ã‚‹ã®ãŒHadoop。ã—ã‹ã—Facebookã¯Hadoop MapReduceã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã«é™ç•Œã‚’æ„Ÿã˜ã¦ãŠã‚Šã€ãれを解決ã™ã‚‹ãŸã‚ã®æ–°ã—ã„ソフトウェア「Hadoop Coronaã€ã‚’開発ã€ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã—ã¾ã—ãŸã€‚ Facebookã®ãƒšãƒ¼ã‚¸ã€ŒUnder the Hood: Scheduling MapReduce jobs more efficiently with Coronaã€ã§ã¯ã€å¾“æ¥ã®Hadoop MapReduceã®ã©ã“ã«èª²é¡ŒãŒã‚ã£ãŸã®ã‹ã€4ã¤
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}