this document is for #tokyowebmining held at 2011/04/10Read less
Hadoopを用ã„ãŸå¤§è¦æ¨¡ãƒã‚°è§£æž
this document is for #tokyowebmining held at 2011/04/10Read less
Hadoopã®æ»è§’ã€COBOLãƒãƒƒãƒå‡¦ç†ã®ä¸¦åˆ—化
Hadoopã®æ»è§’ã€COBOLãƒãƒƒãƒå‡¦ç†ã®ä¸¦åˆ—化：ç¾å ´ã«ã‚ãã€Webシステムã®å•é¡Œè§£æ±ºãƒŽã‚¦ãƒã‚¦ï¼ˆ8） 本連載ã¯ã€æ—¥ç«‹è£½ä½œæ‰€ãŒæä¾›ã™ã‚‹ã‚¢ãƒ—リケーションサーãƒã€ŒCosminexusã€ã®é–‹ç™ºæ‹…当者ã¸ã®ã‚¤ãƒ³ã‚¿ãƒ“ューを通ã˜ã¦ã€Webシステムã«ãŠã‘ã‚‹ã€ã•ã¾ã–ã¾ãªå•é¡Œï¼ãƒˆãƒ©ãƒ–ルã®è§£æ±ºã«åŠ¹ãノウãƒã‚¦ã‚„注æ„点を紹介ã—ã¦ã„ã。ç¾åœ¨èµ·ãã¦ã„ã‚‹å•é¡Œã®è§£æ±ºã‚„ã€ä»Šå¾Œã®é–‹ç™ºã®ã”å‚考ã«ï¼ˆç·¨é›†éƒ¨ï¼‰ クラウドã§å¯èƒ½ã«ãªã£ãŸå¤§é‡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã¨ãƒãƒƒãƒå‡¦ç† クラウド・コンピューティングをå‰æã¨ã—ã¦ã€å¤šæ•°ã®ã‚µãƒ¼ãƒã‚’使ã„大é‡ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’ã™ã‚‹ãŸã‚ã®æ‰‹æ³•ã¨ã—ã¦ã€ã€ŒMapReduceã€ã‚„ã€MapReduceã‚’Javaã§å®Ÿç¾ã™ã‚‹ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Hadoopã€ã«ä»£è¡¨ã•ã‚Œã‚‹åˆ†æ•£ä¸¦åˆ—処ç†ã«æ³¨ç›®ãŒé›†ã¾ã£ã¦ã„る。 多数ã®ã‚µãƒ¼ãƒã‚’使ã„計算処ç†ã‚’並列化ã—ã€ãã‚Œã¾ã§éžç¾å®Ÿçš„ã¨æ€ã‚ã‚Œã¦ã„ãŸå¤§é‡ã®è¨ˆç®—処ç†ã‚‚å¯èƒ½ã¨ã™ã‚‹æ‰‹æ³•ã§ã€ã¾ã•ã«ã€Œã‚¯ãƒ©ã‚¦ãƒ‰æ™‚代ã®æŠ€è¡“ã€ã¨ã„ãˆã‚‹ã
ãã‚ãã‚Hadoopã«ã¤ã„ã¦ã²ã¨ã“ã¨è¨€ã£ã¦ãŠãã‹ - nokunoã®æ—¥è¨˜
ã‚‚ã†ã“ã®æ‰‹ã®è©±é¡Œã¯å‡ºå°½ãã—ãŸæ„ŸãŒã‚ã‚Šã¾ã™ãŒã€æœ€è¿‘Hadoopã«ã¤ã„ã¦è€ƒãˆã‚‹ã“ã¨ãŒå¤šã„ã®ã§ã€ã‚¨ãƒ³ãƒˆãƒªã«ã—ã¦ã¿ã¾ã™ã€‚ãªãŠã€ã“ã“ã§ã¯ãƒ™ãƒ¼ã‚·ãƒƒã‚¯ãªMapReduce+HDFSã®ã“ã¨ã‚’Hadoopã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ Hadoopã¨ã¯Hadoopã¨ã¯è¨€ã‚ãšã¨çŸ¥ã‚ŒãŸGoogleã®MapReduce/GFSã®ã‚ªãƒ¼ãƒ—ンソースã®ã‚¯ãƒãƒ¼ãƒ³ã§ã™ã€‚MapReduceã§ã¯ãƒ—ãƒã‚°ãƒ©ãƒžã¯Mapã¨Reduceã¨ã„ã†2ã¤ã®é–¢æ•°ã‚’書ãã ã‘ã§ã€ä¸¦åˆ—分散処ç†ã‚’ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã‚Œã¯(1) データを実際ã«æŒã¤ãƒžã‚·ãƒ³ã«ãƒ—ãƒã‚°ãƒ©ãƒ ã‚’é…布ã™ã‚‹ (2) Mapã¨Reduceã‚’ã¤ãªãShuffleフェーズã§ã‚ーをグループ化ã—ã¦ã‚½ãƒ¼ãƒˆã™ã‚‹ã€(3) 障害時ã®ãƒ•ã‚§ãƒ¼ãƒ«ã‚ªãƒ¼ãƒãƒ¼ã‚„レプリケーションã€ã¨ã„ã£ãŸå‡¦ç†ã‚’フレームワークå´ãŒå—ã‘æŒã¤ã“ã¨ã«ã‚ˆã£ã¦ã€ãƒ—ãƒã‚°ãƒ©ãƒžå´ã®è² 担を減らã™ã‚‚ã®ã§ã™ã€‚GFSã«å¯¾å¿œã™ã‚‹HDFSã«ã¯ãƒ•ã‚¡ã‚¤ãƒ«ã‚’クラスタã«åˆ†æ•£ã—ã¦ä¿å˜
楽天ãŒHadoopを使ã†ç†ç”±
1. 楽天ãŒHadoopを使ã†ç†ç”± Keisuke Kawamura | Development Unit Rakuten, Inc. Nikkei Computer Seminar 15th Dec. 2010 1 Tuesday, December 21, 2010 1 2. 自己紹介 æ²³æ‘ åœä»‹(ã‹ã‚むらã‘ã„ã™ã‘) æ¥½å¤©æ ªå¼ä¼šç¤¾â€ƒDevelopment Unit シニアアソフトウェアエンジニア - Webサービスã®ä¼ç”»ãƒ»é–‹ç™º - 大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿è§£æžã®å‡¦ç†åŸºç›¤æ§‹ç¯‰ 2 Tuesday, December 21, 2010 2 3. 自己紹介 課外活動 楽天ã§è¡Œã‚れるå„種技術イベント ä¼ç”»ãƒ»é‹å–¶ Hadoopソースコードリーディング ãŠæ‰‹ä¼ã„ 事例記事ã®åŸ·ç†ãªã©ãªã© Contact : keisuke.kawamura@mail.rakuten.co.jp twitter @kkawamu
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Amazon.co.jp: Hadoop徹底入門: オープンソース分散処ç†ç’°å¢ƒã®æ§‹ç¯‰: 太田一樹: 本
{{#tags}}- {{label}}
{{/tags}}