ã‚ã–ã›ï¼Hadoopエンジニア―開発者編―
EnterpriseZine（エンタープライズジン）編集部ã§ã¯ã€æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ æ‹…å½“ã€ã‚»ã‚ュリティ担当ã®æ–¹ã€…å‘ã‘ã«ã€EnterpriseZine Dayã€Security Online Dayã€DataTechã¨ã„ã†ã€3ã¤ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’開催ã—ã¦ãŠã‚Šã¾ã™ã€‚ãã‚Œãžã‚Œç·¨é›†éƒ¨ç‹¬è‡ªã®åˆ‡ã‚Šå£ã§ã€æ¥ç•Œãƒˆãƒ¬ãƒ³ãƒ‰ã‚„最新事例を網羅。最新ã®å‹•å‘を知るã“ã¨ãŒã§ãã‚‹å ´ã¨ã—ã¦ã€å¥½è©•ã‚’å¾—ã¦ã„ã¾ã™ã€‚
並列分散処ç†ã®å¸¸è˜ã‚’Hadoopファミリã‹ã‚‰å¦ã¶
Hadoopプãƒã‚¸ã‚§ã‚¯ãƒˆã¯3ã¤ã®ã€Œã‚µãƒ–プãƒã‚¸ã‚§ã‚¯ãƒˆã€ã§æ§‹æˆã•ã‚Œã¦ã„ã¾ã™ã€‚ Common：Hadoopã®åŸºæœ¬æ©Ÿèƒ½FileSystemã€RPCã€Serializationã®ãƒ©ã‚¤ãƒ–ラリ HDFS：分散ストレージを仮想的ã«1ã¤ã«æ‰±ã†ãŸã‚ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ MapReduce：膨大ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’クラスタ上ã§åˆ†æ•£å‡¦ç†ã™ã‚‹ãŸã‚ã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãƒ•ãƒ¬ãƒ¼ãƒ ワーク ã“れらãŒã€ã€ŒHadoopファミリã€ã®æ ¸ã§ã‚ã‚Šã€ä¸¦åˆ—分散処ç†æ©Ÿæ§‹ã‚’支ãˆã¦ã„ã¾ã™ã€‚ãれ以外ã®ã€Œé–¢é€£ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã€ã¯2011å¹´12月時点ã§ã¯ä¸‹è¨˜ã®ã‚ˆã†ã«ãªã£ã¦ã„ã¾ã™ã€‚ Avro：Commonã®æŒã¤æ©Ÿèƒ½ã‚’æ‹¡å¼µã—ãŸãƒ‡ãƒ¼ã‚¿ã‚·ãƒªã‚¢ãƒ©ã‚¤ã‚ºã‚·ã‚¹ãƒ†ãƒ Cassandra：å˜ä¸€éšœå®³ç‚¹ã®ãªã„スケーラブルãªãƒžãƒ«ãƒãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ Chukwa：大è¦æ¨¡ãªåˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã§ã®ãƒ‡ãƒ¼ã‚¿åŽé›†ã‚·ã‚¹ãƒ†ãƒ HBase：大è¦æ¨¡ãªæ§‹é€ 化データをサãƒãƒ¼ãƒˆã™ã‚‹ã€ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルãªåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ Hive
第1回　レコメンドシステムã¨é›†åˆçŸ¥ | gihyo.jp
ã¯ã˜ã‚㫠今回ã‹ã‚‰9回ã«æ¸¡ã‚Šã€Hadoopを使ã£ãŸãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã‚·ã‚¹ãƒ†ãƒ ã®å®Ÿè£…ã«ã¤ã„ã¦ç´¹ä»‹ã•ã›ã¦ã„ãŸã ãã“ã¨ã«ãªã‚Šã¾ã—ãŸã€‚ レコメンドシステムを構築ã—ãŸæ–¹ã¯å°‘ãªã„ã¨æ€ã„ã¾ã™ãŒã€ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã®ã‚µãƒ¼ãƒ“スã«è§¦ã‚Œã¦ã„ã‚‹æ–¹ã¯å¤šã„ã¨æ€ã„ã¾ã™ã€‚今回ã®é€£è¼‰ã§ã€èªè€…ã®çš†æ§˜ã«ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã‚·ã‚¹ãƒ†ãƒ ã®å¯èƒ½æ€§ã¨ãã®å®Ÿè£…ã®é¢ç™½ã•ã‚’ãŠä¼ãˆã§ãã‚Œã°ã¨æ€ã„ã¾ã™ã€‚よã‚ã—ããŠé¡˜ã„申ã—上ã’ã¾ã™ã€‚ 連載ã®äºˆå®šã¯æ¬¡ã®é€šã‚Šã§ã™ã€‚ レコメンドシステムã¨é›†åˆçŸ¥ï¼ˆä»Šå›žï¼‰ レコメンドシステムã®å®Ÿè£…ã¨èª²é¡Œ å”調フィルタリング（å‰ãƒ»å¾Œç·¨ï¼‰ コンテンツベースレコメンド（å‰ãƒ»å¾Œç·¨ï¼‰ 今回ã®è¨˜äº‹ã®ãƒã‚¤ãƒ³ãƒˆã¯ä»¥ä¸‹ã®é€šã‚Šã§ã™ã€‚ レコメンドシステムã®ç›®çš„ã¯æ°—付ãã¨é©šãを与ãˆã‚‹ã“㨠ç†æƒ³ã®ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ã¯ã‚½ãƒ リエã®ãŠè–¦ã‚ レコメンドシステムã«å¿…è¦ãªã®ã¯å—œå¥½ã¨å°‚門性 ã§ã¯ã€æ—©é€Ÿã¯ã˜ã‚ã¾ã—ょã†ã€‚ レコメンドシステムã¨ã¯ï¼Ÿ レコメンドシステムã¯æƒ…å ±ãƒ•ã‚£ãƒ«ã‚¿ãƒªãƒ³ã‚°ã®ä¸€ç¨®ã§ã€å¤§é‡ã®
Hadoopã®ç•°ç«¯ã•ãŒé¢ç™½ã„ - wyukawa's diary
Hadoopã¯ã»ã‚“ã¨ãƒ–ームã§ã™ã€‚ãƒãƒ–ルã ã¨è¨€ã£ã¦ã„ã„æ°—ãŒã—ã¾ã™ã€‚å„種セミナーã¯ã™ãã«åŸ‹ã¾ã‚Šã¾ã™ã—ã€å®Ÿéš›ã«èžãã«è¡Œãã¨ä¼šå ´ã¯æº€å“¡ã§ã™ã€‚ ã“ã®åˆ†é‡Žã¯æ—¥æœ¬ã ã¨NTTデータãŒå…ˆé ã‚’ãã£ãŸã‚ˆã†ã«è¦‹ãˆã¾ã™ã€‚ NTTデータã€Hadoopã®å•†ç”¨ãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューション「CDH3ã€ã‚’販売開始 | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ ã¾ãŸHadoopå°‚æ¥ä¼šç¤¾ã€ŒãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã€ã¨ã„ã†ã®ã‚‚ã§ãã¾ã—ãŸã€‚ ウルシステムズã¨ã‚¤ãƒ¼ã‚·ãƒ¼ãƒ»ãƒ¯ãƒ³ãŒçµŒå–¶çµ±åˆã€Hadoopå°‚æ¥ä¼šç¤¾ã‚’ç«‹ã¡ä¸Šã’ | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ ã—ã‹ã—最近ã§ã¯å¯Œå£«é€šã‚„IBMã‚‚Hadoopソリューションを展開ã—ã¦ãŠã‚Šãƒ¬ãƒƒãƒ‰ã‚ªãƒ¼ã‚·ãƒ£ãƒ³ãªæ„Ÿã˜ã§ã™ã€‚ 富士通ãŒãƒ“ッグデータ分æžãƒ»æ´»ç”¨å‘ã‘ã®PaaSサービス | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ 日本IBMã€è¡¨è¨ˆç®—ã®ã‚ˆã†ã«åˆ†æžã§ãã‚‹Hadoopソフト新版「BigInsights〠| 日経 xTECH（
Hadoopモデリング座談会（第5回）ã¸è¡Œã£ã¦ãã¾ã—㟠- 虎塚
第5回ã¨ã®ã“ã¨ã§ã™ãŒã€è‡ªåˆ†ã¯åˆã‚ã¦å‚åŠ ã—ã¾ã—ãŸã€‚ ãã‚‚ãã‚‚Hadoopã¨ã‚¿ã‚¤ãƒˆãƒ«ã«ã¤ãイベントã¸è¡Œã£ãŸã®ã¯ã€åˆã‚ã¦ã§ã—ãŸã€‚ã“ã‚Œã¾ã§é å·»ãã«è¦‹ã¦ã„ã¾ã—ãŸãŒã€ä½•ã‹ã€è‰²ã€…ã‚ã£ã¦å‚åŠ ã™ã‚‹ã“ã¨ã«ã€‚ zusaar.com - zusaar リソースãŠã‚ˆã³æƒ…å ± 2011/06/29_Hadoopã‚’ä¸å¿ƒã¨ã—ãŸåˆ†æ•£ç’°å¢ƒã§ã®é–‹ç™ºæ–¹æ³•è«–・モデリング・è¨è¨ˆæ‰‹æ³•ç‰ã«ã¤ã„ã¦ã®åº§è«‡ä¼š(第5回） #hadoopmodeling - Togetter ã›ã£ã‹ããªã®ã§ãƒŽãƒ¼ãƒˆã‚’上ã’ã¦ãŠãã¾ã™ã€‚ 1. 「鉄é“システムã¸ã®èª˜ã„〠[twitter:@ayasehiro]ã•ã‚“ 発表ã®ç›®çš„ã¯ã€ã€Œå¦ç”Ÿã®æ–¹ã«é‰„é“システムã«èˆˆå‘³ã‚’æŒã£ã¦ã‚‚らã†ã“ã¨ï¼ã€ã¨ã®ã“ã¨ã€‚ 鉄é“システムã®é–‹ç™ºã®ãŠè©± システムã¯ä¸€åº¦ä½œã£ãŸã‚‰é•·ã使ㆠè€ç”¨å¹´æ•°10年以上 開発ã®ã‚¹ãƒ‘ンも長ㄠ長ã„ã¨ãã§5å¹´ãã‚‰ã„ è£½é€ ã«æ™‚é–“ã‚’ã‹ã‘られãªã„ åŠåˆ†ãŒé–‹ç™ºã€åŠåˆ†ãŒè©¦é¨“ 開発
ã¯ã¦ãªãƒ–ãƒã‚° | 無料ブãƒã‚°ã‚’作æˆã—よã†
日記_2024.8.29 éžé¦¬ã¨è²´èˆ¹ 29æ—¥ã¯éžé¦¬ã¨è²´èˆ¹ã«è¡Œã£ã¦ãã¾ã—ãŸã€‚ã“ã‚“ãªå¤©æ°—ã§ãƒã‚¤ã‚¯ã¯ç„¡ç†ã€ã§ã‚‚引ãã“ã‚‚ã‚‹ã®ã‚‚å«Œãªã®ã§å‰ã€…ã‹ã‚‰è¡ŒããŸã‹ã£ãŸéžé¦¬ã¨è²´èˆ¹ã«è¡Œãã“ã¨ã«ã—ã¾ã—ãŸã€‚ãŸã ã€ã„ã¤å¤§é›¨ãŒé™ã£ã¦ã‚‚å…¨ããŠã‹ã—ããªã„ã®ã§å¤©æ°—ãŒãƒ¤ãƒãã†ãªã‚‰å¸°ã‚‹ã“ã¨ã«ã—ã¾ã™ã€‚普通ã«æ—¥å¸°ã‚Šã§ãã‚‹è·é›¢ã§ã™ã‹ã‚‰â€¦
Hadoopã‚’ä¸å¿ƒã¨ã—ãŸåˆ†æ•£ç’°å¢ƒã§ã®é–‹ç™ºæ–¹æ³•è«–・モデリング・è¨è¨ˆæ‰‹æ³•ç‰ã«ã¤ã„ã¦ã®åº§è«‡ä¼š(第5回）ã«å‚åŠ ã—ã¾ã—ãŸã€‚ | @johtani ã®æ—¥è¨˜
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
ã„ã¾ã•ã‚‰èžã‘ãªã„Hadoopã¨ãƒ†ã‚ストマイニング入門
ビッグデータ時代ã®æ•‘世主「Hadoopã€ã¨ã¯ 「Apache Hadoopã€ã¯ä»Šã€æœ€ã‚‚注目を集ã‚ã¦ã„る技術ã®1ã¤ã§ã™ã€‚Hadoopã¨ã¯ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’手軽ã«è¤‡æ•°ã®ãƒžã‚·ãƒ³ã«åˆ†æ•£ã—ã¦å‡¦ç†ã§ãるオープンソースã®ãƒ—ラットフォームã§ã™ã€‚ Hadoopを活用ã—ã¦ã„ã‚‹ä¼æ¥ã¯å¹´ã€…増ãˆç¶šã‘ã¦ã„ã¦ã€ä¸å¯æ¬ ãªæŠ€è¡“ã«ãªã‚Šã¤ã¤ã‚ã‚‹ã¨ã„ãˆã‚‹ã§ã—ょã†ã€‚ 本連載ã§ã¯ã€Hadoopã¨ã¯ä½•ã‹ã€HadoopãŒã©ã†æ´»ç”¨ã§ãã‚‹ã®ã‹ã¨ã„ã†ã“ã¨ã‚’ã€ã€Œãƒ†ã‚ストマイニングã€ã«ç„¦ç‚¹ã‚’当ã¦ã¦è§£èª¬ã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ é‡ã„処ç†ã‚’複数ã®ãƒžã‚·ãƒ³ã«åˆ†æ•£ã•ã›ã‚‹ 複数ã®ãƒžã‚·ãƒ³ã«å‡¦ç†ã‚’分散ã•ã›ã‚‹ã«ã¯ã€ãƒ—ãƒã‚»ã‚¹åŒå£«ã®é€šä¿¡ã€ç›£è¦–ã€éšœå®³æ™‚ã®å¯¾å¿œãªã©ã‚’考ãˆãªã‘ã‚Œã°ãªã‚‰ãšã€ãƒ—ãƒã‚°ãƒ©ãƒžã«ã¨ã£ã¦ãƒãƒ¼ãƒ‰ãƒ«ãŒé«˜ã„ã‚‚ã®ã§ã™ã€‚ã—ã‹ã—ã€Hadoopã¯ãã†ã„ã£ãŸé¢å€’ãã•ã„処ç†ã‚’一手ã«å¼•ãå—ã‘ã¦ãã‚Œã€ãƒ—ãƒã‚°ãƒ©ãƒžã¯ã€ã‚„ã‚ŠãŸã„処ç†ã ã‘ã«é›†ä¸ã§ãã¾ã™ã€‚ 例ãˆã°ã€Hadoopを使ã†ã¨ã€1
エンタープライズå‘ã‘Hadoopæä¾›ã¸ã€ç±³EMC ï¼ ï¼ IT
2011/05/10 Hadoopã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズå‘ã‘ディストリビューションを6月末ã¾ã§ã«æä¾›ã™ã‚‹ã¨ã€ç±³EMCãŒ5月9æ—¥ã«ç™ºè¡¨ã—ãŸã€‚EMCã¨ã„ã£ã¦ã‚‚ã€ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸æ©Ÿå™¨ã®äº‹æ¥éƒ¨é–€ã§ã¯ãªã„。åŒç¤¾ãŒ2010å¹´7月ã«è²·åŽã—ãŸã€å…ƒç±³Greenplumã®äº‹æ¥éƒ¨é–€ã 。ã“ã‚Œã«ã‚ˆã‚Šã€éžæ§‹é€ 化データã®åˆ†æžãƒ‹ãƒ¼ã‚ºã®é«˜ã¾ã‚Šã«å¯¾å¿œã—ã¦ã„ãã¨ã„ã†ã€‚ Greenplumã¯ã“ã‚Œã¾ã§ã€ã‚ªãƒ¼ãƒ—ンソース技術をベースã¨ã—ãŸã€ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ï¼ãƒ“ジãƒã‚¹ãƒ‡ãƒ¼ã‚¿åˆ†æžå‘ã‘ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚·ã‚¹ãƒ†ãƒ ã§ã‚る「Greenplum Databaseã€ã‚’æä¾›ã—ã¦ããŸã€‚多数ã®PostgreSQLインスタンスを並列ã«å‹•ä½œã•ã›ã¦ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’実行ã™ã‚‹ä»•çµ„ã¿ã‚’通ã˜ã€ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ‰ãŠã‚ˆã³ã‚¯ã‚¨ãƒªå‡¦ç†ã®é«˜é€ŸåŒ–ã¨ã‚¹ã‚±ãƒ¼ãƒªãƒ³ã‚°ã‚’実ç¾ã—ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã‚’å¯èƒ½ã¨ã—ã¦ã„る。Greenplum製å“群ã¨ã—ã¦ã¯ç¾åœ¨ã€æœ‰å„Ÿã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢è£½å“ã«åŠ ãˆã€ç„¡å„Ÿã®ã€ŒGreenplum
Hadoop入門ã¨ã‚¯ãƒ©ã‚¦ãƒ‰åˆ©ç”¨
This document discusses Hadoop and related technologies. It introduces Hadoop, its components MapReduce and HDFS, and how they work together. It also briefly mentions related Apache projects like Mahout and how companies like Amazon, Yahoo and Facebook use Hadoop in their systems. Finally, it covers Amazon's Elastic MapReduce service, which allows running Hadoop jobs in the cloud.Read less
Asakusa Enterprise Batch Processing Framework for Hadoop
3. 目的 Asakusa ã®ç›®çš„ 基幹ãƒãƒƒãƒå‡¦ç†ã‚’ Hadoop 上ã§ã€é–‹ç™ºãƒ»å®Ÿè¡Œãƒ»é‹ç”¨ã™ã‚‹ã“㨠Hadoop 上ã§åŸºå¹¹ã‚’å‹•ã‹ã™ã“ã¨ã®ç‹™ã„ ãƒãƒƒãƒå‡¦ç†æ™‚é–“ã®çŸç¸® ãƒãƒƒãƒå‡¦ç†ã®çŸç¸®ã§ä½•ãŒå¯èƒ½ã«ãªã‚‹ã®ã‹ï¼Ÿ ①今ã¾ã§æ™‚é–“çš„ãªåˆ¶ç´„ã§ããªã‹ã£ãŸå‡¦ç†ã‚’何度も行ã†ã“ã¨ãŒã§ãã‚‹ 月次・週次ã§ã®å‡¦ç†ã‚’日次ã§è¡Œãˆã‚‹ã€‚å¯èƒ½ã§ã‚ã‚Œã°ã€Œå³æ™‚処ç†ã€ シミュレーション・確定処ç†ãƒ»ã‚¯ãƒ¬ãƒ³ã‚¸ãƒ³ã‚°ãƒ»å¼•å½“・å—発注・在庫管ç†ãƒ»äºˆæ¸¬å‡¦ç† â‘¡ 時間的ã«å‡¦ç†ãŒä¸èƒ½ã§ã‚ã£ãŸãƒ‡ãƒ¼ã‚¿ã‚‚処ç†ã‚’ã™ã‚‹ 13 ã‹æœˆå®Ÿç¸¾æŽ¨å®šã‹ã‚‰ 100 カ月超ã®ãƒ‡ãƒ¼ã‚¿ã‚‚å–り込む データ種ãŒç•°ãªã‚‹ãƒ‡ãƒ¼ã‚¿ã‚‚ã¾ã¨ã‚ã¦å‡¦ç†ã«ã‹ã‘ã‚‹ â‘¢ 無駄ãªæ™‚é–“ãŒãªããªã‚Šã€é‹ç”¨ã®ã‚³ã‚¹ãƒˆãŒåŠ‡çš„ã«ä¸‹ãŒã‚‹ 夜間ãƒãƒƒãƒã‚’ãªãã—ã¦ã€é‹ç”¨ç›£è¦–ã®äººçš„ãªã‚³ã‚¹ãƒˆã‚’下ã’ã‚‹ 4. 実際ã©ã‚“ãªã‚‚ã®ã‹ï¼Ÿ 基幹ãƒãƒƒãƒå‡¦ç†ã®ä¾‹ï½žä¸€éƒ¨æŠœç²‹ 仕入データ å–り込㿠残高 æ›´æ–° ç…§åˆ å‡¦ç† ä»•å…¥æ˜Žç´° データ ä»•å…¥è¿”å“ ãƒ‡ãƒ¼
Hadoopフレームワーク「Asakusaã€ãŒOSSã§å…¬é–‹ ï¼ ï¼ IT
2011/03/31 ウルシステムズã¯3月31æ—¥ã€åŸºå¹¹æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã®ãƒãƒƒãƒã‚’高速処ç†ã™ã‚‹ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Asakusa Frameworkã€ã®æ£å¼ç‰ˆã‚’オープンソースã¨ã—ã¦å…¬é–‹ã—ãŸï¼ˆç™ºè¡¨æ–‡ã€GitHubã®ãƒ¬ãƒã‚¸ãƒˆãƒªï¼‰ã€‚Hadoop上ã«åŸºå¹¹ãƒãƒƒãƒã‚·ã‚¹ãƒ†ãƒ ã«å¿…è¦ãªé–‹ç™ºç’°å¢ƒãƒ»å®Ÿè¡Œç’°å¢ƒãƒ»é‹ç”¨ç’°å¢ƒã‚’実装ã—ãŸã‚‚ã®ã€‚Hadoopã¯Javaベースã®ã‚ªãƒ¼ãƒ—ンソース分散処ç†æŠ€è¡“ã¨ã—ã¦ã€ã™ã§ã«åºƒã利用ã•ã‚Œã¦ã„る一方ã€æ¥å‹™å‡¦ç†ã¸ã®é©ç”¨ã§ã¯ã€å°Žå…¥ã®é›£ã—ã•ã‹ã‚‰åˆ©ç”¨ãŒé€²ã‚“ã§ã„ãªã‹ã£ãŸã€‚Asakusaを使ã†ã“ã¨ã§ã€Hadoopã«è©³ã—ããªã„エンジニアã§ã‚‚ç°¡å˜ã«ã‚·ã‚¹ãƒ†ãƒ 開発ãŒã§ãã‚‹ã¨ã„ã†ã€‚ Asakusaã¯ã€MapReduceã®DSLをコンパイルã™ã‚‹ã€ŒAshigel Compilerã€ã€Hadoopã®ãƒ‡ãƒ¼ã‚¿ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã«åˆã‚ã›ãŸãƒ‡ãƒ¼ã‚¿ãƒ¢ãƒ‡ãƒ«ã‚’生æˆã™ã‚‹ã‚¸ã‚§ãƒãƒ¬ãƒ¼ã‚¿ã€çµ±åˆãƒ†ã‚¹ãƒˆã‚¹ã‚¤ãƒ¼ãƒˆã®3ã¤ã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã‹ã‚‰ãªã‚‹ã€‚Ashi
『モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011ï¼ #hcj2011
『モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011ï¼ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011 #hcj2011 ã§ç™»å£‡ã—ã¦ãã¾ã—㟠" http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
Hadoopã®å¯ç”¨æ€§ã«ã¤ã„ã¦ï¼ˆç§è¨³ï¼‰ - developer’s delight
ã“ã®è¨˜äº‹ã¯Clouderaã®Blogã®è¨˜äº‹â€Hadoop Availability | Apache Hadoop for the Enterprise | Clouderaâ€ã®ç§çš„翻訳ã§ã™ã€‚Hadoopã®å¯ç”¨æ€§ã«ã¤ã„ã¦ã¯èˆˆå‘³ã®ã‚る方も多ã„ã¨æ€ã„ã¾ã™ã®ã§ã€èªã‚€ã¤ã„ã§ã«è¨³ã—ã¦ã¿ã¾ã—ãŸã€‚å‹¢ã„ã§è¨³ã—ãŸã®ã§è³ªã«é–¢ã—ã¦ã¯è²¬ä»»ã‚’æŒã¦ã¾ã›ã‚“ã®ã§ã‚ˆã‚ã—ããŠé¡˜ã„ã—ã¾ã™ã€‚é–“é•ã„ãªã©ãŒã‚ã‚Šã¾ã—ãŸã‚‰ã”指摘ã„ãŸã ã‘ã‚Œã°åŠ©ã‹ã‚Šã¾ã™ã€‚(id:kkawamura)Apache Hadoopã®ãƒ¡ãƒ¼ãƒªãƒ³ã‚°ãƒªã‚¹ãƒˆã§ã‚ˆãã‚る質å•ã¯ã€å¯ç”¨æ€§ã‚’ä¿ã¤ãŸã‚ã«ã©ã†ã™ã‚‹ã‹ï¼Ÿã¨ã„ã†ã‚‚ã®ã§ã™ã€‚ã“ã®è¨˜äº‹ã§ã¯ã€Hadoopã®ã‚³ãƒ³ãƒ†ã‚ストã§ã®å¯ç”¨æ€§ã«ã¤ã„ã¦è¦‹ã¦ã„ãã€é€²è¡Œä¸ã®é–‹ç™ºã®æ–¹å‘性を示ã—ã¾ã™ã€‚背景Hadoopã®å¯ç”¨æ€§ã‚’è°è«–ã™ã‚‹ã¨ãã€äººã¯ã‚ˆãNameNodeãŒHDFSã«ãŠã„ã¦å˜ä¸€æ•…障点ã§ã‚ã‚‹ãŸã‚ã€NameNodeã‹ã‚‰è©±ã‚’ã¯ã˜ã‚ã¾ã™ã€‚ãã—ã¦Hadoo
ウルシステムズã€åŸºå¹¹ãƒãƒƒãƒç”¨HadoopフレームワークをOSS化
ウルシステムズã¯2011å¹´2月9æ—¥ã€ã‚ªãƒ¼ãƒ—ンソースソフトウエア（OSS）ã®åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€ŒHadoopã€ã‚’使ã£ã¦åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’開発ã§ãるソフトウエアフレームワーク「Asakusa Frameworkã€ã‚’ã€OSSã¨ã—ã¦å…¬é–‹ã™ã‚‹ã¨ç™ºè¡¨ã—ãŸã€‚プãƒã‚°ãƒ©ãƒžãƒ¼ã¯Hadoop独特ã®åˆ†æ•£å‡¦ç†ã®ä»•çµ„ã¿ã‚’ç†è§£ã—ãªãã¦ã‚‚ã€åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’開発ã§ãる。ソースコードã¯3月ã«å…¬é–‹ã™ã‚‹äºˆå®šã€‚ Hadoopã¯ã€ç±³ã‚°ãƒ¼ã‚°ãƒ«ã®ä¸¦åˆ—プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãƒ¢ãƒ‡ãƒ«ã€ŒMapReduceã€ã¨åˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ 「Google File Systemã€ã‚’模ã—ãŸåˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€‚I/O処ç†ã‚’複数å°ã®ã‚µãƒ¼ãƒãƒ¼ã§åˆ†æ•£å‡¦ç†ã™ã‚‹ã“ã¨ã§ã€ãƒãƒƒãƒå‡¦ç†ã®é€Ÿåº¦ã‚’大幅ã«é«˜é€ŸåŒ–ã§ãる。 Hadoopã®ãƒ—ãƒã‚°ãƒ©ãƒ ã¯ã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã®Javaを使ã„ã€ã€ŒMap処ç†ã€ã¨ã€ŒReduce処ç†ã€ã¨ã„ã†MapReduce独特ã®æ©Ÿæ§‹ã‚’組ã¿åˆã‚ã›ã¦é–‹ç™ºã™ã‚‹å¿…è¦ãŒã‚る。ã
「Jaqlã€ã‚’使ã£ã¦MapReduceをより簡å˜ã«
Jaql（a query language desired for JSON：JSON用ã«ä½ç½®ã¥ã‘られãŸã‚¯ã‚¨ãƒªè¨€èªžï¼‰ã¯ã€JSONåž‹å¼ã®ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹ãŸã‚ã®ã‚¯ã‚¨ãƒªè¨€èªžã§ã€Apache Hadoopã®MapReduceを処ç†ã™ã‚‹ãŸã‚ã®å®Ÿè£…ãŒå˜åœ¨ã—ã¾ã™ã€‚日本語ã§ã¯ã€Œã˜ã‚ƒã£ãã‚‹ã€ã¨ç™ºéŸ³ã—ã¾ã™ã€‚ジャッカルã«ä¼¼ã¦ã„ã‚‹ãŸã‚ã€ä¸€éƒ¨ã®ã‚µã‚¤ãƒˆã«ã¯ã‚¸ãƒ£ãƒƒã‚«ãƒ«ã®å†™çœŸãŒæŽ²è¼‰ã•ã‚Œã¦ã„ã¾ã—ãŸã€‚ ã‚‚ã¨ã‚‚ã¨ã¯IBMã®ã‚¢ãƒ«ãƒžãƒ‡ãƒ³ç ”究所ã§ç ”究・開発ã•ã‚Œã€ã‚ªãƒ¼ãƒ—ンソースã¸æ案ã•ã‚Œã¾ã—ãŸã€‚本原稿執ç†æ™‚点ã§ã¯ã€Apache Incubatorプãƒã‚¸ã‚§ã‚¯ãƒˆã«ãªã£ã¦ãŠã‚Šã€Google Codeã®ã‚µã‚¤ãƒˆã§é–‹ç™ºãŒé€²ã‚られã¦ã„ã¾ã™ã€‚ IBMã‚¢ãƒ«ãƒžãƒ‡ãƒ³ç ”ç©¶æ‰€ã®ã‚µã‚¤ãƒˆ Apache Hadoop用実装ã®ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã‚µã‚¤ãƒˆ 本記事執ç†æ™‚点ã§ã¯ã€ã¤ã„å…ˆé ƒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã€Jaql 0.5.1をベースã«è§£èª¬ã—ã¦ã„ã¾ã™ã€‚ 1. JSONã®åŸºç¤Ž JSON（
ãã‚ãã‚Hadoopã«ã¤ã„ã¦ã²ã¨ã“ã¨è¨€ã£ã¦ãŠãã‹ - nokunoã®æ—¥è¨˜
ã‚‚ã†ã“ã®æ‰‹ã®è©±é¡Œã¯å‡ºå°½ãã—ãŸæ„ŸãŒã‚ã‚Šã¾ã™ãŒã€æœ€è¿‘Hadoopã«ã¤ã„ã¦è€ƒãˆã‚‹ã“ã¨ãŒå¤šã„ã®ã§ã€ã‚¨ãƒ³ãƒˆãƒªã«ã—ã¦ã¿ã¾ã™ã€‚ãªãŠã€ã“ã“ã§ã¯ãƒ™ãƒ¼ã‚·ãƒƒã‚¯ãªMapReduce+HDFSã®ã“ã¨ã‚’Hadoopã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ Hadoopã¨ã¯Hadoopã¨ã¯è¨€ã‚ãšã¨çŸ¥ã‚ŒãŸGoogleã®MapReduce/GFSã®ã‚ªãƒ¼ãƒ—ンソースã®ã‚¯ãƒãƒ¼ãƒ³ã§ã™ã€‚MapReduceã§ã¯ãƒ—ãƒã‚°ãƒ©ãƒžã¯Mapã¨Reduceã¨ã„ã†2ã¤ã®é–¢æ•°ã‚’書ãã ã‘ã§ã€ä¸¦åˆ—分散処ç†ã‚’ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã‚Œã¯(1) データを実際ã«æŒã¤ãƒžã‚·ãƒ³ã«ãƒ—ãƒã‚°ãƒ©ãƒ ã‚’é…布ã™ã‚‹ (2) Mapã¨Reduceã‚’ã¤ãªãShuffleフェーズã§ã‚ーをグループ化ã—ã¦ã‚½ãƒ¼ãƒˆã™ã‚‹ã€(3) 障害時ã®ãƒ•ã‚§ãƒ¼ãƒ«ã‚ªãƒ¼ãƒãƒ¼ã‚„レプリケーションã€ã¨ã„ã£ãŸå‡¦ç†ã‚’フレームワークå´ãŒå—ã‘æŒã¤ã“ã¨ã«ã‚ˆã£ã¦ã€ãƒ—ãƒã‚°ãƒ©ãƒžå´ã®è² 担を減らã™ã‚‚ã®ã§ã™ã€‚GFSã«å¯¾å¿œã™ã‚‹HDFSã«ã¯ãƒ•ã‚¡ã‚¤ãƒ«ã‚’クラスタã«åˆ†æ•£ã—ã¦ä¿å˜
リクルートや楽天ã€åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆHadoopã®åˆ©ç”¨ã‚’拡大
リクルートや楽天ãŒã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€ŒHadoopã€ã®åˆ©ç”¨ã‚’拡大ã—ã¦ã„る。リクルートã¯Webサーãƒãƒ¼ã®ãƒã‚°è§£æžç”¨DWH（データウエアãƒã‚¦ã‚¹ï¼‰ã¨ã—ã¦Hadoopを採用。楽天ã¯ã‚°ãƒ«ãƒ¼ãƒ—内ã®å…¨ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’対象ã¨ã—ãŸçµ±åˆãƒã‚°è§£æžåŸºç›¤ã®æ§‹ç¯‰ã‚’ã€Hadoopベースã§é€²ã‚ã¦ã„る。 NTTデータやウルシステムズãªã©ã®ã‚·ã‚¹ãƒ†ãƒ インテグレータもã€Hadoopを使ã£ãŸã‚·ã‚¹ãƒ†ãƒ 構築ã«å–り組ã¿å§‹ã‚ã¦ãŠã‚Šã€1000å°è¦æ¨¡ã®Hadoopクラスターもã™ã§ã«ç¨¼åƒã—ã¦ã„る。ã“れら事例ã¯ã€2010å¹´12月15æ—¥ã«æ±äº¬ãƒ»ç§‹è‘‰åŽŸã§é–‹å‚¬ã•ã‚ŒãŸã€Œæ—¥çµŒã‚³ãƒ³ãƒ”ュータセミナー・HadoopãŒå¤‰ãˆã‚‹ä¼æ¥æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ ã®å®Ÿåƒã€ã§ç™ºè¡¨ã•ã‚ŒãŸã€‚ DWHã®æ§‹ç¯‰ã«Hadoopã¨Hiveを採用ï¼ï¼ãƒªã‚¯ãƒ«ãƒ¼ãƒˆ リクルートã¯ã€åŒç¤¾ã®ã€Œã˜ã‚ƒã‚‰ã‚“netã€ã‚„「カーセンサー.netã€ã€Œsuumoã€ã¨ã„ã£ãŸæ§˜ã€…ãªWebサイトã®ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’一元的ã«è§£æž
Hadoop MapReduceプãƒã‚°ãƒ©ãƒ を解剖ã™ã‚‹
オープンソース・ソフトウェア「Hadoopã€ã®MapReduceジョブã¯ã€æ¨™æº–ã§ã¯Javaã§è¨˜è¿°ã—ã¾ã™ï¼ˆãã®ä»–ã«ã¯ã€Pigã€Hiveã€JAQLã¨ã„ã£ãŸã‚‚ã®ãŒã‚ã‚Šã¾ã™ï¼‰ã€‚ã—ã‹ã—ã€æ„外ã¨åˆå¿ƒè€…ã«ã¯åˆ†ã‹ã‚Šã«ãã„ã¨ç†è€…ã¯æ„Ÿã˜ã¾ã™ã€‚本記事ã§ã¯ã€MapReduceジョブã®ã‚µãƒ³ãƒ—ルコードを使ã£ã¦ã€ã§ãã‚‹é™ã‚Šæ£ã—ãコードã®æ„味をç†è§£ã—ã€MapReduceã¸ã®å…¥ã‚Šå£ã‚’示ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Hadoopã§MapReduceを記述ã™ã‚‹ã¨ãã«ä½¿ã†APIãŒã€0.19ã‹ã‚‰0.20ã«å¤‰ã‚ã‚‹ã¨ã“ã‚ã§æ–°ã—ããªã£ã¦ã„ã¾ã™ã€‚実ã¯ã€ç¾æ™‚点ã§Hadoopプãƒã‚¸ã‚§ã‚¯ãƒˆæœ¬ä½“ã‹ã‚‰ã§ã•ãˆã‚‚ã€æ–°APIを使ã£ãŸã‚µãƒ³ãƒ—ルãŒæ示ã•ã‚Œã¦ã„ã¾ã›ã‚“。本記事ã§ã¯ã€æ–°ã—ã„APIã§ç†è€…ãŒæ›¸ãç›´ã—ãŸã‚µãƒ³ãƒ—ルを使ã£ã¦è§£èª¬ã—ã¾ã™ã®ã§ã€ã“ã®ã‚µãƒ³ãƒ—ルã¯0.19以å‰ã®Hadoopã§ã¯å‹•ã‹ãªã„ã“ã¨ã«æ³¨æ„ã—ã¦ãã ã•ã„。ã“ã®è¨˜äº‹ã¯ã€0.20.2を使ã£ã¦æ¤œè¨¼ã—ã€è§£èª¬ã—ã¦ã„ã¾ã™ã€‚
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
{{#tags}}- {{label}}
{{/tags}}