Amazon.co.jp: Hadoop徹底入門 第2版: 太田一樹 (è‘—), 下垣徹 (è‘—), 山下真一 (è‘—), 猿田浩輔 (è‘—), 藤井é”朗 (è‘—), 岩崎æ£å‰› (è‘—), 濱野賢一朗 (èªã¿æ‰‹): Digital Ebook Purchas
Hadoopを用ã„ãŸå¤§è¦æ¨¡ãƒã‚°è§£æž
this document is for #tokyowebmining held at 2011/04/10Read less
Hadoop Conference Japan 2011ã§LTã—ã¦ãã¾ã—ãŸ
先日開ã‹ã‚ŒãŸ Hadoop Confenence Japan 2011 ã§LTã—ã¦ãã¾ã—ãŸã€‚ 発表スライドã¯ä»¥ä¸‹ã§ã™ã€‚ 分散ファイルシステムGfarm上ã§ã®Hadoop MapReduce View more presentations from shun0102. ãƒã‚¤ãƒ³ãƒˆã¯ã€HDFSã®å¤§ä½“ã¨ãªã‚‹æ±Žç”¨çš„ãªãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ を探ã™å ´åˆå€™è£œã¨ã—ã¦ã¯ã€ Gfarm, GlusterFS, Ceph, Lustre, PVFS2ãªã©ãŒã‚ã‚Šã¾ã™ã‚ˆã€‚試ã—ãŸæ‰€ã§ã¯ã€ Gfarmã¯HDFSã¨åŒç‰ã®æ€§èƒ½ã§ãƒžã‚¦ãƒ³ãƒˆã§ãã¦è‰¯ã„感㘠GlusterFSã¯æ€§èƒ½ã§ã¯HDFSã«åŠ£ã‚‹ãŒãƒžã‚¹ã‚¿ãƒ¼ãŒè¦ã‚‰ãªã„ Cephã¯è² è·ã‚’ã‹ã‘ã‚‹ã¨å›ºã¾ã‚‹ãªã©ã—ã¦ã¾ã 実é‹ç”¨ã«ã¯åŽ³ã—ã„状態 ã“ã‚“ãªæ„Ÿã˜ã§ã™ã€‚ 実際ã«æ€§èƒ½è©•ä¾¡ã‚’出ã—ã¦ã‚‹ã®ã¯ä¸€éƒ¨ã®äººã«ã‚¦ã‚±ãŒã„ã„ã¿ãŸã„ã§ã™ã€‚ ã“ã†ã„ã†å®Ÿéš›ã®æ€§èƒ½è©•ä¾¡ã‚’ã‚„ã£ã¦å…¬é–‹ã§ãる環境ã«ã‚る人も少ãªã„ã¨æ€ã†ã®
èªè¨¼ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¸ã®HBase/Hadoopã®é©ç”¨
1. ã¯ã˜ã‚ã« HP IceWall SSO ã¯ã€æ—¥æœ¬ãƒ’ãƒ¥ãƒ¼ãƒ¬ãƒƒãƒˆãƒ»ãƒ‘ãƒƒã‚«ãƒ¼ãƒ‰æ ªå¼ä¼šç¤¾ãŒæ—¥æœ¬ã§é–‹ç™ºã—㟠Webシングルサインオン製å“ã§ã™ã€‚1997å¹´ã®è²©å£²é–‹å§‹ã‚ˆã‚Šã€åˆè¨ˆ4000万以上ã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ãƒ©ã‚¤ã‚»ãƒ³ã‚¹ãŒè²©å£²ã•ã‚Œã¦ãŠã‚Šã€æ—¥æœ¬å›½å†…ã®å¸‚å ´å 有率も1ä½ã¨ãªã£ã¦ã„ã¾ã™ï¼Š1。大ä¼æ¥ã®ãƒŸãƒƒã‚·ãƒ§ãƒ³ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ãªã‚·ã‚¹ãƒ†ãƒ ã®èªè¨¼åŸºç›¤ã¨ã—ã¦ã‚‚使用ã•ã‚Œã¦ã„ã‚‹éžå¸¸ã«å®Ÿç¸¾ã®é«˜ã„製å“ã§ã™ã€‚ 本連載ã§ã¯ã€HP IceWall SSOã®æœ€æ–°æ©Ÿèƒ½ã‚’軸ã¨ã—ã€ã‚¯ãƒ©ã‚¦ãƒ‰ç’°å¢ƒã«ãŠã‘ã‚‹èªè¨¼ã‚·ã‚¹ãƒ†ãƒ ã¸ã®æ–°æŠ€è¡“ã®é©ç”¨ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã¨ã®èªè¨¼é€£æºã€ãã—ã¦ã‚¯ãƒ©ã‚¦ãƒ‰ã®æ´»ç”¨äº‹ä¾‹ã‚’3回ã«ã‚ãŸã‚Šç´¹ä»‹ã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ 第1回ã¯HP IceWall SSOã«ãŠã‘ã‚‹èªè¨¼ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¸ã®HBaseï¼Hadoopã®é©ç”¨ã«é–¢ã—ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ HBaseã¯Apache Software Foundation（以下ASF）ã«ã‚ˆã£ã¦ãƒˆãƒƒãƒ—レベルプãƒã‚¸ã‚§ã‚¯ãƒˆã®ä½ç½®ã¥
マイクãƒã‚½ãƒ•ãƒˆã®Hadoop対抗「Dryadã€ãŒãƒ™ãƒ¼ã‚¿ãƒ†ã‚¹ãƒˆé–‹å§‹
マイクãƒã‚½ãƒ•ãƒˆã¯ã€Windows HPC Serverã®ã‚¯ãƒ©ã‚¹ã‚¿ä¸Šã§å‹•ä½œã™ã‚‹ã€ŒDryadã€ã®ãƒ™ãƒ¼ã‚¿å…¬é–‹ã‚’開始ã—ãŸã“ã¨ã‚’発表ã—ã¾ã—ãŸã€‚ Dryad Beta Program Starting - The Windows HPC Team Blog - Site Home - TechNet Blogs Dryadã¯ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã•ã‚Œã¦ã„る大è¦æ¨¡ä¸¦åˆ—ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã®Hadoopã«å¯¾æŠ—ã™ã‚‹ã‚‚ã®ã¨ã„ã‚ã‚Œã¦ã„ã¾ã™ã€‚Hadoopã¯ã€ã„ã¾ã¾ã§é«˜ä¾¡æ ¼ãªãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãŒå¿…è¦ã¨ã•ã‚Œã¦ã„ãŸãƒ“ジãƒã‚¹ã‚¤ãƒ³ãƒ†ãƒªã‚¸ã‚§ãƒ³ã‚¹ãªã©ã®å¤§é‡ãƒ‡ãƒ¼ã‚¿åˆ†æžã‚’ã€å®‰ä¾¡ãªãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã®ã‚¯ãƒ©ã‚¹ã‚¿ã¨ã‚ªãƒ¼ãƒ—ンソースã¨ã„ã†ç ´å£Šçš„ãªä½Žä¾¡æ ¼ã¨é«˜ã„処ç†èƒ½åŠ›ã‚’ã‚‚ãŸã‚‰ã—ãŸã“ã¨ã§æ³¨ç›®ã•ã‚Œã¦ã„ã¾ã™ã€‚ Dryadã¨Hadoopã®é•ã„ã¯ï¼Ÿ 発表ã«ã‚ˆã‚‹ã¨ã€ä»Šå›žãƒ™ãƒ¼ã‚¿å…¬é–‹ã•ã‚ŒãŸã®ã¯ã€Windows HPC Server 2008 R2 S
リクルートや楽天ã€åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆHadoopã®åˆ©ç”¨ã‚’拡大
リクルートや楽天ãŒã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€ŒHadoopã€ã®åˆ©ç”¨ã‚’拡大ã—ã¦ã„る。リクルートã¯Webサーãƒãƒ¼ã®ãƒã‚°è§£æžç”¨DWH（データウエアãƒã‚¦ã‚¹ï¼‰ã¨ã—ã¦Hadoopを採用。楽天ã¯ã‚°ãƒ«ãƒ¼ãƒ—内ã®å…¨ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’対象ã¨ã—ãŸçµ±åˆãƒã‚°è§£æžåŸºç›¤ã®æ§‹ç¯‰ã‚’ã€Hadoopベースã§é€²ã‚ã¦ã„る。 NTTデータやウルシステムズãªã©ã®ã‚·ã‚¹ãƒ†ãƒ インテグレータもã€Hadoopを使ã£ãŸã‚·ã‚¹ãƒ†ãƒ 構築ã«å–り組ã¿å§‹ã‚ã¦ãŠã‚Šã€1000å°è¦æ¨¡ã®Hadoopクラスターもã™ã§ã«ç¨¼åƒã—ã¦ã„る。ã“れら事例ã¯ã€2010å¹´12月15æ—¥ã«æ±äº¬ãƒ»ç§‹è‘‰åŽŸã§é–‹å‚¬ã•ã‚ŒãŸã€Œæ—¥çµŒã‚³ãƒ³ãƒ”ュータセミナー・HadoopãŒå¤‰ãˆã‚‹ä¼æ¥æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ ã®å®Ÿåƒã€ã§ç™ºè¡¨ã•ã‚ŒãŸã€‚ DWHã®æ§‹ç¯‰ã«Hadoopã¨Hiveを採用ï¼ï¼ãƒªã‚¯ãƒ«ãƒ¼ãƒˆ リクルートã¯ã€åŒç¤¾ã®ã€Œã˜ã‚ƒã‚‰ã‚“netã€ã‚„「カーセンサー.netã€ã€Œsuumoã€ã¨ã„ã£ãŸæ§˜ã€…ãªWebサイトã®ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’一元的ã«è§£æž
アイãƒãƒƒãƒˆã€Hadoopを採用ã—ãŸä¼æ¥å‘ã‘クラウドストレージサービスをæ供開始
アイãƒãƒƒãƒˆã€Hadoopを採用ã—ãŸä¼æ¥å‘ã‘クラウドストレージサービスをæ供開始：パブリッククラウドサービス Hadoopã§æ§‹ç¯‰ã—ãŸã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚µãƒ¼ãƒ“ス「Cloudstor（VAiOS Private Cloud HDFS Storage Service）ã€ã€‚プライベートクラウドを志å‘ã™ã‚‹ä¼æ¥ã®ã•ã¾ã–ã¾ãªç”¨é€”ã«å¯¾å¿œã€‚ アイãƒãƒƒãƒˆã¯12月14æ—¥ã€åŒç¤¾ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼ã§å±•é–‹ã—ã¦ã„ã‚‹VAiOSプライベートクラウドサービス上ã«è¿½åŠ ã™ã‚‹æ–°ã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スã¨ã—ã¦ã€Hadoop分散ファイルシステムã§æ§‹ç¯‰ã—ãŸã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚µãƒ¼ãƒ“ス「Cloudstor（VAiOS Private Cloud HDFS Storage Service）ã€ã‚’開発ã—ã€æ³•äººä¼æ¥å‘ã‘ã«2011å¹´2月1æ—¥ã‹ã‚‰æ供開始ã™ã‚‹ã¨ç™ºè¡¨ã—ãŸã€‚ 「Cloudstorã€ã¯ã€VAiOSプライベートクラウドサービスã®å…±é€šã‚¢ãƒ—リケーションã¨ã—ã¦ã€ç±³å›½ã®ãƒ‘ブリックク
Cassandraã€Hadoopを用ã„ã€ã‚½ãƒ¼ã‚·ãƒ£ãƒ«æ©Ÿèƒ½ã‚‚å‚™ãˆãŸæ¥å‹™ã‚¢ãƒ—リケーション基盤ã€NTTデータイントラマートãŒé–‹ç™ºã‚’発表
Cassandraã€Hadoopを用ã„ã€ã‚½ãƒ¼ã‚·ãƒ£ãƒ«æ©Ÿèƒ½ã‚‚å‚™ãˆãŸæ¥å‹™ã‚¢ãƒ—リケーション基盤ã€NTTデータイントラマートãŒé–‹ç™ºã‚’発表 æ¥å‹™ã‚¢ãƒ—リケーションã«ã‚ˆã‚‹ã‚½ãƒ¼ã‚·ãƒ£ãƒ«æ©Ÿèƒ½ã®å–ã‚Šè¾¼ã¿ã€NoSQLã«ã‚ˆã‚‹ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルãªãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã€Hadoopã«ã‚ˆã‚‹åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã€‚ã“れらã¯ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズITã®æ–°ãŸãªãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ãƒˆãƒ¬ãƒ³ãƒ‰ã§ã™ãŒã€ã“れらをã™ã¹ã¦å–り入れãŸæ¥å‹™ã‚¢ãƒ—リケーション用ã®ãƒ—ラットフォームをã€NTTデータイントラマートãŒé–‹ç™ºä¸ã§ã‚ã‚‹ã“ã¨ã‚’明らã‹ã«ã—ã¾ã—ãŸã€‚ NTTデータイントラマートãŒå…ˆé€±10月22æ—¥ã«è¡Œã£ãŸåŒç¤¾ã®ã‚¤ãƒ™ãƒ³ãƒˆã€Œintra-mart Enterprise Web Solution 2010ã€ã§ã€åŒç¤¾ãŒé–‹ç™ºä¸ã®æ¥å‹™ã‚¢ãƒ—リケーションフレームワーク「intra-mart WebPlatform Ver8.0ã€ã®ãƒ‡ãƒ¢ãƒ³ã‚¹ãƒˆãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’公開。ãã“ã«ã¯ã€Twitterライクãªã‚¿ã‚¤ãƒ ラインã€NoS
Hadoop Worldã§Clouderaã¨ææºã—ãŸNTTデータãŒç›®æŒ‡ã™ã‚‚ã®ã€‚Hadoop World: NYC 2010
Hadoop Worldã§Clouderaã¨ææºã—ãŸNTTデータãŒç›®æŒ‡ã™ã‚‚ã®ã€‚Hadoop World: NYC 2010 先週10月12æ—¥ã«ã€ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§Hadoopã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒHadoop World: NYC 2010ã€ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚å‚åŠ è€…ã¯900åを超ãˆãŸã¨ã‚‚ã„ã‚ã‚Œã€æ—¥æœ¬ã‹ã‚‰ã‚‚30å程度ãŒå‚åŠ ã—ã¾ã—ãŸã€‚ イベントを主催ã™ã‚‹Clouderaã¯ã€Hadoopを開発ã—ãŸDoug Cuttingæ°ã‚‰ãŒæ‰€å±žã—ã¦ãŠã‚Šã€Hadoopã®å•†ç”¨åˆ©ç”¨ã«ãŠã‘るリーダー的ãªå˜åœ¨ã§ã™ã€‚ãã—ã¦ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆã§Clouderaã¯NTTデータã¨ã®ææºã‚’発表。両社ã§ã‚¢ã‚¸ã‚¢å¤ªå¹³æ´‹åœ°åŸŸã¨æ—¥æœ¬ã§ã®Hadoopビジãƒã‚¹ã‚’ç©æ¥µå±•é–‹ã™ã‚‹ã“ã¨ã‚’明らã‹ã«ã—ã¦ã„ã¾ã™ã€‚ Clouderaã¨ã®ææºã‚’å—ã‘ã€NTTデータ代表å–ç· å½¹å¸¸å‹™åŸ·è¡Œå½¹å“¡ ソリューション＆テクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ‘ニー長 CTO 山田伸一æ°ãŒHadoop Worldã§è¬›æ¼”。ã
Hadoopã¨3ã¤ã®RDBMSã®æ¯”較評価。 Hadoop World: NYC 2010
先週10月12æ—¥ã«ã€ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§Hadoopã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒHadoop World: NYC 2010ã€ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚主催ã¯Hadoopã®ãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューションベンダã§ã‚ã‚‹Cloudera。å‚åŠ è€…ã¯900åを超ãˆãŸã¨ã‚‚ã„ã‚ã‚Œã€æ—¥æœ¬ã‹ã‚‰ã‚‚30å程度ãŒå‚åŠ ã—ã¾ã—ãŸã€‚ ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆã§Clouderaã¯NTTデータã¨ã®ææºã‚’発表。両社ã§ã‚¢ã‚¸ã‚¢å¤ªå¹³æ´‹åœ°åŸŸã¨æ—¥æœ¬ã§ã®Hadoopビジãƒã‚¹ã‚’ç©æ¥µå±•é–‹ã™ã‚‹ã“ã¨ã‚’明らã‹ã«ã—ã¦ã„ã¾ã™ã€‚NTTデータã«ã‚ˆã‚‹è¬›æ¼”ã®ãªã‹ã§ãƒªã‚¯ãƒ«ãƒ¼ãƒˆã®ç±³è°·ä¿®æ°ãŒè¡Œã£ãŸHadoopã«é–¢ã™ã‚‹æ¯”較評価を紹介ã—ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯Hadoop Worldã§Clouderaã¨ææºã—ãŸNTTデータãŒç›®æŒ‡ã™ã‚‚ã®ã€‚Hadoop World: NYC 2010ã€ã®ç¶šãã§ã™ã€‚ 3種類ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨Hadoopを比較 リクルート MIT United システム基盤室エグゼクティブマãƒãƒ¼ã‚¸ãƒ£ãƒ¼ 米谷修æ°ã€‚
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
Hadoopã¨MongoDBを活用ã—ãŸã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã‚¢ãƒ—リã®ãƒã‚°è§£æž
This document describes code for a data sucka tool that retrieves crisis data from multiple sources including Ushahidi, ReliefWeb, and GDELT, transforms it into a common format, and returns the data. The code defines classes for each data source that implement functions for retrieving data from the source's API, transforming it to match a CrisisNET schema, and returning the data. It retrieves data
ãã®åˆ†æžã€Hadoopãªã‚‰é€Ÿã安ãã§ãã¾ã™
ビジãƒã‚¹ãƒ‡ãƒ¼ã‚¿ã‚’分æžã™ã‚‹ãƒ“ジãƒã‚¹ã‚¤ãƒ³ãƒ†ãƒªã‚¸ã‚§ãƒ³ã‚¹ï¼ˆBI）分野ã®æ–°ãŸãªãƒ—ラットフォームã¨ã—ã¦æ³¨ç›®ã•ã‚Œã¦ã„ã‚‹Hadoop。Hadoopã§ã¯ã€ã©ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªã®ã§ã—ょã†ã‹ï¼Ÿ ç¾åœ¨ã€Hadoopビジãƒã‚¹ã®ç‰½å¼•å½¹ã§ã‚ã‚‹Clouderaã®Jeff Hammerbracheræ°ãŒã€Hadoopã§ãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªãƒ“ジãƒã‚¹ä¸Šã®èª²é¡Œã‚’示ã—ãŸã€Œ10 Common Hadoop-able problemsã€ï¼ˆHadoop化å¯èƒ½ãª10ã®ä¸€èˆ¬çš„課題）ã¨é¡Œã—ãŸãƒ—レゼンテーションを公開ã—ã¦ã„ã¾ã™ã€‚ Hadoopã«ã¨ã£ã¦å¾—æ„ãªå‡¦ç†ã¨ã¯ã€è¤‡é›‘ã§è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‹ã‚‰ãªã‚‹å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã§ã‚ã‚Šã€ãれをãƒãƒƒãƒå‡¦ç†ã®ä¸¦åˆ—実行ã«ã‚ˆã£ã¦å®Ÿç¾ã™ã‚‹ã“ã¨ã§ã™ã€‚ 従æ¥ã¯ã€ãƒ‡ãƒ¼ã‚¿ãŒã‚ã¾ã‚Šã«è¤‡é›‘ã ã£ãŸã‚Šè†¨å¤§ã ã£ãŸã‚ã«ã€è¨ˆç®—時間やコストãªã©ã®ç†ç”±ã§å®Ÿç¾ãŒé›£ã—ã‹ã£ãŸå‡¦ç†ã§ã‚‚ã€Hadoopã«ã‚ˆã‚‹ä½Žã‚³ã‚¹ãƒˆåŒ–ã€è¨ˆç®—時間ã®çŸç¸®ã€é«˜ã„柔軟性ãªã©
独自ã®åŒæœŸåž‹æŽ¡ç”¨ï¼åˆ†æ•£ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã€ŒCloudStation dSSã€
5月27æ—¥ã€ã·ã‚‰ã£ã¨ãƒ›ãƒ¼ãƒ ã¯å®¹é‡ã¨æ€§èƒ½ã‚’åŒæ™‚ã«æ‹¡å¼µã§ãるスケールアウト型ストレージ「CloudStation dSSã€ã®è²©å£²ã‚’開始ã—ãŸã€‚3Uラックマウントç体ã«æœ€å¤§28TB（RAID6時）ã®å®¹é‡ã‚’æ載å¯èƒ½ãªãƒŽãƒ¼ãƒ‰ã‚’クラスタ化ã™ã‚‹ã“ã¨ã§ã€æœ€å¤§1PB（36ノード）ã¾ã§å®¹é‡ã‚’æ‹¡å¼µã§ãる。ã¾ãŸã€è¤‡æ•°ã®ãƒŽãƒ¼ãƒ‰ã«åˆ†æ•£ã—ã¦èªã¿æ›¸ãã™ã‚‹ãŸã‚ã€ãƒãƒ¼ãƒ‰ãƒ‡ã‚£ã‚¹ã‚¯ã‚„ノード自体ã®æ•…éšœã«ã¤ã„ã¦ã‚‚è€éšœå®³æ€§ã‚’æŒã¤ã€‚å„ノード間ã®æŽ¥ç¶šã¯1Gbpsã®Ethernetを用ã„ã€10GbEã®ã‚¹ã‚¤ãƒƒãƒã¨ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ã‚’オプションã§æä¾›ã™ã‚‹ã¨ã„ã†ã€‚ ファイル管ç†ã¯ã€ãƒ•ã‚¡ã‚¤ãƒ«åã¨ãƒ‘スåã§ã¯ãªãã€ä»»æ„ã®æ–‡å—列をã‚ーã¨ã—ã¦åˆ©ç”¨ã™ã‚‹ã€Œã‚ーãƒãƒªãƒ¥ãƒ¼æ–¹å¼ã€ã‚’採用。C言語ã®APIã€FTPライクãªã‚³ãƒžãƒ³ãƒ‰ã€ãã—ã¦ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‹ã‚‰å·¨å¤§ãªHDDã¨ã—ã¦åˆ©ç”¨ã§ãã‚‹fuseクライアントã«ã‚ˆã‚‹3ã¤ã®ã‚¢ã‚¯ã‚»ã‚¹æ–¹æ³•ãŒé¸æŠžã§ãる。 最大ã®ç‰¹å¾´ã¯ã€dSS（distrib
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
8月ã«å…¥ç¤¾ã—ãŸä½ã€…木ã§ã™ã€‚ã“ã‚“ã«ã¡ã‚ï¼ å…¥ç¤¾ã—ã¦ã‹ã‚‰ã¯Hadoopを使ã†ã“ã¨ãŒå¤šãã€æ—¥ã€…ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¨æ ¼é—˜ã—ã¦ã„ã¾ã™ã€‚大変ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å€‹äººã§ã¯ãªã‹ãªã‹è§¦ã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„よã†ãªå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’触れるã®ã¯æ¥½ã—ã„ã§ã™ã€‚ ã•ã¦ã€Hadoopã¯æœ€è¿‘色々ãªã¨ã“ã‚ã§ä½¿ã‚れ始ã‚ã¦ãã¦ã„ã‚‹ã¨æ€ã†ã‚“ã§ã™ãŒã€å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„tipsãªã©ã€å®Ÿè·µçš„ãªæƒ…å ±ã¯ã¾ã ã‚ã¾ã‚Šå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。ãã®è¾ºã®æƒ…å ±ã‚’ã¿ã‚“ãªæ±‚ã‚ã¦ã„ã‚‹ã¯ãšâ€¦ï¼ï¼ ãã“ã§ã€åƒ•ãŒå®Ÿéš›ã«è§¦ã£ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„Hadoopを使ã†ä¸Šã§ãƒã‚¤ãƒ³ãƒˆã ã¨æ€ã£ãŸã“ã¨ãªã©ã‚’社内勉強会ã§ç™ºè¡¨ã—ãŸã®ã§å…¬é–‹ã—ã¦ã¿ã¾ã™ã€‚Hadoopを使ã£ã¦ã„る（使ã„ãŸã„ã¨æ€ã£ã¦ã„る）方ã®å‚考ã«ãªã‚Œã°å¹¸ã„ã§ã™ã€‚ [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopã®åˆ©ç”¨ã¯ã¾ã ã¾ã 試行錯誤ã®é€£ç¶š
- HACKED -
Security in Hadoop by Jason Schlesinger Data is growing at an increasing rate, and processing and storing that data is a real issue that present and future generations will have to deal with. Hadoop, Apache's open source implementation of Google's MapReduce, can scale both storage space and processing power almost indefinitely across a large dataset. This is achieved by how Hadoop distributes data
ã¸ã€œãŸã®ã‚ã‚‚:Hadoop 㨠RDBMS ã®æ€§èƒ½ã‚’比較ã—ã¦ã¿ãŸã€‚ã¨ã„ã†è«–文。ã®æ„Ÿæƒ³ã€‚ã®ç¿»è¨³ã€‚ - livedoor Blog（ブãƒã‚°ï¼‰
2009å¹´04月19æ—¥ Hadoop 㨠RDBMS ã®æ€§èƒ½ã‚’比較ã—ã¦ã¿ãŸã€‚ã¨ã„ã†è«–文。ã®æ„Ÿæƒ³ã€‚ã®ç¿»è¨³ã€‚ Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)㨠Parallel DBMS (Vertica 㨠DBMS-X) ã®æ€§èƒ½ã‚’比較ã—ãŸã¨ã“ã‚ã€ãŠãŠã‚€ã DB ã®æ–¹ãŒæ€§èƒ½ãŒã‚ˆãã€ã‚±ãƒ¼ã‚¹ã«ã‚ˆã£ã¦ã¯ 6.5å€ã‚‚性能差ãŒã‚ã‚‹ã¨ã„ã†å®Ÿé¨“çµæžœãŒã€SIGMOD09 ã§ç™ºè¡¨ã•ã‚ŒãŸã‚‰ã—ã„。原論文ã¯ã“ã“ã‹ã‚‰ PDF ã§ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã§ãる。 以下㯠DBMS2 ã¨ã„ã†ãƒ–ãƒã‚°ã«æ›¸ã‹ã‚ŒãŸã€ã“ã®è«–文をèªã‚“ã 人ã®æ„Ÿæƒ³ã®ç¿»è¨³ã€‚ Stonebraker, DeWitt, et al. MapReduce 㨠DBMS ã®æ¯”較 5人ã®å…±è‘—者(主ç†è€…㯠Andy Pavlo ã£ã½ã„)ã¨ã¨ã‚‚ã«ã€Map-Reduce å«Œã„ã§çŸ¥ã‚‰ã‚Œ
ランã‚ング
ランã‚ング
ãŠçŸ¥ã‚‰ã›
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
ã€ã‚¤ãƒ³ã‚¿ãƒ“ュー】ヤフーãŒæ—¥ã€…è“„ç©ã™ã‚‹ãƒ“ッグデータã®å¡Šã€3500å°ã®Hadoopã§å‡¦ç†ã—地é“ã«æ´»ç”¨ã€€
Amazon Elastic MapReduceã®ä½¿ã„方─Hadoopより手軽ã«ã¯ã˜ã‚る大è¦æ¨¡è¨ˆç®— 記事一覧 | gihyo.jp
IBM Developer
{{#tags}}- {{label}}
{{/tags}}