分散並列環境ã«ãŠã‘る機械å¦ç¿’ - Preferred Networks Research & Development
ã‚‚ã†ã™ã春ã§ã™ã。花粉ã•ãˆé£›ã°ãªã‘ã‚Œã°æœ€é«˜ãªã®ã«ã€‚岡野原ã§ã™ã€‚ 先日ã€Hadoop Conference Japan 2011ã§ã€â€MapReduceã«ã‚ˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’利用ã—ãŸæ©Ÿæ¢°å¦ç¿’â€ã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã—ã¾ã—ãŸã€‚ 発表内容ã¯ä¸‰éƒ¨æ§‹æˆã«ãªã£ã¦ã„ã¾ã™ã€‚ 最åˆã«ã€æ©Ÿæ¢°å¦ç¿’ã®åŸºæœ¬ã¨ã€ãã‚ŒãŒMapReduceã¨ã©ã®ã‚ˆã†ãªé–¢ä¿‚ã«ã‚ã‚‹ã‹ã‚’紹介ã—ã¾ã—ãŸã€‚ãã®ä¸ã§Hadoop上ã§å‹•ã機械å¦ç¿’ライブラリMahoutã®ç°¡å˜ãªç´¹ä»‹ã‚’ã—ã¾ã—ãŸã€‚ 次ã«ã€æ©Ÿæ¢°å¦ç¿’ã®æœ€å‰ç·šã§ã¯ã©ã®ã‚ˆã†ãªå•é¡ŒãŒè§£ã‹ã‚Œã¦ã„ã‚‹ã‹ã‚’紹介ã—ã€ã‚°ãƒ©ãƒ•ã‚£ã‚«ãƒ«ãƒ¢ãƒ‡ãƒ«ã®ä¾‹ã€ä¸€èˆ¬ã®æœ€é©åŒ–（教師付ãå¦ç¿’ã«ãŠã‘るパラメータå¦ç¿’）ã®åˆ†æ•£ä¸¦åˆ—化ã«ã¤ã„ã¦ã®è©±é¡Œã‚’ã—ã¾ã—ãŸã€‚ 最後ã«ã€MapReduceã®è£œå®Œã¨ã—ã¦ä½¿ãˆã‚‹ã‚ˆã†ãªã‚·ã‚¹ãƒ†ãƒ ã®ä¾‹ã¨ã—ã¦dremelを紹介ã—ã¾ã—ãŸã€‚ã“ã®ã‚·ã‚¹ãƒ†ãƒ ã¯MapReduceãŒãƒãƒƒãƒåž‹å‡¦ç†ã§ã€å…¨ãƒ‡ãƒ¼ã‚¿ãŒå‡¦ç†å¯¾è±¡ã®å ´åˆãŒå¾—æ„ãªã®ã«å¯¾ã—ã€ä¸€
ウルシステムズã€åŸºå¹¹ãƒãƒƒãƒç”¨HadoopフレームワークをOSS化
ウルシステムズã¯2011å¹´2月9æ—¥ã€ã‚ªãƒ¼ãƒ—ンソースソフトウエア（OSS）ã®åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€ŒHadoopã€ã‚’使ã£ã¦åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’開発ã§ãるソフトウエアフレームワーク「Asakusa Frameworkã€ã‚’ã€OSSã¨ã—ã¦å…¬é–‹ã™ã‚‹ã¨ç™ºè¡¨ã—ãŸã€‚プãƒã‚°ãƒ©ãƒžãƒ¼ã¯Hadoop独特ã®åˆ†æ•£å‡¦ç†ã®ä»•çµ„ã¿ã‚’ç†è§£ã—ãªãã¦ã‚‚ã€åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’開発ã§ãる。ソースコードã¯3月ã«å…¬é–‹ã™ã‚‹äºˆå®šã€‚ Hadoopã¯ã€ç±³ã‚°ãƒ¼ã‚°ãƒ«ã®ä¸¦åˆ—プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãƒ¢ãƒ‡ãƒ«ã€ŒMapReduceã€ã¨åˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ 「Google File Systemã€ã‚’模ã—ãŸåˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€‚I/O処ç†ã‚’複数å°ã®ã‚µãƒ¼ãƒãƒ¼ã§åˆ†æ•£å‡¦ç†ã™ã‚‹ã“ã¨ã§ã€ãƒãƒƒãƒå‡¦ç†ã®é€Ÿåº¦ã‚’大幅ã«é«˜é€ŸåŒ–ã§ãる。 Hadoopã®ãƒ—ãƒã‚°ãƒ©ãƒ ã¯ã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã®Javaを使ã„ã€ã€ŒMap処ç†ã€ã¨ã€ŒReduce処ç†ã€ã¨ã„ã†MapReduce独特ã®æ©Ÿæ§‹ã‚’組ã¿åˆã‚ã›ã¦é–‹ç™ºã™ã‚‹å¿…è¦ãŒã‚る。ã
リクルートや楽天ã€åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆHadoopã®åˆ©ç”¨ã‚’拡大
リクルートや楽天ãŒã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ãƒãƒƒãƒå‡¦ç†ã‚½ãƒ•ãƒˆã€ŒHadoopã€ã®åˆ©ç”¨ã‚’拡大ã—ã¦ã„る。リクルートã¯Webサーãƒãƒ¼ã®ãƒã‚°è§£æžç”¨DWH（データウエアãƒã‚¦ã‚¹ï¼‰ã¨ã—ã¦Hadoopを採用。楽天ã¯ã‚°ãƒ«ãƒ¼ãƒ—内ã®å…¨ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’対象ã¨ã—ãŸçµ±åˆãƒã‚°è§£æžåŸºç›¤ã®æ§‹ç¯‰ã‚’ã€Hadoopベースã§é€²ã‚ã¦ã„る。 NTTデータやウルシステムズãªã©ã®ã‚·ã‚¹ãƒ†ãƒ インテグレータもã€Hadoopを使ã£ãŸã‚·ã‚¹ãƒ†ãƒ 構築ã«å–り組ã¿å§‹ã‚ã¦ãŠã‚Šã€1000å°è¦æ¨¡ã®Hadoopクラスターもã™ã§ã«ç¨¼åƒã—ã¦ã„る。ã“れら事例ã¯ã€2010å¹´12月15æ—¥ã«æ±äº¬ãƒ»ç§‹è‘‰åŽŸã§é–‹å‚¬ã•ã‚ŒãŸã€Œæ—¥çµŒã‚³ãƒ³ãƒ”ュータセミナー・HadoopãŒå¤‰ãˆã‚‹ä¼æ¥æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ ã®å®Ÿåƒã€ã§ç™ºè¡¨ã•ã‚ŒãŸã€‚ DWHã®æ§‹ç¯‰ã«Hadoopã¨Hiveを採用ï¼ï¼ãƒªã‚¯ãƒ«ãƒ¼ãƒˆ リクルートã¯ã€åŒç¤¾ã®ã€Œã˜ã‚ƒã‚‰ã‚“netã€ã‚„「カーセンサー.netã€ã€Œsuumoã€ã¨ã„ã£ãŸæ§˜ã€…ãªWebサイトã®ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’一元的ã«è§£æž
Hadoopリンクã¾ã¨ã‚(1) - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
Part1 / Part2 æ›´æ–°å±¥æ´ 2010/06/20 ãƒªãƒ³ã‚¯è¿½åŠ å…¥é–€ã€äº‹ä¾‹ç´¹ä»‹ã€ãƒ‹ãƒ¥ãƒ¼ã‚¹ Part2ã¸ç§»å‹• EC2ã€Pigã€MapReduceã€HDFS æ–°è¦è¿½åŠ 性能測定 å…¬å¼ Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大è¦æ¨¡ãªè¨ˆç®—ノード・クラスタ上ã«ãŠã„ã¦è†¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚’高速ã§ä¸¦åˆ—処ç†ã™ã‚‹ã‚¢ãƒ—リケーションを作æˆã™ã‚‹ãŸã‚ã®ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãƒ¢ãƒ‡ãƒ«ãŠã‚ˆã³ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãƒ•ãƒ¬ãƒ¼ãƒ ワーク" Welcome to Pig! "大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’分æžã™ã‚‹ãŸã‚ã®ãƒ—ラットフォーム""Pig ã®è¨€èªžãƒ¬ã‚¤ãƒ¤ã‚’構æˆã—ã¦ã„ã‚‹ã®ã¯ã€Pig Latin ã¨å‘¼ã°ã‚Œã‚‹ãƒ†ã‚ストベースã®è¨€èªž" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
勉強会発表「プãƒã‚°ãƒ©ãƒžã®ãŸã‚ã®Hadoop入門〠- 科å¦ã¨éžç§‘å¦ã®è¿·å®®
id:kaigai ã®ä¸»å‚¬ã™ã‚‹å‹‰å¼·ä¼šã§ç™ºè¡¨ã—ã¦ãã¾ã—ãŸã€‚ Hadoop for programmerView more presentations from shiumachi. ç”ãˆã‚‰ã‚Œãªã‹ã£ãŸè³ªå• Shuffleフェーズã£ã¦ã€ã‚½ãƒ¼ãƒˆã‚’ã©ã†ã„ã†ä»•çµ„ã¿ã§ã‚„ã£ã¦ã‚‹ã®ï¼Ÿã€€ãƒ‡ãƒ¼ã‚¿å…¨éƒ¨ã‚’ãªã‚ã¦ã‚‹ã®ï¼Ÿ Partitionerã¨ã„ã†ã‚¯ãƒ©ã‚¹ã§ãƒ‡ãƒ¼ã‚¿ã‚’振り分ã‘ã¦ã‚‹ã€‚タスクã”ã¨ã¯ç‹¬ç«‹ã—ã¦ã‚‹ã®ã§ãƒ‡ãƒ¼ã‚¿ã‚’ã¾ãŸãŒã£ã¦ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ã“ã¨ã¯ãªã„ã¨æ€ã†ã€‚ã§ã‚‚ç´°ã‹ã„ã“ã¨ã¯ã¡ã‚‡ã£ã¨ã‚ã‹ã‚‰ãªã„。 Mapä¸ã«ãƒ‡ãƒ¼ã‚¿è¿½åŠ ã—ãŸã‚‰ã©ã†ãªã‚‹ã®ã‹ï¼Ÿ ã•ã™ãŒã«æ‰±ã†ãƒ‡ãƒ¼ã‚¿ã¯æœ€åˆã«æ±ºã‚ã¦ã„ã‚‹ã¨æ€ã†ãŒã€ã‚„ã£ãŸã“ã¨ãªã„ã®ã§ã‚ã‹ã‚‰ãªã„。 Streamingã£ã¦å…·ä½“çš„ã«ã©ã‚“ãªå‡¦ç†ã—ã¦ã‚‹ã®ï¼Ÿ jarファイルã¯æŠ•ã’ã¦ã‚‹ã‘ã©ã€å®Ÿè¡Œæ™‚ã«ä½¿ã†ã‚¹ã‚¯ãƒªãƒ—トã¯ã©ã†ã‚„ã£ã¦æŠ•ã’ã¦ã‚‹ã®ã‹ã‚ã‹ã‚‰ãªã„。 ã‚ã¨ã§èª¿ã¹ã¨ãã¾ã™ã€‚ 今ã®ä¸–ã®ä¸ã«å‡ºã¦ã‚‹Hadoop本ã£ã¦æ§‹ç¯‰ã¨ã‹é‹ç”¨ã®è©±
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
Hadoopã®è§£æžè³‡æ–™
オープンソース分散システム「Hadoopã€ã«é–¢ã™ã‚‹è§£æžè³‡æ–™ã‚’公開ã•ã›ã¦é ‚ã„ã¦ãŠã‚Šã¾ã™ã€‚ã“ã®èª¿æŸ»ã¯NTTãƒ¬ã‚¾ãƒŠãƒ³ãƒˆæ ªå¼ä¼šç¤¾æ§˜ã¨å…±åŒã§è¡Œã„ã¾ã—ãŸ(プレスリリース)。 Hadoop解æžè³‡æ–™(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopã®å®Ÿéš›ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³•ãªã©ã«ã¤ãã¾ã—ã¦ã¯ã€å¼Šç¤¾å¤ªç”°ã«ã‚ˆã‚‹ä»¥ä¸‹ã®è¨˜äº‹ã‚‚ã”å‚考下ã•ã„。 Hadoopã€hBaseã§æ§‹ç¯‰ã™ã‚‹å¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚·ã‚¹ãƒ†ãƒ Hadoopã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¨ã‚µãƒ³ãƒ—ルプãƒã‚°ãƒ©ãƒ ã®å®Ÿè¡Œ 複数マシンã¸Hadoopをインストールã™ã‚‹
Hadoopを用ã„ãŸã‚¯ãƒ©ã‚¹ã‚¿ã‚³ãƒ³ãƒ”ューティング環境ã®æ§‹ç¯‰ - SourceForge.JP Magazine : オープンソースã®è©±é¡Œæº€è¼‰
ペタãƒã‚¤ãƒˆè¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚’æ ¼ç´ã•ã›ã‚‹åˆ†æ•£ã‚³ãƒ³ãƒ”ューティング用プラットフォームを探ã—ã¦ã„ã‚‹ã®ã§ã‚ã‚Œã°ã€ãã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—㦠Hadoop ã®ä½¿ç”¨ã‚’検討ã™ã¹ãã ã‚ã†ã€‚Hadoopã¯Javaベースã§ä½œæˆã•ã‚Œã¦ã„ã‚‹ãŸã‚ã€Linuxã€Windowsã€Solarisã€BSDã€Mac OS Xã«ã¦ä½¿ç”¨ã§ãる。ã“ã†ã—ãŸHadoopを実際ã«æŽ¡ç”¨ã—ã¦ã„る組織ã«å…±é€šã™ã‚‹ã®ã¯ã€å®‰ä¾¡ï¼ˆç‰¹æ®Šãªãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒä¸è¦ï¼‰ã‹ã¤åŠ¹çŽ‡çš„ã§ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã¨ä¿¡é ¼æ€§ã‚’å…¼ãå‚™ãˆãŸãƒ—ラットフォームã«ã‚ˆã‚‹ã€è†¨å¤§ãªé‡ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’å¿…è¦ã¨ã—ã¦ã„ã‚‹ã¨ã„ã†ç‚¹ã 。 Hadoopã§ã¯ã€ã“ã†ã—ãŸè†¨å¤§ãªé‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’æ ¼ç´ã™ã‚‹ãŸã‚ã«ã€Hadoop Distributed File System（HDFS）を採用ã—ã¦ã„る。実際ã€HDFSã®ãƒžã‚¹ã‚¿/スレーブアーã‚テクãƒãƒ£ã¯ã€Hadoopã®ã‚¯ãƒ©ã‚¹ã‚¿æ©Ÿèƒ½ã®ä¸æ ¸ã‚’æˆã—ã¦ã„る。ã“ã“ã§ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ã„ã‚‹ã®ã¯ã€ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
大é‡ã®Macã‹ã‚‰1å°ã®ã‚¹ãƒ‘コンをã¤ãる「プãƒã‚¸ã‚§ã‚¯ãƒˆãƒ»ãƒ ーンã€
{{#tags}}- {{label}}
{{/tags}}