大è¦æ¨¡ã‚µã‚¤ãƒˆã‚’支ãˆã‚‹ãƒ“ッグデータプラットフォーム技術
2. 自己紹介 Privileged and Confidential 2 é 峯 康夫(ã¨ãŠã¿ã ã‚„ã™ãŠ) 事æ¥æˆ¦ç•¥çµ±æ‹¬æœ¬éƒ¨ データソリューション本部 データインフラ開発部 2010å¹´ æ–°å’入社 Hadoopクラスタ立ã¡ä¸Šã’ã®éƒ¨ç½²ã«é…属 2012å¹´ データソリューションé…属 Hadoopã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†åŸºç›¤ãªã©ã‚’担当
「カジュアルã€ãªè¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼ä¸Šã§ã®ãƒ‡ãƒ¼ã‚¿è§£æžå‡¦ç† « NAVER Engineers' Blog
今年ã¯ã•ã ã¾ã•ã—ã•ã‚“ã®ãƒ‡ãƒ“ュー40周年ã¨ã„ã†ã“ã¨ã§ã€è¨˜å¿µã‚³ãƒ³ã‚µãƒ¼ãƒˆã€Œã•ã ã¾ã¤ã‚Šã€ã‚‚絶賛開催ä¸ã®æŠ˜ã‚‚折ã€æ®‹æš‘も厳ã—ã„ä¸çš†æ§˜ã„ã‹ãŒãŠéŽã”ã—ã§ã—ょã†ã‹ã€‚大平ã§ã™ã€‚ ã•ã ã¾ã•ã—æ°ã¯çµŒé¨“ã®è±Šå¯Œãªæ–¹ã§ã™ã®ã§å½¼ã®æŒã‚„発言ã‹ã‚‰å¦ã¶ã“ã¨ã¯å¤§å¤‰å¤šã„ã®ã§ã™ãŒã€å€‹äººçš„ã«éžå¸¸ã«æ„ŸéŠ˜ã‚’å—ã‘ã¦ã„ã‚‹ã®ã¯ã€ŒæŒã¯ã‚³ãƒ³ã‚µãƒ¼ãƒˆã§æˆé•·ã™ã‚‹ã€ã¨ã„ã†è¨€è‘‰ã§ã™ã€‚æŒã„手ã¨ã—ã¦ã€ã€ŒæŒã€ã¨ã„ã†ä½œå“を作ã£ã¦å…¬é–‹ãƒ»è²©å£²ã™ã‚‹ã ã‘ãŒä»•äº‹ã§ã¯ãªãã€å®Ÿéš›ã«ã‚³ãƒ³ã‚µãƒ¼ãƒˆãªã©ã§ãŠå®¢ã•ã‚“ã«å±Šã‘ã€ãŠå®¢ã•ã‚“ã®å応をå‚考ã«ã—ãŸã‚Šæ—¥ã€…ã®æ¼”å¥æ´»å‹•ã®ä¸ã§è©¦è¡ŒéŒ¯èª¤ã‚’ç¹°ã‚Šè¿”ã—ã¦ã€å†…容をブラッシュアップã—æ´—ç·´ã•ã›ã¦ã„ãéŽç¨‹ã‚’指ã—ã¦å…ˆã®è¨€è‘‰ãŒã‚ã‚‹ã®ã ã¨æ€ã„ã¾ã™ã€‚実際ã«ã•ã ã¾ã•ã—æ°ã®æ›²ã¯CDã«åŽéŒ²ã•ã‚Œã¦ã„ã‚‹ã‚‚ã®ã¨å®Ÿéš›ã«ãƒ©ã‚¤ãƒ–ã§æ¼”å¥ã•ã‚Œã‚‹ã‚‚ã®ã¨ã§ã‚¢ãƒ¬ãƒ³ã‚¸ãŒå¤§ããç•°ãªã‚Šã€ã‹ã¤ä½œå“ã¨ã—ã¦ã‚‚質ãŒå‘上ã—ã¦ã„ã‚‹ã‚‚ã®ãŒå°‘ãªã‹ã‚‰ãšå˜åœ¨ã—ã¾ã™ã€‚ …ã‚ã¾ã‚Šã•ã ã¾ã•ã—ã®è©±ã‚’続ã‘ã‚‹ã¨æœ¬å½“ã«ä¸Šé•·ã«å±ã‚‰ã‚Œã¾ã™ã®
日々進化ã™ã‚‹Hadoop。ã“ã‚Œã¾ã§ã®ãŠã•ã‚‰ã„ã¨æœ€è¿‘ã®å‹•å‘（後編）
Hadoopã¨ã¯ã©ã†ã„ã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã‚ã‚Šã€ã„ã¾ã©ã®ã‚ˆã†ãªçŠ¶æ³ã«ãªã£ã¦ã„ã‚‹ã®ã‹ã€‚NTTデータã®æ¿±é‡Žè³¢ä¸€æœ—æ°ãŒã€å…ˆæ—¥è¡Œã‚ã‚ŒãŸç¬¬2回 NHNテクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã§è¡Œã‚ã‚ŒãŸã‚»ãƒƒã‚·ãƒ§ãƒ³ã€Œæ—¥ã€…進化ã™ã‚‹Hadoopã®ã€Žã„ã¾ã€ã€ã§åˆ†ã‹ã‚Šã‚„ã™ã解説ã—ã¦ã„ã¾ã™ã€‚ （本記事ã¯ã€Œæ—¥ã€…進化ã™ã‚‹Hadoop。ã“ã‚Œã¾ã§ã®ãŠã•ã‚‰ã„ã¨æœ€è¿‘ã®å‹•å‘（å‰ç·¨ï¼‰ã€ã®ç¶šãã§ã™ï¼‰ Hadoopã®1.0ç³»ã¨2.0ç³» Hadoopã®é–‹ç™ºã¯ã‹ãªã‚Šæ´»ç™ºã«é€²ã‚“ã§ã„ã¾ã™ã€‚ Hadoopã§ã„ã¡ã°ã‚“分ã‹ã‚‰ãªã„ã¨ã„ã‚れるã®ãŒãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã€ã“ã‚Œã¯ä»¥å‰ã‹ã‚‰Hadoopã«æŽ¥ã—ã¦ã„ã‚‹ç§ãŸã¡ã§ã‚‚よã分ã‹ã‚‰ãªã„ãらã„ã§ã™ã€‚ Hadoopã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã«ã¯å¤§ãã二系統ã‚ã£ã¦ã€å°‘ã—å‰ã¾ã§0.20ç³»ã¨å‘¼ã°ã‚Œã¦ã„ãŸã‚‚ã®ã§ã€ã“ã‚ŒãŒç¾è¡Œã¯1.0ç³»ã¨å‘¼ã°ã‚Œã¦ã„ã¾ã™ã€‚ã‚‚ã†ã²ã¨ã¤ãŒ0.21ã€0.22ã€0.23ç³»ã¨å‘¼ã°ã‚Œã¦ã„ãŸã‚‚ã®ã€ã“ã‚ŒãŒã„ã¾2.0ç³»ã¨å‘¼ã°ã‚Œã¦ã„ã¾ã™ã€‚ 対外的ã«ã¯
日々進化ã™ã‚‹Hadoop。ã“ã‚Œã¾ã§ã®ãŠã•ã‚‰ã„ã¨æœ€è¿‘ã®å‹•å‘（å‰ç·¨ï¼‰
大è¦æ¨¡ãªåˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦HadoopãŒç™»å ´ã—ãŸã“ã¨ã«ã‚ˆã‚Šã€ãƒ“ッグデータã®ãƒ–ームやã€å¤§è¦æ¨¡ãªã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã‚²ãƒ¼ãƒ ã§ã®ãƒã‚°è§£æžã«ã‚ˆã‚‹æ”¹å–„ã€ã‚³ãƒžãƒ¼ã‚¹ã‚µã‚¤ãƒˆã§ã®æ©Ÿæ¢°å¦ç¿’ã«ã‚ˆã‚‹ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³ãªã©ã€å¤šãã®å¤‰åŒ–ãŒå¼•ãèµ·ã“ã•ã‚Œã¦ãã¾ã—ãŸã€‚ ãã—ã¦ãã®Hadoop自体もã€æ—¥ã€…進化ã—続ã‘ã¦ã„ã¾ã™ã€‚ Hadoopã¨ã¯ã©ã†ã„ã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã‚ã‚Šã€ã„ã¾ã©ã®ã‚ˆã†ãªçŠ¶æ³ã«ãªã£ã¦ã„ã‚‹ã®ã‹ã€‚NTTデータã®æ¿±é‡Žè³¢ä¸€æœ—æ°ãŒã€å…ˆæ—¥è¡Œã‚ã‚ŒãŸç¬¬2回 NHNテクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã§è¡Œã£ãŸã‚»ãƒƒã‚·ãƒ§ãƒ³ã€Œæ—¥ã€…進化ã™ã‚‹Hadoopã®ã€Žã„ã¾ã€ã€ã§åˆ†ã‹ã‚Šã‚„ã™ã解説ã—ã¦ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯ãã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã®å†…容をダイジェストã§ç´¹ä»‹ã—ã¾ã—ょã†ã€‚ 日々進化ã™ã‚‹Hadoopã®ã€Œã„ã¾ã€ NTTデータ 基盤システム事æ¥éƒ¨ 濱野賢一朗æ°ã€‚ NTTデータã¨ã„ã†ã¨ã“ã‚ã§ä»•äº‹ã‚’ã—ã¦ã„ã¾ã™ã€‚NTTデータ自体ã¯ã‚‚ã†5å¹´ãらã„Hadoopã‚’ã‚„ã£ã¦ã¾ã—ã¦ã€ã
日々進化ã™ã‚‹Hadoop㮠「ã„ã¾ã€
1. 第2回 NHNテクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ （2012å¹´8月18日） 日々進化ã™ã‚‹Hadoop㮠「ã„ã¾ã€ æ ªå¼ä¼šç¤¾NTTデータ ï¼ æ—¥æœ¬Hadoopユーザー会 濱野 賢一朗 Copyright © 2012 NTT DATA Corporation 2. 自己紹介 ï® æ¿±é‡Ž 賢一朗 （ã¯ã¾ã® ã‘ã‚“ã„ã¡ã‚ã†ï¼‰ @hamaken ï¬ æ ªå¼ä¼šç¤¾NTTデータ 基盤システム事æ¥æœ¬éƒ¨ シニアエã‚スパート • 『BizXaaS Hadoop構築・é‹ç”¨ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã€ 『CDH Hadoopサãƒãƒ¼ãƒˆã‚µãƒ¼ãƒ“ス〠ã®ä¸ã®äºº ï¬ æ—¥æœ¬Hadoopユーザー会 ï¬ ç¿”æ³³ç¤¾ 『Hadoop徹底入門〠監修者 ï¬ è©±é¡Œã«ãªã£ãŸçµŒç”£çœã®Hadoopå ±å‘Šæ›¸ã®PM • 経済産æ¥çœ 『分散制御処ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ã€ • http://www.meti.go.jp/policy/mono
ã„ã¾ã•ã‚‰èžã‘ãªã„Hadoopã¨ãƒ†ã‚ストマイニング入門
ビッグデータ時代ã®æ•‘世主「Hadoopã€ã¨ã¯ 「Apache Hadoopã€ã¯ä»Šã€æœ€ã‚‚注目を集ã‚ã¦ã„る技術ã®1ã¤ã§ã™ã€‚Hadoopã¨ã¯ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’手軽ã«è¤‡æ•°ã®ãƒžã‚·ãƒ³ã«åˆ†æ•£ã—ã¦å‡¦ç†ã§ãるオープンソースã®ãƒ—ラットフォームã§ã™ã€‚ Hadoopを活用ã—ã¦ã„ã‚‹ä¼æ¥ã¯å¹´ã€…増ãˆç¶šã‘ã¦ã„ã¦ã€ä¸å¯æ¬ ãªæŠ€è¡“ã«ãªã‚Šã¤ã¤ã‚ã‚‹ã¨ã„ãˆã‚‹ã§ã—ょã†ã€‚ 本連載ã§ã¯ã€Hadoopã¨ã¯ä½•ã‹ã€HadoopãŒã©ã†æ´»ç”¨ã§ãã‚‹ã®ã‹ã¨ã„ã†ã“ã¨ã‚’ã€ã€Œãƒ†ã‚ストマイニングã€ã«ç„¦ç‚¹ã‚’当ã¦ã¦è§£èª¬ã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ é‡ã„処ç†ã‚’複数ã®ãƒžã‚·ãƒ³ã«åˆ†æ•£ã•ã›ã‚‹ 複数ã®ãƒžã‚·ãƒ³ã«å‡¦ç†ã‚’分散ã•ã›ã‚‹ã«ã¯ã€ãƒ—ãƒã‚»ã‚¹åŒå£«ã®é€šä¿¡ã€ç›£è¦–ã€éšœå®³æ™‚ã®å¯¾å¿œãªã©ã‚’考ãˆãªã‘ã‚Œã°ãªã‚‰ãšã€ãƒ—ãƒã‚°ãƒ©ãƒžã«ã¨ã£ã¦ãƒãƒ¼ãƒ‰ãƒ«ãŒé«˜ã„ã‚‚ã®ã§ã™ã€‚ã—ã‹ã—ã€Hadoopã¯ãã†ã„ã£ãŸé¢å€’ãã•ã„処ç†ã‚’一手ã«å¼•ãå—ã‘ã¦ãã‚Œã€ãƒ—ãƒã‚°ãƒ©ãƒžã¯ã€ã‚„ã‚ŠãŸã„処ç†ã ã‘ã«é›†ä¸ã§ãã¾ã™ã€‚ 例ãˆã°ã€Hadoopを使ã†ã¨ã€1
次世代Hadoopã¯10,000å°ã«ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ã‚¦ãƒˆã—ã€MapReduce以外ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークをもサãƒãƒ¼ãƒˆã™ã‚‹ - nokunoã®æ—¥è¨˜
Yahoo!ã®ãƒ–ãƒã‚°ã«Hadoopã«é–¢ã™ã‚‹èˆˆå‘³æ·±ã„記事ãŒä¸ŠãŒã£ã¦ã„ãŸã®ã§ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ã‹ãªã‚Šãƒœãƒªãƒ¥ãƒ¼ãƒ ã®ã‚る記事ã§ç¿»è¨³ã™ã‚‹ã®ã¯éª¨ãŒæŠ˜ã‚Œã¾ã—ãŸã€‚The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog原題ã¯ã‚·ãƒ³ãƒ—ルã«ã€Œæ¬¡ä¸–代ã®Apache Hadoop MapReduceã€ã§ã™ã€‚ 概è¦å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’扱ã†ãƒ“ジãƒã‚¹ã§ã¯ã€å°‘æ•°ã®å¤§è¦æ¨¡ãªã‚¯ãƒ©ã‚¹ã‚¿ã®ã»ã†ãŒå¤šæ•°ã®å°è¦æ¨¡ãªã‚¯ãƒ©ã‚¹ã‚¿ã‚ˆã‚Šã‚‚安価ã«ãªã‚Šã¾ã™ã€‚大è¦æ¨¡ã‚¯ãƒ©ã‚¹ã‚¿ã¯å¤šãã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’処ç†ã—ã€å¤šãã®ã‚¸ãƒ§ãƒ–ã¨å¤šãã®ãƒ¦ãƒ¼ã‚¶ã‚’サãƒãƒ¼ãƒˆã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚Apacheã®Hadoop MapReduceフレームワークã¯ã ã„ãŸã„4,000å°ç¨‹åº¦ã§ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã®é™ç•ŒãŒæ¥ã¾ã™ã€‚ç§ãŸã¡ã¯æ¬¡ä¸–代ã®Apache Hadoop MapReduceを開発ã—ã¦ãŠã‚Šã€ãã“ã§ã¯ãƒ•ãƒ¬ãƒ¼ãƒ ワークを汎
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
agilecatcloud.com
TechCrunch
{{#tags}}- {{label}}
{{/tags}}