Hadoop Operations #cwt2013
#cwt2013 Clouderaã®å°æž— @d1ce_ ã«ã‚ˆã‚‹Hadoop構築・é‹ç”¨ã®ãƒã‚¤ãƒ³ãƒˆã«ã¤ã„ã¦ã®ã‚¹ãƒ©ã‚¤ãƒ‰ã‚’公開ã—ã¾ã—ãŸã€‚2013年度版ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢é¸å®šã€HA構æˆã®è€ƒãˆæ–¹ã‹ã‚‰ã€å®Ÿéš›ã«ã‚µãƒãƒ¼ãƒˆã§ç›´é¢ã—ãŸäº‹ä¾‹ã«ã¤ã„ã¦ã‚‚紹介ã—ã¦ã„ã¾ã™Read less
1å°ã®ãƒžã‚·ãƒ³ã®æ€§èƒ½åŠ£åŒ–ã¸ã®å¯¾ç–（HBase）
メールアドレスãŒã“ã®ã‚°ãƒ«ãƒ¼ãƒ—ã§ã¯åŒ¿å化ã•ã‚Œã¦ã„ã‚‹ã‹ã€ãƒ¡ãƒ³ãƒãƒ¼ã®ãƒ¡ãƒ¼ãƒ«ã‚¢ãƒ‰ãƒ¬ã‚¹ã‚’表示ã™ã‚‹æ¨©é™ãŒãªã„ãŸã‚ã€å…ƒã®ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚’表示ã§ãã¾ã›ã‚“ è½åˆã¨ç”³ã—ã¾ã™ã€‚ HBaseを使ã£ã¦ã„ãŸéš›ã«ã€ 1å°ã®ãƒžã‚·ãƒ³ã®æ€§èƒ½åŠ£åŒ–ã§æ›¸ãè¾¼ã¿é€Ÿåº¦ãŒå¤§å¹…ã«åŠ£åŒ–ã™ã‚‹å•é¡ŒãŒèµ·ã“ã‚Šã¾ã—ãŸã€‚ ã“ã®ã‚ˆã†ãªå•é¡ŒãŒè¨å®šã§å›žé¿å¯èƒ½ã‹ã€ ã”教示ã„ãŸã ã‘ã¾ã™ã§ã—ょã†ã‹ã€‚ 構æˆï¼š ZooKeeper用サーãƒï¼ˆZooKeeper） 1å° Masterサーãƒï¼ˆNameNode, JobTracker, HBaseMaster） 1å° Slaveサーãƒï¼ˆDataNode, TaskTracker, HRegionServer） 6å° 1å°ã®Slaveサーãƒã«ç™ºç”Ÿã—ãŸå•é¡Œï¼š Slaveã®ã†ã¡1å°ã ã‘〠Masterã‹ã‚‰ã®pingã®å¿œç”ãŒã€0.45ms ã»ã©ã‹ã‹ã£ã¦ã„ã‚‹ã“ã¨ã‚’確èªã—ã¾ã—ãŸã€‚ ä»–ã®Slaveã¸ã®pingã®å¿œç”ã¯ã€0.15ms ã§ã€ç´„3å€
Hadoop 0.21ã§ã®HDFSã®å¤‰æ›´ç‚¹
8/23ã«ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸ0.21ã§ã™ãŒã€å¤šãã®å¤‰æ›´ç‚¹ãŒã‚ã‚Šã€ç‰¹å¾´çš„ãªéƒ¨åˆ†ãŒclouderaã®ãƒ–ãƒã‚°ã§ç´¹ä»‹ã•ã‚Œã¦ã„ã¾ã™ã€‚ What’s New in Apache Hadoop 0.21 ãã®ä¸ã§ã‚‚HDFSã®å¤‰æ›´ç‚¹ã‚’紹介ã—ã¦ã„ãã¾ã™ã€‚リリースノートã¯ã“ã¡ã‚‰ support appends append ã¯0.19.0 ã§å°Žå…¥ã•ã‚ŒãŸå¾Œã«å®‰å®šæ€§ã®å•é¡Œã§0.19.1ã‹ã‚‰ã¯ç„¡åŠ¹ã«ãªã£ã¦ã„ã¾ã—ãŸãŒã€0.21.0ã§æ–°ã—ã„実装(HDFS-265)ãŒå°Žå…¥ã•ã‚Œã¾ã—ãŸã€‚HDFS-265ã«ã¯appendDesign3.pdfã¨ã„ã†ãƒ•ã‚¡ã‚¤ãƒ«ã«appendã‚„Hfulshã®ãƒ‡ã‚¶ã‚¤ãƒ³ã®è©³ç´°ãŒãƒ‰ã‚ュメント化ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€åˆã‚ã›ã¦èªã‚“ã§ãŠããŸã„所ã§ã™ã€‚ new filesystem API FileContextã¨å‘¼ã°ã‚Œã‚‹æ–°ã—ã„APIãŒå°Žå…¥ã•ã‚Œã¾ã—ãŸã€‚ã“ã‚Œã®èª¬æ˜Žã¯ã“ã®ã‚¹ãƒ©ã‚¤ãƒ‰ãŒã‚ã‹ã‚Šã‚„ã™ã„ã¨æ€ã„ã¾ã™ã€‚ HDFS以
Hadoopã®å¯ç”¨æ€§ã«ã¤ã„ã¦ï¼ˆç§è¨³ï¼‰ - developer’s delight
ã“ã®è¨˜äº‹ã¯Clouderaã®Blogã®è¨˜äº‹â€Hadoop Availability | Apache Hadoop for the Enterprise | Clouderaâ€ã®ç§çš„翻訳ã§ã™ã€‚Hadoopã®å¯ç”¨æ€§ã«ã¤ã„ã¦ã¯èˆˆå‘³ã®ã‚る方も多ã„ã¨æ€ã„ã¾ã™ã®ã§ã€èªã‚€ã¤ã„ã§ã«è¨³ã—ã¦ã¿ã¾ã—ãŸã€‚å‹¢ã„ã§è¨³ã—ãŸã®ã§è³ªã«é–¢ã—ã¦ã¯è²¬ä»»ã‚’æŒã¦ã¾ã›ã‚“ã®ã§ã‚ˆã‚ã—ããŠé¡˜ã„ã—ã¾ã™ã€‚é–“é•ã„ãªã©ãŒã‚ã‚Šã¾ã—ãŸã‚‰ã”指摘ã„ãŸã ã‘ã‚Œã°åŠ©ã‹ã‚Šã¾ã™ã€‚(id:kkawamura)Apache Hadoopã®ãƒ¡ãƒ¼ãƒªãƒ³ã‚°ãƒªã‚¹ãƒˆã§ã‚ˆãã‚る質å•ã¯ã€å¯ç”¨æ€§ã‚’ä¿ã¤ãŸã‚ã«ã©ã†ã™ã‚‹ã‹ï¼Ÿã¨ã„ã†ã‚‚ã®ã§ã™ã€‚ã“ã®è¨˜äº‹ã§ã¯ã€Hadoopã®ã‚³ãƒ³ãƒ†ã‚ストã§ã®å¯ç”¨æ€§ã«ã¤ã„ã¦è¦‹ã¦ã„ãã€é€²è¡Œä¸ã®é–‹ç™ºã®æ–¹å‘性を示ã—ã¾ã™ã€‚背景Hadoopã®å¯ç”¨æ€§ã‚’è°è«–ã™ã‚‹ã¨ãã€äººã¯ã‚ˆãNameNodeãŒHDFSã«ãŠã„ã¦å˜ä¸€æ•…障点ã§ã‚ã‚‹ãŸã‚ã€NameNodeã‹ã‚‰è©±ã‚’ã¯ã˜ã‚ã¾ã™ã€‚ãã—ã¦Hadoo
HDFSã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティ
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message 皆ã•ã¾ 本日ã€Yahoo!ã‹ã‚‰HDFSを大è¦æ¨¡ãªç’°å¢ƒ(æ•°åƒï½žæ•°ä¸‡ãƒŽãƒ¼ãƒ‰)ã§HDFSã‚’deploy ã—ãŸéš›ã«ã€ã©ã®ã‚ˆã†ãªå•é¡ŒãŒã‚ã‚‹ã‹ã¨ã„ã†æƒ…å ±ãŒè‰²ã€…書ã‹ã‚ŒãŸè¨˜äº‹/blogãŒãƒ ストã•ã‚Œã¾ã—ãŸã€‚ - HDFS Scalability (PDF注æ„) -- http://www.usenix.org/publications/login/2010-04/openpdfs/shvachko.pdf - Scalability of the Hadoop Distributed File System -- http://devel
Amazon S3 ã‚’ Hadoopã® HDFSã¨ã—ã¦åˆ©ç”¨ã™ã‚‹
Hadoop on Flickr ã“ã“æ•°æ—¥ã“ã‚Œã°ã£ã‹ã‚Šã«æ‚©ã‚“ã§ã¾ã—ãŸãŒã€å®Ÿéš›ã¯è¶…ç°¡å˜ã€‚ ã¨ã„ã£ã¦ã‚‚ãã“ã¾ã§è©³ã—ãã‚„ã£ã¦ã„ãªã„ã®ã§ã“ã‚Œã§ãã¡ã‚“ã¨å‡ºæ¥ã¦ã„ã‚‹ã®ã‹ã¯â€¦ Amazon S3ã‚’HDFSã¨ã—ã¦åˆ©ç”¨ã™ã‚‹åˆ©ç‚¹ã¯ 実質容é‡ç„¡åˆ¶é™ Amazon EC2/S3 é–“ã®è»¢é€æ–™ã¯ä¸è¦ クラスタãŒè½ã¡ã¦ã‚‚データã¯ç„¡äº‹? ã“ã‚“ãªã¨ã“ã‚ã§ã—ょã†ã‹ã€‚ AmazonS3 - Hadoop Wiki 実際ã¯ã“ã“ã«æ›¸ã„ã¦ã‚ã‚‹ã¨ãŠã‚Šã§å•é¡Œãªã„ã§ã™ã€‚ ã“れをãã¡ã‚“ã¨ã‚ã‹ã£ã¦ã„ãªã‹ã£ãŸã®ã§ç„¡é§„ã«è‹¦åŠ´ã—ã¦ã—ã¾ã£ãŸâ€¦ 今回クライアントã§ä½¿ç”¨ã—ãŸã®ã¯Hadoop 0.19.1ã§ã™ã€‚ ã¾ãšã¯ã€Amazon EC2上ã§Hadoopã‚’èµ·å‹•ã•ã›ã¾ã™ã€‚ ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 ã“ã®ã‚ãŸã‚Šã¯bloge
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}