Amazon Elastic Map Reduce (EMR) beyond basics -- Sujee Maniyam
Created_at :Jan 2011 Amazon Elastic Map Reduce (EMR) Beyond Basics The code for all this is at GitHub: https://github.com/sujee/amazon-emr-beyond-basics Environment I run these commands from an linux EC2 instance. It doesn't have to be a 'powerful' instance, as it doesn't do much work. So an M1.SMALL type is fine. The following needs to be installed ec2 tools We use these tools to launch
CUIã§Amazon S3ã‚’æ“作ã™ã‚‹Â·s3cmd MOONGIFT
Amazon EC2を使ã£ã¦ã„る人ã§ã‚ã‚Œã°ã€æ·»ä»˜ãƒ•ã‚¡ã‚¤ãƒ«ã‚„ç”»åƒã®ç½®ãå ´ã¨ã—ã¦Amazon S3を使ã£ã¦ã„る人ã¯å¤šã„ã¯ãšã 。他ã«ã‚‚ãƒãƒƒã‚¯ã‚¢ãƒƒãƒ—用途やã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã—ã¦ãŠãå ´æ‰€ã¨ã—ã¦Amazon S3ã¯ä¾¿åˆ©ãªWebサービスã 。 ヘルプ ã ãŒAmazon S3ã¯Web APIã«ç‰¹åŒ–ã—ã¦ãŠã‚Šãã®æ“作ã«ã¯ãƒ©ã‚¤ãƒ–ラリを介ã—ã¦è¡Œã†ã®ãŒä¸€èˆ¬çš„ã 。ã ãŒã“ã‚Œã§ã¯è‡ªå‹•åŒ–ã™ã‚‹éš›ã«ã¯ãƒ—ãƒã‚°ãƒ©ãƒ を組む必è¦ãŒã‚ã‚Šé¢å€’ã 。ãã“ã§Amazon S3をターミナルã‹ã‚‰æ“作ã™ã‚‹s3cmdを使ãŠã†ã€‚ 今回紹介ã™ã‚‹ã‚ªãƒ¼ãƒ—ンソース・ソフトウェアã¯s3cmdã€Amazon S3ã®CUIフãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã 。 s3cmdã¯Pythonã§ä½œã‚‰ã‚ŒãŸã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã€Amazon S3ã®æ“作をターミナルã‹ã‚‰è¡Œã†ã“ã¨ãŒã§ãる。ã“ã‚Œã§ã‚ã‚Œã°ãƒ•ã‚¡ã‚¤ãƒ«ã®é€ä¿¡ã‚„å—ä¿¡ãªã©ã‚’コマンドã§è¡Œãˆã‚‹ã‚ˆã†ã«ãªã‚‹ã®ã§è‡ªå‹•åŒ–も容易ã«ãªã‚‹ã ã‚ã†ã€‚ リストコマンドを実行ã—ãŸæ‰€
Ruby/Amazon S3を使ㆠ- 俺ã®åŸºåœ°
ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¨è£½é€ 年月日 2009å¹´09月08æ—¥ Ruby 1.8.6 aws-s3 0.6.2 WindowsXP SP3 ▲ ▼ 環境構築 Amazonã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚µãƒ¼ãƒ“スをS3ã‹ã‚‰ä½¿ã†ãƒ©ã‚¤ãƒ–ラリ　aws-s3　ãŒã‚ã‚‹ã®ã§ã“ã„ã¤ã‚’インストールã™ã‚‹ gem install aws-s3 ã“ã„ã¤ã«ã¯3ã¤ã®ä¾å˜æ€§ãŒã‚ã‚Šgemãªã‚‰è‡ªå‹•çš„ã«ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã•ã‚Œã‚‹ã‚“ã ãŒã€ä¸€å¿œä¹—ã£ã‘ã¦ãŠã xml-simple http://rubyforge.org/projects/xml-simple/ builder http://rubyforge.org/projects/builder/ mime-types http://rubyforge.org/projects/mime-types/ ▲ ▼ 接続è¨å®š ã¾ãšæŽ¥ç¶šè¨å®šã‚’è¡Œã†ã€‚ã“ã„ã¤ã¯Amazonã®ã‚µãƒ¼ãƒ“スã§æ¯Žåº¦ä½¿ã†ã€ç”Ÿæˆidã¨keyã®
Amazon Elastic MapReduce – madoverload
Amazon Web Servicesã«ã¯ã€Amazon Elastic MapReduce(EMR)ã¨ã„ã†ã‚µãƒ¼ãƒ“スもã‚ã‚Šã€Hadoopジョブを簡å˜ã«èµ°ã‚‰ã›ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚Hadoopトレーニングã§ã¯ã€CDHを使ã£ã¦æ¼”ç¿’ã‚’è¡Œãªã„ã¾ã—ãŸãŒã€ã‚·ãƒ³ã‚°ãƒ«ãƒŽãƒ¼ãƒ‰ã ã£ãŸãŸã‚分散処ç†ã®é†é†å‘³ãŒãªã‹ãªã‹å‘³ã‚ãˆã¾ã›ã‚“。 家ã«è¤‡æ•°ãƒŽãƒ¼ãƒ‰ã®ãƒžã‚·ãƒ³ãŒãªãã¦ã‚‚ç°¡å˜ã«è©¦ã™ã“ã¨ãŒã§ãã‚‹EMRを試ã—ã¦ã¿ã¾ã—ãŸã€‚ 準備 EMRã®åˆ©ç”¨å‰ã«ã„ãã¤ã‹ã®æº–備をã—ã¾ã™ã€‚詳細ã¯ã€Getting Started Guide ã‚’å‚ç…§ã—ã¦ãã ã•ã„。 EMRã®åˆ©ç”¨é–‹å§‹ EMRを利用ã™ã‚‹å‰ã«ã€EMRã®åˆ©ç”¨ç”³è«‹ã‚’è¡Œã†å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ã“ã‚Œã¯ã€ãƒžãƒãƒ¼ã‚¸ãƒ¡ãƒ³ãƒˆã‚³ãƒ³ã‚½ãƒ¼ãƒ«ã§Elastic MapReduceタブをクリックã—ãŸéš›ã«ã€åˆ©ç”¨ç”³è«‹æ¸ˆã¿ã§ãªã‘ã‚Œã°ç”³è«‹ãƒšãƒ¼ã‚¸ã¸ã®ãƒªãƒ³ã‚¯ãŒå‡ºã‚‹ã®ã§ã€ãã“ã‹ã‚‰ç”³è«‹ã™ã‚Œã°OKã§ã™ã€‚ EMRコマンドラインクライアントã®ãƒ€ã‚¦ãƒ³
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}