crocos.jpThis domain may be for sale!
Elastic MapReduceã¨Hiveã®æ¦‚è¦ã¨åˆ©ç”¨æº–å‚™
å¿…è¦ãªç’°å¢ƒ Windowsã€Macãªã©ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆãŒåˆ©ç”¨å¯èƒ½ãªOS環境 クラウドã§Hadoopを使ã†ãƒ¡ãƒªãƒƒãƒˆ æ˜¨ä»Šãƒ“ãƒƒã‚°ãƒ‡ãƒ¼ã‚¿æ ¼ç´ã®åŸºç›¤ã¨ã—ã¦Hadoopを使ã†äº‹ä¾‹ãŒå¢—ãˆã¦ãã¦ã„ã¾ã™ã€‚大è¦æ¨¡ãªã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚’å¿…è¦ã¨ã›ãšã«ãƒ“ッグデータを扱ãˆã‚‹ç’°å¢ƒã¯éžå¸¸ã«é…力的ã§ã™ã€‚ Hadoopã¯Googleã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®åŸºç›¤ã¨ã—ã¦é–‹ç™ºã•ã‚ŒãŸGoogle File SystemãŠã‚ˆã³MapReduceã®æŠ€è¡“仕様を元ã«é–‹ç™ºã•ã‚ŒãŸã‚ªãƒ¼ãƒ—ンソースソフトウェアã§ã™ã€‚ファイルを複数ã®ã‚µãƒ¼ãƒã«å†—長化ã—ãŸä¸Šã§åˆ†æ•£é…ç½®ã™ã‚‹HDFS（Hadoop Distributed File System）ã¨ã€åˆ†æ•£é…ç½®ã•ã‚Œã¦ã„る大é‡ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰å¿…è¦ãªãƒ‡ãƒ¼ã‚¿ã®æŠ½å‡ºã‚„分解を行ã†Hadoop MapReduceã«ã‚ˆã‚Šæ§‹æˆã•ã‚Œã¦ã„ã¾ã™ã€‚ ç¾åœ¨ã€Hadoopã¯ã‚¯ãƒ¬ã‚¸ãƒƒãƒˆã‚«ãƒ¼ãƒ‰ä¼šç¤¾ã®å£²ä¸Šãƒ‡ãƒ¼ã‚¿ã®è§£æžã‚„ã€å›½ç«‹å›½ä¼šå›³æ›¸é¤¨ãŒæä¾›ã—ã¦ã„る検索サービスã®ã‚¤ãƒ³ãƒ‡
AWSã®Amazon Elastic MapReduce(EMR)ã§Hiveを使ã†æ‰‹é † | takemikami's note
自å‰ã§Hadoopをインストールã›ãšã¨ã‚‚〠AmazonWebService(AWS)ã§æ‰‹è»½ã«Hadoopを利用ã™ã‚‹äº‹ãŒã§ãã‚‹ã¨ã„ã†ã“ã¨ã§ã€ Elastic MapReduce(EMR)環境ã§Hiveを利用ã—ã¦ã¿ã¾ã—ãŸã€‚ ã“ã“ã§ã¯ã€ä»¥ä¸‹ã®ã‚ˆã†ãªæ‰‹é †ã§Hiveを利用ã™ã‚‹æ‰‹é †ã‚’示ã—ã¾ã™ã€‚ S3ã«Hive用ã®bucketを作æˆAmazon Elastic MapReduce Ruby Clientã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—S3ã«ãƒ‡ãƒ¼ã‚¿ã‚’é…ç½®Hiveインタラクティブモードã§Elastic MapReduceを起動作æˆã—ãŸHiveスクリプトをãƒãƒƒãƒå‡¦ç†ã§å®Ÿè¡ŒS3ã«Hive用ã®bucketを作æˆHive用ã®ãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã™ã‚‹ãŸã‚ã€S3ã«bucketを作りã¾ã™ã€‚ 「AWS Management Consoleã€ã§S3ã‚’é¸ã³ã€ 「Bucketsã€ã®ã€ŒCreate Bucketã€ã‚’é¸æŠžã—ã¦ã€ 「Bucket Nameã€ã‚’
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}