EMRã£ã¦ãªã‚“ã˜ã‚ƒï¼Ÿï¼ˆHiveã§S3ã®ãƒã‚°ã‚’JSTã«å¤‰æ›ã—ã¦1日分をã¾ã¨ã‚る）S3ã®webホスティングã§ã€ãƒã‚°å‡ºåŠ›ã®è¨å®šã‚’ã—ã¦ã„ãŸå ´åˆã€ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ãŒå¤§é‡ã«å‡ºåŠ›ã•ã‚Œã¾ã™ã€‚ ãƒã‚°ã®è¨˜éŒ²æ™‚é–“ã¯æ¨™æº–時ã§å‡ºåŠ›ã•ã‚Œã¦ã„ã¦ã‚ã‹ã‚Šã¥ã‚‰ã„ã§ã™ã€‚ 今回ã¯EMRã®Hiveを利用ã—ã¦ã€æ—¥æœ¬æ™‚é–“ã®0時〜翌日ã®0時ã¾ã§ã®ãƒã‚°ã‚’1ファイルã«ã¾ã¨ã‚ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ HiveScript HiveScriptã¯ä»¥ä¸‹ã®ã‚ˆã†ã«ã—ã¾ã™ã€‚ ã¾ãšãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆè§£æžç”¨ã®JARã‚’èªã¿è¾¼ã¿ã¾ã™ã€‚ add jar /home/hadoop/hive/contrib/hive-contrib-0.8.1.jar; 入力用ã®ãƒ†ãƒ¼ãƒ–ルを定義ã—ã¾ã™ã€‚LOCATIONã¯å¼•æ•°ã‹ã‚‰å—ã‘å–ã‚Šã¾ã™ã€‚ ãƒãƒƒã‚¯ã¨ãªã‚‹ã®ã¯ã€S3ã®ãƒã‚°ã¯åŸºæœ¬çš„ã«åŠè§’スペース区切りã§ã™ãŒã€é …ç›®ã®å€¤ã®ä¸ã«åŠè§’スペースãŒå…¥ã‚Šè¾¼ã‚€ãŸã‚ã€ã€ŒFIELDS TERMINATED BYã€å¥ã§ã¯ãªãã€SERDEを使用ã—ã¦æ£è¦è¡¨ç¾ã§ãƒã‚°ã®1è¡Œã‚’é …ç›®åˆ†ã‘ã—ã¾ã™ã€‚ 今回ã¯æ—¥ä»˜ãƒ•
Amazon Elastic MapReduce: コマンドラインã‹ã‚‰ã®å®Ÿè¡Œã§ãƒãƒžã£ãŸ – OpenGroove
Amazon EMR編～ElasticMapReduceã®ä½¿ã„方パート①～
jaws-users - EMR(Hive)利用時ã«ãŠã‘ã‚‹ã€S3上ファイルã®LOAD処ç†ã«ã¤ã„ã¦
Amazon Elastic MapReduceã®ä½¿ã„方─Hadoopより手軽ã«ã¯ã˜ã‚る大è¦æ¨¡è¨ˆç®— 記事一覧 | gihyo.jp
Amazon Redshiftã®åˆ©ç‚¹
cloudpackブãƒã‚° - EMRã£ã¦ãªã‚“ã˜ã‚ƒï¼Ÿï¼ˆHiveã®DynamicPartitionã§ãƒ•ã‚¡ã‚¤ãƒ«ã‚’分割ã—ã¦S3ã«å‡ºåŠ›ï¼‰
Elastic MapReduceã¨Hiveã®æ¦‚è¦ã¨åˆ©ç”¨æº–å‚™
Microsoft PowerPoint - 04.DynamoDB+EMR.pptx
AWSã®Amazon Elastic MapReduce(EMR)ã§Hiveを使ã†æ‰‹é † | takemikami's note
Amazon.co.jp: Amazon Elastic MapReduceテクニカルガイド ―クラウド型Hadoopã§å®Ÿç¾ã™ã‚‹å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†â€•: æŽæ˜Œæ¡“: 本
{{#tags}}- {{label}}
{{/tags}}