CentOS 7 : Apache Hadoop インストール : Server World
ã“ã“ã§ã¯ä¾‹ã¨ã—ã¦ã€ä»¥ä¸‹ã® 3ノードを利用ã—ã¦åˆ†æ•£å‡¦ç†ã§ãるよã†è¨å®šã—ã¾ã™ã€‚ 当例㯠3ノードã®ã¿ã§ã™ãŒã€Hadoop ã¯å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚’大è¦æ¨¡ãªãƒŽãƒ¼ãƒ‰æ§‹æˆã§å‡¦ç†ã™ã‚‹å ´åˆã«ã€ã‚ˆã‚ŠçœŸä¾¡ã‚’発æ®ã—ã¾ã™ã€‚ 1) dlp.srv.world (マスターノード) 2) node01.srv.world (スレーブノード) 3) node02.srv.world (スレーブノード)
分散処ç†ã«å…¥é–€ã—ã¦ã¿ãŸï¼ˆHadoop + Spark） | Casley Deep Innovationsæ ªå¼ä¼šç¤¾ 技術ブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€‚SI部ã®è…°å¡šã§ã™ã€‚ RDBやデータウェアãƒã‚¦ã‚¹ã®ä»•äº‹ã«æºã‚ã‚‹ã“ã¨ãŒå¤šã‹ã£ãŸç†è€…ã¯ã€æ•°å¹´å‰ã‹ã‚‰ãŸã³ãŸã³èžã“ãˆãŸãƒ“ッグデータ分æžã‚„機械å¦ç¿’ã®ãŸã‚ã®åˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークã«èˆˆå‘³ã‚’覚ãˆãŸã‚‚ã®ã®ã€ã¤ã„ãžã‚¢ã‚¯ã‚»ã‚¹ã—ãªã„ã¾ã¾ã“ã“ã¾ã§æ¥ã¦ã—ã¾ã„ã¾ã—ãŸã€‚ 今回ブãƒã‚°ã‚’書ãã«ã‚ãŸã£ã¦ã€ã›ã£ã‹ããªã®ã§ã‚¤ãƒã‹ã‚‰æ‰‹ã•ãり入門ã—ã€ã„ã¾ã•ã‚‰ä»–人ã«èžã‘ãªã„分散処ç†ã®åˆæ©ã‹ã‚‰hadoop・sparkを触ã£ã¦ã¿ã‚‹ã¾ã§ã‚’ã¾ã¨ã‚ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 1.分散処ç†ã®åŸºç¤ŽçŸ¥è˜ 1-1.分散処ç†ã®å‡¦ç†æ–¹å¼ï¼šMapReduce ã¾ãšåˆ†æ•£å‡¦ç†ã¨ã¯ã€ã²ã¨ã¤ã®è¨ˆç®—処ç†ã‚’ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§æŽ¥ç¶šã—ãŸè¤‡æ•°ã®ã‚³ãƒ³ãƒ”ュータã§åŒæ™‚並列ã§å‡¦ç†ã™ã‚‹ã“ã¨ã§ã™ã€‚ ビッグデータ活用ã®å¸‚å ´ãŒæ—¥ã€…大ãããªã‚‹ã«å¾“ã£ã¦ã€æ•°ç™¾ãƒ†ãƒ©ï½žãƒšã‚¿ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚‚çã—ã„ã‚‚ã®ã§ã¯ãªããªã£ã¦ãŠã‚Šã€æ—¥å¸¸çš„ã«ã“ã®è¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚’扱ã†ã‚·ã‚¹ãƒ†ãƒ ã§ã¯ã€ç¾å®Ÿçš„ãªæ™‚間的・費用的コストã§å‡¦ç†ã™ã‚‹å·¥å¤«ãŒå¿…è¦
Hadoop – Hive演習をã•ã‚‰ã™ – OpenGroove
å‰å›žã®ç¶šãã§ã€ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—後ã®Hive演習記録。å‚考書ã®é€šã‚Šã«ã‚„ã£ãŸã ã‘ãªã‚“ã ãŒâ€¦ å‰æã¨ã—ã¦ã€æ¼”ç¿’ã«ä½¿ã†ã‚µãƒ³ãƒ—ルデータã¯ä»¥ä¸‹ã‹ã‚‰ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã—ã€Hadoopマシンã«è»¢é€ã€‚ 解å‡å¾Œå¿…è¦ãªãƒ‡ãƒ¼ã‚¿ã‚’hiveユーザã®ãƒ›ãƒ¼ãƒ ディレクトリé…下ã«é…ç½®ã—ã¦ã„る。 http://gihyo.jp/book/2012/978-4-7741-5389-6 ã“ã‚“ãªæ„Ÿã˜ã€‚ $ ls -l /home/hive/sales_sample -rw-r--r-- 1 hive hive 7500 Sep 5 19:20 itemlist.tsv -rw-r--r-- 1 hive hive 405179 Sep 5 19:20 sales_detail.tsv -rw-r--r-- 1 hive hive 95769 Sep 5 19:20 sales.tsv -rw-r--r-- 1 hive hive 3428 S
hadoop hiveã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¨å®Ÿè¡Œæ–¹æ³• : ç ”ç©¶é–‹ç™º
ç·åˆç ”究大å¦é™¢å¤§å¦ã€€è¤‡åˆç§‘å¦ç ”究科　 æƒ…å ±å¦å°‚攻　å’　åšå£«ï¼ˆæƒ…å ±å¦ï¼‰ 自然言語処ç†ã‚„機械å¦ç¿’ã€ãƒ‡ãƒ¼ã‚¿åˆ†æžã«é–¢ã™ã‚‹ç ”究内容ã¨webシステムã®é–‹ç™ºã¨é‹ç”¨ã«ã¤ã„ã¦æ›¸ã„ã¦ã„ã¾ã™ã€‚ シリコンãƒãƒ¬ãƒ¼ãƒ™ãƒ³ãƒãƒ£ãƒ¼ã¿ãŸã„ã«æ·±ã„技術ã®äº‹æ¥åŒ–ã‚’ã—ãŸã„ã¨æ€ã£ã¦ã„ã¾ã™ã€‚ ã”興味ã‚ã‚‹æ–¹ã¯ã”連絡ãã ã•ã„。 インストールã¯ç°¡å˜ãªã‚ˆã†ã§çµæ§‹ãŸãã•ã‚“エラーãŒå‡ºã‚‹ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。 hadoopã§ã¯ã¾ãšstart-all.shを実行ã—ãŸæ™‚ localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).ã¨ãªã‚‹ã®ã¯ã€ ssh localhost ã§ãƒã‚°ã‚¤ãƒ³å‡ºæ¥ãªã„状態ã¨åŒã˜ã§ã™ã€‚ ユーザã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã¨éµã®è¨å®šãŒå¿…è¦ã§ã™ã€‚ start-all.sh実行ã—㦠jobtracker running as process 00000. localhost: sta
1
ãŠçŸ¥ã‚‰ã›
障害
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
{{#tags}}- {{label}}
{{/tags}}