「Hadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã€ã®æ„味をæ£ã—ãç†è§£ã™ã‚‹ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
Hadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã€ã¨ã„ã†è¨€èª¬ã‚’ãŸã¾ã«è¦‹ã‹ã‘るよã†ã«ãªã‚Šã¾ã—ãŸã€‚ ã‚‚ã¡ã‚ん終ã‚ã£ã¦ãªã©ã„ã¾ã›ã‚“。ã—ã‹ã—ã€Hadoopã¨ãã®å–ã‚Šå·»ã環境ãŒå¤‰åŒ–ã—ãŸã®ã¯äº‹å®Ÿã§ã™ã€‚ 本記事ã§ã¯ã€ã“ã®å¤‰åŒ–ãŒä½•ãªã®ã‹ã‚’明らã‹ã«ã—ã€ãã®ä¸Šã§ã€ãªãœHadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã¨ã„ã†ä¸»å¼µãŒå®Ÿæ…‹ã‚’æ£ã—ã表ã—ã¦ã„ãªã„ã®ã‹ã‚’説明ã—ã¦ã„ãã¾ã™ã€‚ DISCLAIMER ç§ã¯Hadoopã‚’ä¸å¿ƒã¨ã—ãŸãƒ‡ãƒ¼ã‚¿åŸºç›¤ã‚’å–り扱ã†ãƒ™ãƒ³ãƒ€ãƒ¼ã€Clouderaã®ç¤¾å“¡ã§ã™ã€‚ ä¸ç«‹çš„ã«æ›¸ãよã†åŠªã‚ã¾ã™ãŒã€æ‰€å±žçµ„ç¹”ã«ã‚ˆã£ã¦ç™ºç”Ÿã™ã‚‹ãƒã‚¤ã‚¢ã‚¹ã®å®Œå…¨ãªæŽ’除をä¿è¨¼ã™ã‚‹ã“ã¨ã¯ã§ãã¾ã›ã‚“。 以上をã”了承ã®ä¸Šã€èªã¿é€²ã‚ã¦ãã ã•ã„。 è¦ç´„ データ基盤ã¯ã€Hadoopã®ç™»å ´ã«ã‚ˆã‚Šéžå¸¸ã«å®‰ä¾¡ã¨ãªã‚Šã€ä»Šã¾ã§ã§ã¯ä¸å¯èƒ½ã ã£ãŸå¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’å–り扱ãˆã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚ Hadoopã¯ã€NoSQLブームã®ä¸ã€å‡¦ç†ã‚¨ãƒ³ã‚¸ãƒ³ã§ã‚ã‚‹MapReduceã¨ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã§ã‚ã‚‹HDFSãŒ
神林節炸裂ï¼Asakusa Frameworkã¯ã€Œåˆ†æ•£ã€ã‹ã‚‰ã€Œä¸¦åˆ—ã€ã¸ (1/3)
11月27æ—¥ã€ãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã¯ã€Œ2015 Asakusa Framework Dayã€ã‚’開催。舌鋒é‹ã„物言ã„ã§çŸ¥ã‚‰ã‚Œã‚‹åŒç¤¾ã®ä»£è¡¨å–ç· å½¹ç¤¾é•· 神林飛志æ°ã¯ã€ãƒ“ッグデータã¨IoTå¸‚å ´ã®ç¾çŠ¶ã‚„Hadoop/Sparkã¨æ—¥æœ¬å¸‚å ´ã®ãƒŸã‚¹ãƒžãƒƒãƒãªã©ã‚’指摘ã—ã¤ã¤ã€æ¬¡ä¸–代ã®Asakusa Frameworkã®æ§‹æƒ³ã‚’披露ã—ãŸã€‚ ビッグデータã¯æ—¢å˜ã®CRMã€IoTã¯PoCレベル ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã®Asakusa Frameworkã¯ã€æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã®ãƒãƒƒãƒå‡¦ç†ã«Hadoopã‚„Sparkã§ã®åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ を活用ã™ã‚‹ãŸã‚ã®é–‹ç™ºãƒ»é‹ç”¨ãƒ•ãƒ¬ãƒ¼ãƒ ワーク。会計や在庫ãªã©ã®æ¥å‹™ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰ç²¾åº¦ã®é«˜ã„分æžæƒ…å ±ã‚’ä½œæˆã—ãŸã‚Šã€ãƒãƒƒãƒå‡¦ç†ã«åˆ©ç”¨ã§ãã‚‹ã»ã‹ã€åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãƒ¡ãƒªãƒƒãƒˆã‚’æ´»ã‹ã—ã€è² è·åˆ†æ•£ã‚„高ã„å¯ç”¨æ€§ãªã©ã‚’実ç¾ã™ã‚‹ã€‚OSSã§å…¬é–‹ã•ã‚Œã¦ãŠã‚Šã€ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズã§å¤šãã®å®Ÿç¸¾ã‚’æŒã¤ã€‚ イベントã®å¾ŒåŠã§ç™»å£‡ã—ãŸãƒŽãƒ¼ãƒãƒ©
Hadoop Conference Japan 2014 #hcj2014 ã§ImpalaãŒPrestoより19å€é€Ÿã„ã¨ã„ã†è©±ã‚’ã—ã¦ã㟠- 科å¦ã¨éžç§‘å¦ã®è¿·å®®
Evolution of Impala #hcj2014 from Cloudera Japan タイトルã¨ã‚¹ãƒ©ã‚¤ãƒ‰ã®é€šã‚Šã§ã™ã€‚ Hadoop Conference Japan ã‚’é‹å–¶ã•ã‚ŒãŸçš†æ§˜ã€æœ¬å½“ã«ãŠç–²ã‚Œã•ã¾ã§ã—ãŸã€‚ ã¾ãŸã€ç§ã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã«å‚åŠ ã—ã¦è©±ã‚’èžã„ã¦ã„ãŸã ã„ãŸçš†æ§˜ã€ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚ æœã®ã‚ーノートã§ã€Œä½¿ç”¨ã—ã¦ã„るコンãƒãƒ¼ãƒãƒ³ãƒˆã€ã§ Impala ãŒãƒ©ãƒ³ã‚¯ã‚¤ãƒ³ã—ã¦ã„ã¦å®Ÿã¯çµæ§‹é©šãã¾ã—ãŸã€‚ã¾ã ã¾ã æ™®åŠã—ã¦ã„ãªã„ã¨æ€ã£ã¦ã„ã¾ã—ãŸã‘ã©ã€æ„外ã¨ä½¿ã‚ã‚Œã¦ã„るよã†ã§ã†ã‚Œã—ã„ã§ã™ã€‚ (後 Hue ãŒãƒ©ãƒ³ã‚¯ã‚¤ãƒ³ã—ã¦ã„ã‚‹ã®ã«ã‚‚é©šã„ãŸ) 今回ã¯ä»–ã®SQLエンジンã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã®é–“ã«æŒŸã¾ã‚Œã¦ã®è¬›æ¼”ã ã£ãŸã®ã§ã€ã“ã‚Œã¯æ°—を抜ã‘ãªã„ãªã¨æ€ã„ã€çµæ§‹é ‘å¼µã£ã¦ã‚¹ãƒ©ã‚¤ãƒ‰ã‚’作りã¾ã—ãŸã€‚ ã‚„ã£ã±ã‚Šèª¿ã¹ã¦ã¿ã‚‹ã¨ Impala ã¯ã¨ã¦ã‚‚é¢ç™½ãã¦ã€æ©Ÿèƒ½ã®ç´°ã‹ã„部分ãªã©ã‚’見ã¦æ–°ãŸãªç™ºè¦‹ã‚‚ãŸãã•ã‚“ã™ã‚‹ã“ã¨ãŒã§ãã¾ã—ãŸã€‚ I
ClouderaãŒã€ŒSQL-on-Hadoopã€ã®Impala 1.0æ£å¼ç‰ˆãƒªãƒªãƒ¼ã‚¹
Hadoopã®ãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューションベンダã¨ã—ã¦çŸ¥ã‚‰ã‚Œã‚‹Clouderaã¯ä»Šæ—¥ã€Hadoopã®ã‚¯ãƒ©ã‚¹ã‚¿ã«å¯¾ã—ã¦SQLã§ã®å•ã„åˆã‚ã›ã‚’実ç¾ã™ã‚‹ã‚ªãƒ¼ãƒ—ンソースソフトウェア「Cloudera Impalaã€ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³1.0を公開ã—ã¾ã—ãŸã€‚製å“版ã¯ã€ŒCloudera Enterprise RTQã€ã¨ã—ã¦è²©å£²ã•ã‚Œã¾ã™ã€‚ Release - Cloudera Ships Impala 1.0: Industry's First Production-Ready SQL-on-Hadoop Solution Clouderaã¯ã€Hadoopã§æ§‹ç¯‰ã•ã‚ŒãŸå¤§è¦æ¨¡ãªåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«å¯¾ã—ã¦SQLã§é«˜é€Ÿã«å•ã„åˆã‚ã›ãŒå¯èƒ½ã«ãªã‚‹ã“ã¨ã«ã‚ˆã‚Šã€ä¼æ¥ã§ã®ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ç”¨é€”ãªã©Hadoopã§ã®æ–°ãŸãªå¸‚å ´ã‚’é–‹æ‹“ã§ãã‚‹ã¨ã—ã¦ã„ã¾ã™ã€‚ MapReduceを使ã‚ãšç‹¬è‡ªã®åˆ†æ•£ã‚¯ã‚¨ãƒªã‚¨ãƒ³ã‚¸ãƒ³ Impalaã¯ãƒãƒƒãƒå‡¦ç†ã‚’ベースã«
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹ Facebookã§ã¯ã€24時間ã”ã¨ã«0.5ペタãƒã‚¤ãƒˆã®ãƒ‡ãƒ¼ã‚¿ãŒç”Ÿæˆã•ã‚Œã€ãれらを分æžã™ã‚‹ãŸã‚ã«æ¯Žæ—¥6万回以上もã®Hiveã®ã‚¯ã‚¨ãƒªãŒå®Ÿè¡Œã•ã‚Œã¦ã„ã‚‹ãã†ã§ã™ã€‚ ã“ã†ã—ãŸå¤§è¦æ¨¡å‡¦ç†ã‚’è¡Œã†ãƒ—ラットフォームã¨ã—ã¦ä½¿ã‚ã‚Œã¦ã„ã‚‹ã®ãŒHadoop。ã—ã‹ã—Facebookã¯Hadoop MapReduceã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã«é™ç•Œã‚’æ„Ÿã˜ã¦ãŠã‚Šã€ãれを解決ã™ã‚‹ãŸã‚ã®æ–°ã—ã„ソフトウェア「Hadoop Coronaã€ã‚’開発ã€ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã—ã¾ã—ãŸã€‚ Facebookã®ãƒšãƒ¼ã‚¸ã€ŒUnder the Hood: Scheduling MapReduce jobs more efficiently with Coronaã€ã§ã¯ã€å¾“æ¥ã®Hadoop MapReduceã®ã©ã“ã«èª²é¡ŒãŒã‚ã£ãŸã®ã‹ã€4ã¤
Hadoopã®ç¾å®Ÿè§£ã€Œãƒãƒƒãƒå‡¦ç†ã€ã®å¸¸è˜ã‚’Asakusaã§ä½“å¾—
Hadoopã®ç¾å®Ÿè§£ã€Œãƒãƒƒãƒå‡¦ç†ã€ã®å¸¸è˜ã‚’Asakusaã§ä½“得：ビッグデータ処ç†ã®å¸¸è˜ã‚’Javaã§èº«ã«ã¤ã‘る（7）（1/4 ページ） Hadoopã‚’ã¯ã˜ã‚ã€Java言語を使ã£ã¦æ§‹ç¯‰ã•ã‚Œã‚‹ã“ã¨ãŒå¤šã„「ビッグデータã€å‡¦ç†ã®ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークï¼ãƒ©ã‚¤ãƒ–ラリを紹介ã—ãªãŒã‚‰ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã‚’活用ã™ã‚‹ãŸã‚ã®æŠ€è¡“ã®å¸¸è˜ã‚’身ã«ä»˜ã‘ã¦ã„ã連載 “ビッグデータâ€æ™‚代ã®ã€Œãƒãƒƒãƒå‡¦ç†ã€ アプリケーション開発ã¨ã„ã†ã¨ã€ã‚·ã‚¹ãƒ†ãƒ 利用者ã«ä¸€ç•ªè¿‘ã„ç”»é¢ç³»ã®é–‹ç™ºãŒèŠ±å½¢ã§ã™ã。一方「ãƒãƒƒãƒå‡¦ç†ã€ã¨ã„ã†ã¨ã€ä½•ã¨ãªã地味ãªæ„Ÿã˜ãŒã—ã¾ã™ãŒã€ã€Œãƒãƒƒãƒå‡¦ç†ã€ã¯ç¸ã®ä¸‹ã®åŠ›æŒã¡ã€ã“ã‚ŒãŒãªã„ã¨ã€å¤§æ¦‚ã®ã‚·ã‚¹ãƒ†ãƒ ã¯ç¨¼åƒã§ãã¾ã›ã‚“。 絶対ã«å¿…è¦ã ã‘ã©ã€å½±ã®è–„ã„「ãƒãƒƒãƒå‡¦ç†ã€ã§ã—ãŸãŒã€â€œãƒ“ッグデータâ€ã¸ã®æ³¨ç›®åº¦ãŒé«˜ã¾ã‚Šã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã‚’çŸæ™‚é–“ã«å‡¦ç†ã™ã‚‹ã€Œä¸¦åˆ—分散処ç†ãƒãƒƒãƒã€ãŒæ´»èºã™ã‚‹å ´é¢ã‚‚増ãˆã¦ãã¾ã—ãŸã€‚ 本稿ã§ã¯ã€ä¸¦åˆ—分散ã§ã€Œãƒãƒƒãƒå‡¦ç†ã€ã‚’è¡Œã†æ–¹æ³•ã«ã¤ã„
“統計ã®åŸºç¤Žã‚’無視ã—ã¦ã„ã‚‹â€Hadoop使ã„ãŒè€ƒãˆã‚‹ãƒ“ッグデータ
Hadoopã‚’ãƒãƒƒãƒå‡¦ç†ã®é«˜é€ŸåŒ–ã«æ´»ç”¨ã—ã¦ã„るノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã¯ã€ãƒ“ッグデータã®ãƒ–ームã«çœŸã£å‘ã‹ã‚‰ç•°è«–ã‚’å”±ãˆã‚‹ã€‚「ビッグデータã¯ä¸èº«ã®ãªã„ãƒã‚ºãƒ¯ãƒ¼ãƒ‰ã€ã¨æ–言ã™ã‚‹ä»£è¡¨å–ç· å½¹ç¤¾é•· 神林飛志æ°ã«ã€ãã®çœŸæ„ã‚’èžã„ãŸã€‚ Hadoopï¼ãƒ“ッグデータã¯å¤§ããªèª¤è§£ ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã¯ã€åŸºå¹¹ç³»ã‚·ã‚¹ãƒ†ãƒ å‘ã‘ã®ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã‚’手ãŒã‘る国産ベンãƒãƒ£ãƒ¼ã€‚Webサービスã®ã‚ˆã†ã«æ±ºã—ã¦æ´¾æ‰‹ã§ã¯ãªã„ãŒã€ã€Œãã‚‚ãもダウンã™ã‚‹ã¨ã€é£›è¡Œæ©ŸãŒé£›ã°ãªã„ã¨ã‹ã€ç—…院ã§äººãŒæ»ã‚“ã§ã—ã¾ã†ã¨ã‹ã€é›»è»ŠãŒå‹•ã‹ãªã„ã¨ã‹ã€ç”Ÿæ´»ã«å½±éŸ¿ãŒå‡ºã‚‹åˆ†é‡Žã€ï¼ˆç¥žæž—æ°ï¼‰ã¨ã„ã†ã€ã¾ã•ã«ãƒŸãƒƒã‚·ãƒ§ãƒ³ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ãªé ˜åŸŸã®ITã§ã€åŒç¤¾ã®è£½å“ã¯æ´»ç”¨ã•ã‚Œã¦ã„る。 åŒç¤¾ã®ã€ŒAsakusa Frameworkã€ã¯ã€Hadoopを活用ã—ãŸåˆ†æ•£å‡¦ç†ã«ã‚ˆã‚Šã€åŸºå¹¹ç³»ãƒãƒƒãƒã®é«˜é€ŸåŒ–を実ç¾ã™ã‚‹ã€‚神林æ°ã¯ã€ã€ŒHadoopã¨ã„ã†ã¨ã€Webã‚„SNSç³»ã€BIやデータ解æžã§ã®ä½¿ã„æ–¹ãŒãƒ¡
ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒæ ªå¼ä¼šç¤¾ã‚¢ãƒ³ãƒ‡ãƒ«ã‚»ãƒ³ã‚µãƒ¼ãƒ“スã®åŽŸä¾¡è¨ˆç®—ã®åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’Asakusa Frameworkâ„¢/Hadoopã«ã¦1/12ã®æ™‚é–“ã«çŸç¸®ã‚¢ãƒžã‚¾ãƒ³ ウェブ サ―ビス®ã®Amazon® VPCを利用ã—ã€ã‚¤ãƒ³ãƒ•ãƒ©æ§‹ç¯‰ãƒ»é‹ç”¨ã‚³ã‚¹ãƒˆã‚’大幅削減 | NAUTILUS
ホーム>ãŠçŸ¥ã‚‰ã›>ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒæ ªå¼ä¼šç¤¾ã‚¢ãƒ³ãƒ‡ãƒ«ã‚»ãƒ³ã‚µãƒ¼ãƒ“スã®åŽŸä¾¡è¨ˆç®—ã®åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’Asakusa Frameworkâ„¢/Hadoopã«ã¦1/12ã®æ™‚é–“ã«çŸç¸® アマゾン ウェブ サ―ビス®ã®Amazon® VPCを利用ã—ã€ã‚¤ãƒ³ãƒ•ãƒ©æ§‹ç¯‰ãƒ»é‹ç”¨ã‚³ã‚¹ãƒˆã‚’大幅削減 ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒæ ªå¼ä¼šç¤¾ã‚¢ãƒ³ãƒ‡ãƒ«ã‚»ãƒ³ã‚µãƒ¼ãƒ“スã®åŽŸä¾¡è¨ˆç®—ã®åŸºå¹¹ãƒãƒƒãƒå‡¦ç†ã‚’Asakusa Frameworkâ„¢/Hadoopã«ã¦1/12ã®æ™‚é–“ã«çŸç¸® アマゾン ウェブ サ―ビス®ã®Amazon® VPCを利用ã—ã€ã‚¤ãƒ³ãƒ•ãƒ©æ§‹ç¯‰ãƒ»é‹ç”¨ã‚³ã‚¹ãƒˆã‚’大幅削減 2012å¹´05月07æ—¥ PDF版ã®ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã¯ã“ã¡ã‚‰ æ ªå¼ä¼šç¤¾ãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚º(以下ã€ãƒŽãƒ¼ãƒãƒ©ã‚¹)ã¯ã€å½“社ãŒé–‹ç™ºã—ãŸAsakusa Frameworkâ„¢ (*1) (以下ã€ã€ŒAsakusaã€)を利用ã—ã¦æ ªå¼ä¼šç¤¾ã‚¢ãƒ³ãƒ‡ãƒ«ã‚»ãƒ³ã‚µãƒ¼ãƒ“ス（以下ã€ã‚¢ãƒ³ãƒ‡ãƒ«ã‚»ãƒ³ã‚µãƒ¼
Hadoopã¯æ±Žç”¨æ©Ÿã®å¤¢ã‚’見るã‹ï¼Ÿ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
オープン系ã®æ´å²ã¯ã€åŸºæœ¬çš„ã«æ±Žç”¨æ©Ÿã¨ã®æˆ¦ã„ã§ã—ãŸã€‚個人的ã«ã‚‚自分ã®æˆ¦ã„ã‚‚ã€ã‚ã‚Šã¨ã¾ã˜ã‚ã«æ±Žç”¨æ©Ÿã¨ã®æˆ¦ã„ã§ã—ãŸã€‚Linux? ãŠã‚‚ã¡ã‚ƒã§ã™ã。Java? 飲ã‚ã‚‹ã®ï¼ŸObject指å‘? å“質高ã„ã®?　・・・ã¾ãã“ã‚“ãªæ„Ÿã˜ã§ã—ãŸã。確ã‹ã«Linuxã¯ã‚‚ã¯ã‚„標準ã«ãªã‚Šã¾ã—ãŸã€‚Javaã§ã®é–‹ç™ºã¯æ™®é€šã«ãªã‚Šã¾ã—ãŸã€‚Object指å‘以外ã®é–‹ç™ºã¯ã¾ã普通ã«ãªã„ã§ã™ã。・・・ã—ã‹ã—ã€æ®‹å¿µãªãŒã‚‰åŸºå¹¹ãƒãƒƒãƒã¯æœªã ã«æ±Žç”¨æ©Ÿã§ã™ã€‚汎用機ã¯æœªã ã«ç¾å½¹ã§ã‚ã‚Šã€åŸºå¹¹å‡¦ç†ã®æ ¹ã£ã“ã¯ã€ã„ã¾ã 汎用機ã§å‹•ã„ã¦ã„ã¾ã™ã€‚ä¿¡é ¼æ€§ã¯çªå‡ºã—ã¦ã„ã‚‹ã—ã€ãƒ‘フォーマンスもãƒãƒƒãƒå‡¦ç†ã«é–¢ã—ã¦ã¯ä¾ç„¶ã¨ã—ã¦æœ€å¼·ã ã¨è¨€ãˆã‚‹ã§ã—ょã†ã€‚新人COBOLãªäººã®ãƒãƒƒãƒãŒã€ãƒã‚¤ãƒ‘ーãªOracle使ã„ã®SQLãƒãƒƒãƒã‚’軽ã凌駕ã™ã‚‹äº‹ã¯ã€ã¾ã 普通ã«ã‚ã‚Šã¾ã™ã€‚・・・ãªãœã‹ï¼Ÿ 多é‡åº¦ãŒé•ã„ã™ãŽã¾ã™ã。 汎用機ã¯ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã‹ã‚‰OSレベルã¾ã§ã™ã¹ã¦ã€å¤šé‡åº¦ãŒä¸ŠãŒã‚‹äº‹ã‚’å‰æã«å‡¦
ビッグデータã®ãƒ•ãƒ¥ãƒ¼ã‚¸ãƒ§ãƒ³ã«äººé¡žæœªè¸ã®ä¸–ç•ŒãŒã‚る―æ±äº¬å¤§å¦å–œé€£å·å„ªæ°ã‚¤ãƒ³ã‚¿ãƒ“ュー
―「ビッグデータã€ã¨ã„ã†è¨€è‘‰ãŒITæ¥ç•Œã®å¤§ããªãƒˆãƒ¬ãƒ³ãƒ‰ã¨ãªã£ã¦ã„ã¾ã™ã€‚2004å¹´ã‹ã‚‰ã€Œæƒ…å ±çˆ†ç™ºãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã€ã‚’率ã„ã¦ããŸå–œé€£å·å…ˆç”Ÿã®ç›®ã‹ã‚‰è¦‹ã¦ã€ç¾åœ¨ã®ãƒ“ッグデータをå–ã‚Šå·»ã状æ³ã¯ã©ã®ã‚ˆã†ã«æ˜ ã‚‹ã§ã—ょã†ã‹ã€‚ 確ã‹ã«ã€ITç³»ã®ãƒã‚ºãƒ¯ãƒ¼ãƒ‰ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å¤§å¤‰åˆ†ã‹ã‚Šã‚„ã™ã„形容詞ã¨å詞を組ã¿åˆã‚ã›ãŸã€éžå¸¸ã«ã‚·ãƒ³ãƒ—ルãªè¨€è‘‰ã§ã™ã。他ã®ãƒã‚ºãƒ¯ãƒ¼ãƒ‰ã¨åŒæ§˜ã«æ¶ˆè²»ã•ã‚Œã¦ã„ã言葉ã®1ã¤ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€ã‚ˆã†ã‚„ã時代ãŒã“ã®ã‚ˆã†ãªã‚·ãƒ³ãƒ—ルãªè¡¨ç¾ã§æƒ…å ±ç¤¾ä¼šã‚’èªžã‚Œã‚‹ã»ã©ã€æˆç†Ÿã—ã¦ããŸã“ã¨ã®è¡¨ã‚Œã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。 2004å¹´ã«ç”³è«‹ã—ã€2005å¹´ã‹ã‚‰ã‚¹ã‚¿ãƒ¼ãƒˆã—ãŸã€Œæƒ…å ±çˆ†ç™ºãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã€ã§ã¯ã€21 世紀ã«å…¥ã‚Šäººé¡žãŒç”Ÿã¿å‡ºã™æƒ…å ±é‡ãŒæ€¥æ¿€ã«å¢—大ã™ã‚‹ã‚ˆã†ã«ãªã£ãŸç¾è±¡ã‚’ã€Œæƒ…å ±çˆ†ç™ºã€ã¨æ‰ãˆã€æƒ…å ±çˆ†ç™ºã‹ã‚‰æ´¾ç”Ÿã™ã‚‹å¤šæ§˜ãªèª²é¡Œã‚’自ら明確化ã™ã‚‹ã¨å…±ã«ã€ãれらã«ç«‹ã¡å‘ã‹ã„１ã¤ãšã¤ãã®ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã‚’考ãˆã¦è¡Œã“ã†ã¨ã„ã†ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§ã—ãŸã€‚ã§ã™ã‹ã‚‰ã€
ビッグデータã¯ãªã„ã‘ã©ãƒãƒƒãƒå‡¦ç†ã¯ã‚る　ãã‚“ãªä¼æ¥ã“ãHadoopã‚’
å°åˆ·ã™ã‚‹ メールã§é€ã‚‹ テã‚スト HTML é›»åæ›¸ç± PDF ダウンãƒãƒ¼ãƒ‰ テã‚スト é›»åæ›¸ç± PDF クリップã—ãŸè¨˜äº‹ã‚’Myページã‹ã‚‰èªã‚€ã“ã¨ãŒã§ãã¾ã™ 日立ソリューションズã¯12月2æ—¥ã€æ±äº¬ãƒ»å“å·ã§ã€ŒHadoopãŒå°Žã分散処ç†ã«ãŠã‘る次世代ã®ãƒãƒƒãƒå‡¦ç†é–‹ç™ºã¨ã¯ã€œAsakusa Frameworkã«ã‚ˆã‚‹Hadoopエンタープライズé©ç”¨ã‚»ãƒŸãƒŠãƒ¼ã€œã€ã‚’開催ã—ãŸã€‚ 本稿ã§ã¯ãã®ã†ã¡ã€æ—¥ç«‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã‚º 技術統括本部 技術開発本部 オープンソース技術開発センタ 担当部長 å‰ç”°è¡Œç”·æ°ã«ã‚ˆã‚‹è¬›æ¼”「日立ソリューションズã®Hadoopã¸ã®å–り組ã¿ã€œAsakusa Frameworkã¨JP1/AJS連æºã«ã¤ã„ã¦ã€œã€ã®æ¦‚è¦ã‚’紹介ã™ã‚‹ã€‚（関連記事：Hadoop＆Asakusaを基幹æ¥å‹™ã§ä½¿ã„倒ã™--ノーãƒãƒ©ã‚¹ 神林飛志æ°ï¼‰ Hadoopã«ã‚ˆã‚‹ã€Œæ¥å‹™ãƒãƒƒãƒå‡¦ç†ã€ã®é«˜é€ŸåŒ– 日立ソリューションズã¯å‰èº«ã®æ—§æ—¥ç«‹ã‚½ãƒ•
Hadoop実行環境をWindows上ã«ç°¡å˜ã«æ§‹ç¯‰ã™ã‚‹æ–¹æ³•: TBヘッドライン
ã“ã‚“ã«ã¡ã¯ã€ã‚·ã‚¹ãƒ†ãƒ 開発部ã®KTã§ã™ã€‚ 今回ã¯ã€Windows上ã«Hadoopã®å®Ÿè¡Œç’°å¢ƒã‚’構築ã™ã‚‹ãŸã‚ã®ãŠæ‰‹è»½ãªæ–¹æ³•ã‚’紹介ã—ã¾ã™ã€‚ Hadoopã¯å†…部ã§Linuxコマンドを使用ã—ã¦ã„ã‚‹ãŸã‚ã€æœ¬æ ¼çš„ã«ä½¿ç”¨ã™ã‚‹ãŸã‚ã«ã¯Linux環境を準備ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚一応Windows環境ã¸ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‚‚å¯èƒ½ã§ã™ãŒã€ãã®å ´åˆã¯åˆ¥é€”Cygwinç‰ã‚’使用ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã€ã„ãšã‚Œã«ã—ã¦ã‚‚個人ベースã§è¡Œã†ã«ã¯ç’°å¢ƒã‚’æ•´ãˆã‚‹ã¾ã§ã«ã‚る程度ã®æ‰‹é–“ãŒã‹ã‹ã£ã¦ã—ã¾ã„ã¾ã™ã€‚ ãã®ãŸã‚ã€ã€Œå··ã§è©±é¡Œã®Hadoopã«ã¡ã‚‡ã£ã¨ã ã‘触れã¦ã¿ãŸã„ï¼ã€ã¨ã„ã£ãŸæ¯”較的軽ã„æ°—æŒã¡ã®äººé”ã«ã¨ã£ã¦ã¯ã€ãªã‹ãªã‹æ‰‹ã‚’出ã—è¾›ã„代物ã«ãªã£ã¦ã—ã¾ã£ã¦ã„ã‚‹ã®ã§ã¯ãªã„ã§ã—ょã†ã‹ã€‚ ã“ã“ã§ã¯ãã‚“ãªæ–¹ã€…ã®ãŸã‚ã«ã€Windows環境ã«ç°¡å˜ç°¡æ½”ã«Hadoopã®å®Ÿè¡Œç’°å¢ƒã‚’構築ã™ã‚‹æ‰‹é †ã‚’紹介ã—ã¾ã™ã€‚ 今回ã¯ã€VMPlayerã¨Cloudera社ãŒå…¬é–‹ã—ã¦ã„ã‚‹VMイメージ
Hadoopユーザー会 - Google Groups
日本ã§æ‰èƒ½ã®ã‚ã‚‹Hadoopã®å°‚門家を探ã—ã¦ã„ã¾ã™ シニアソリューションコンサルタント https://cloudera.wd5.myworkdayjobs.com/External_Career/
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Product tutorials | Cloudera
What is map side join and reduce side join? Which one is better? - Quora
What is the best way to shut down Hortonworks sandbox without corrupting it using virtualbox? - Hortonworks
Evernote
Oedo Ruby Conference 04: Ruby会è°ã§SQLã®è©±ã‚’ã™ã‚‹ã®ã¯é–“é•ã£ã¦ã„ã‚‹ã ã‚ã†ã‹
å¾¡å¾’ç”ºï¼ MultiVersionConcurrentClimber(MVCC) on Twitter: "今日ã®ã‚¤ãƒ™ãƒ³ãƒˆã®èª¬æ˜Žã§ã‚‚ã€ãƒ—レゼンã§çš†ã•ã‚“ãŒã€Œã¸ãƒ¼ã€ã¨ã‹ã„ã†ã®ã¯ã€Hadoopã®å®Ÿæ…‹ã¯çµå±€ã¯åˆ†æ•£IOã ã¨ã„ã†ã“ã¨ã€‚未ã ã«ã€æ•¢ãˆã¦è¨€ã†ãŒâ€æœªã ã«â€ã€€ã€Œãªã‚“ã§ã€ãƒ“ッグデータãŒRDBMSã§å‡¦ç†ãŒã§ããšã«ã€Hadoopã§å‡¦ç†ãŒã§ãã‚‹ã®ã‹ï¼Ÿã€ã¨ã„ã†è‡³æ¥µã‚ãŸã‚Šã¾ãˆã®äº‹ã™ã‚‰çŸ¥ã‚‰ã‚Œã¦ã„ãªã„。"
United States
{{#tags}}- {{label}}
{{/tags}}