TwitterãŒMapReduceストリーミングフレームワークSummingbirdをオープンソースã«
Spring Bootã«ã‚ˆã‚‹APIãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰æ§‹ç¯‰å®Ÿè·µã‚¬ã‚¤ãƒ‰ 第2版 何åƒäººã‚‚ã®é–‹ç™ºè€…ãŒã€InfoQã®ãƒŸãƒ‹ãƒ–ック「Practical Guide to Building an API Back End with Spring Bootã€ã‹ã‚‰ã€Spring Bootを使ã£ãŸREST API構築ã®åŸºç¤Žã‚’å¦ã‚“ã 。ã“ã®æœ¬ã§ã¯ã€å‡ºç‰ˆæ™‚ã«æ–°ã—ãリリースã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹ Spring Boot 2 を使用ã—ã¦ã„る。ã—ã‹ã—ã€Spring Boot3ãŒæœ€è¿‘リリースã•ã‚Œã€é‡è¦ãªå¤‰...
試ã™ã®ãŒé›£ã—ã„―機械å¦ç¿’ã®å¸¸è˜ã¯Mahoutã§å¤‰ã‚ã‚‹
ビッグデータ時代―ãªãœã€ã„ã¾æ©Ÿæ¢°å¦ç¿’ãªã®ã‹ Apache Hadoop（以下ã€Hadoop）ã®ç™»å ´ã§ã€ä»Šã¾ã§æ¨ã¦ã¦ã„ãŸãƒ‡ãƒ¼ã‚¿ã€è²¯ã‚ã‚‹ã ã‘ã§å‡¦ç†ã—ãã‚Œãªã‹ã£ãŸãƒ‡ãƒ¼ã‚¿ã‚’活用ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ 活用手段ã¨ã—ã¦æœ€è¿‘ã¨ã¿ã«æ³¨ç›®ã•ã‚Œã¦ã„る技術ãŒã€Œæ©Ÿæ¢°å¦ç¿’ã€ã§ã‚ã‚Šã€Hadoopã®å¼·ã¿ã‚’生ã‹ã—ç°¡å˜ã«æ©Ÿæ¢°å¦ç¿’ã‚’è¡Œã†ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリãŒã€ã€ŒApache Mahoutã€ï¼ˆä»¥ä¸‹ã€Mahout）ã§ã™ã€‚ 本稿ã§ã¯Mahoutã‚’å‹•ã‹ã—ã¦ã¿ã‚‹ã“ã¨ã§ã€æ©Ÿæ¢°å¦ç¿’ã®å¸¸è˜ã‚’身ã«ä»˜ã‘ã¾ã™ã€‚ ãã‚‚ãã‚‚ã€æ©Ÿæ¢°å¦ç¿’ã¨ã¯ï¼Ÿ 機械å¦ç¿’ã¨ã¯ã€ä¸€å®šã®ãƒ‡ãƒ¼ã‚¿ã‚’コンピュータ・プãƒã‚°ãƒ©ãƒ ã«ã€Œå¦ç¿’ã€ã•ã›ï¼ˆã™ãªã‚ã¡ã€ãã®ãƒ‡ãƒ¼ã‚¿ã«æ½œã‚€ãƒ‘ターンやè¦å‰‡æ€§ã‚’表ã™ã€Œãƒ¢ãƒ‡ãƒ«ã€ã‚’自動的ã«æ§‹ç¯‰ã•ã›ï¼‰ã€ä»–ã®ãƒ‡ãƒ¼ã‚¿ã«ãã®ãƒ¢ãƒ‡ãƒ«ã‚’é©ç”¨ã™ã‚Œã°ã€ã‚ãŸã‹ã‚‚人間ã®ã‚ˆã†ã«è¤‡é›‘ã§æŸ”軟ãªåˆ¤æ–ãŒè¡Œãˆã‚‹ã‚ˆã†ã«ã™ã‚‹ã¨ã„ã†è©¦ã¿ã§ã™ã€‚ 機械å¦ç¿’をビジãƒã‚¹ã«æ´»ç”¨ã—ãŸä¾‹ã¯ã€ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ï¼ˆãƒ¦ãƒ¼ã‚¶ãƒ¼ã‚„商å“
Cloudera impalaã®æ€§èƒ½è©•ä¾¡ï¼ˆHiveã¨ã®æ¯”較）
2. ã¯ã˜ã‚㫠—  「impalaãŒHadoop MapReduceã®Hiveより1æ¡é€Ÿã„ã€ï¼ˆâ€»ï¼‰ã¨èž ã„ã¦ã€æ™®æ®µæ¥å‹™ã«ã¦ä½¿ç”¨ã—ã¦ã„ã‚‹Hiveより本当ã«é€Ÿã„ã®ã‹ã‚’検 証ã—㟠—  普段ã®æ¥å‹™ã§ã¯â€¦ —  CDH3ã§Hadoopクラスタを構築 —  Webã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’Snappyã§åœ§ç¸®ã—ã¦RCFileã§HDFSã«ä¿å˜ —  Map処ç†å‡ºåŠ›ã¨Reduce処ç†å‡ºåŠ›ã‚‚å…±ã«Snappyã§åœ§ç¸® —  Thriftサービス経由ã§PHPã‹ã‚‰Hiveã§ã‚¯ã‚¨ãƒªã‚’実行 ※出典 Cloudera Impala：Apache Hadoopã§å®Ÿç¾ã™ã‚‹ã€ãƒªã‚¢ãƒ«ã®ãŸã‚ã®ãƒªã‚¢ ルタイムクエリ
AWSã®Amazon Elastic MapReduce(EMR)ã§Hiveを使ã†æ‰‹é † | takemikami's note
自å‰ã§Hadoopをインストールã›ãšã¨ã‚‚〠AmazonWebService(AWS)ã§æ‰‹è»½ã«Hadoopを利用ã™ã‚‹äº‹ãŒã§ãã‚‹ã¨ã„ã†ã“ã¨ã§ã€ Elastic MapReduce(EMR)環境ã§Hiveを利用ã—ã¦ã¿ã¾ã—ãŸã€‚ ã“ã“ã§ã¯ã€ä»¥ä¸‹ã®ã‚ˆã†ãªæ‰‹é †ã§Hiveを利用ã™ã‚‹æ‰‹é †ã‚’示ã—ã¾ã™ã€‚ S3ã«Hive用ã®bucketを作æˆAmazon Elastic MapReduce Ruby Clientã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—S3ã«ãƒ‡ãƒ¼ã‚¿ã‚’é…ç½®Hiveインタラクティブモードã§Elastic MapReduceを起動作æˆã—ãŸHiveスクリプトをãƒãƒƒãƒå‡¦ç†ã§å®Ÿè¡ŒS3ã«Hive用ã®bucketを作æˆHive用ã®ãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã™ã‚‹ãŸã‚ã€S3ã«bucketを作りã¾ã™ã€‚ 「AWS Management Consoleã€ã§S3ã‚’é¸ã³ã€ 「Bucketsã€ã®ã€ŒCreate Bucketã€ã‚’é¸æŠžã—ã¦ã€ 「Bucket Nameã€ã‚’
Facebookã€åˆ†æ•£SQLエンジン「Prestoã€å…¬é–‹ã€‚大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’MapReduce/Hiveã®10å€åŠ¹çŽ‡ã‚ˆã処ç†ã™ã‚‹ã¨
Facebookã¯ã€æ•°ãƒšã‚¿ãƒã‚¤ãƒˆç´šã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã‚‚ã€å¯¾è©±çš„ã«ã‚¢ãƒ‰ãƒ›ãƒƒã‚¯ãªå•ã„åˆã‚ã›ã‚’å¯èƒ½ã«ã™ã‚‹åˆ†æ•£SQLエンジン「Prestoã€ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã—ã¾ã—ãŸã€‚ Prestoã¯Facebook社内ã§å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã®ãŸã‚ã«é–‹ç™ºã•ã‚Œã€ã™ã§ã«åŒç¤¾ç¤¾å†…使ã‚ã‚Œã¦ã„ã‚‹ã‚‚ã®ã€‚ Facebookã¯Prestoを開発ã—ãŸèƒŒæ™¯ã¨ã—ã¦ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’Hadoop/HDFSベースã§ä¿å˜ã—ãŸã‚‚ã®ã®ã€ãƒãƒƒãƒæŒ‡å‘ã®MapReduceã§ã¯ãªãã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性ã«å„ªã‚ŒãŸå‡¦ç†ãŒå¿…è¦ã«ãªã£ãŸãŸã‚ã ã¨ã€æ¬¡ã®ã‚ˆã†ã«èª¬æ˜Žã—ã¦ã„ã¾ã™ã€‚ Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
Apache Sparkã£ã¦ã©ã‚“ãªã‚‚ã®ã‹è¦‹ã¦ã¿ã‚‹ï¼ˆãã®ï¼‘ - 夢ã¨ã‚¬ãƒ©ã‚¯ã‚¿ã®é›†ç©å ´
ã“ã‚“ã«ã¡ã¯ã€‚ Kafkaを試ã—ã¦ã„る最ä¸ã§å¾®å¦™ã§ã™ãŒã€æœ€è¿‘使ãˆã‚‹ã®ã‹ãªãã€ã¨æƒ…å ±ã‚’é›†ã‚ã¦ã„ã‚‹ã®ãŒã€ŒApache Sparkã€ã§ã™ã€‚ MapReduceã¨åŒã˜ã分散並行処ç†ã‚’è¡Œã†åŸºç›¤ãªã®ã§ã™ãŒã€MapReduceよりも数åå€é€Ÿã„ã¨ã‹ã®æƒ…å ±ãŒã‚ã‚Šã¾ã™ã€‚ ・・・んãªé˜¿å‘†ãªã€ã¨ã‚‚æ€ã£ãŸã®ã§ã™ãŒã€å†…部ã§ä¿æŒã—ã¦ã„ã‚‹RDDã¨ã„ã†ä»•çµ„ã¿ãŒé¢ç™½ã„ã“ã¨ã‚‚ã‚り〠ã¨ã‚Šã‚ãˆãšè³‡æ–™ã‚„論文をèªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ ã¾ãšè¦‹ã¦ã¿ãŸè³‡æ–™ã¯ã€ŒOverview of Sparkã€ï¼ˆhttp://spark.incubator.apache.org/talks/overview.pdf）ã§ã™ã€‚ ã¨ã„ã†ã‚ã‘ã§ã€èªã‚“ã çµæžœã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã™ã€‚ Sparkã¨ã¯ï¼Ÿ 高速ã§ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ãªè¨€èªžçµ±åˆã‚¯ãƒ©ã‚¹ã‚¿ã‚³ãƒ³ãƒ”ューティング基盤 Sparkプãƒã‚¸ã‚§ã‚¯ãƒˆã®ã‚´ãƒ¼ãƒ«ã¯ï¼Ÿ 以下ã®2ã¤ã®è§£æžãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ã«ã‚ˆã‚Šé©åˆã™ã‚‹ã‚ˆã†MapReduceã‚’æ‹¡å¼µ
CentOSã§Hadoopを使ã£ã¦ã¿ã‚‹ - Y's note
__ __ __ / / / /___ _____/ /___ ____ ____ / /_/ / __ ‘/ __ / __ \/ __ \/ __ \ / __ / /_/ / /_/ / /_/ / /_/ / /_/ / /_/ /_/\__,_/\__,_/\____/\____/ .___/ /_/ インストール hadoopã‚’centosã«å…¥ã‚Œã¦ã¿ã‚‹ã€‚最新ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯2011/11/25æ—¥ã®æ®µéšŽã§ã¯0.23.0 å„Linuxディストリビューションã«å¯¾å¿œæ¸ˆã¿ã®cdh3(Cloudera Distribution including Apache Hadoop v3)を入れる。cdh3ã®æœ€æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯0.20.0 hadoopã®ä»–ã«æ„‰å¿«ãªä»²é–“é”ã®hive,pig,hbaseも入れる。 jdkã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« hadoopã¯javaã§å‹•ãã®ã§å½“然必è¦ã¨ãªã‚‹ã€‚æ—¢ã«ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ¸ˆã¿ã®å ´
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹
Facebookã€Hadoopã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティå•é¡Œã‚’解決ã™ã‚‹ã€ç‹¬è‡ªã®ã€ŒHadoop Coronaã€ã‚’オープンソースã§å…¬é–‹ Facebookã§ã¯ã€24時間ã”ã¨ã«0.5ペタãƒã‚¤ãƒˆã®ãƒ‡ãƒ¼ã‚¿ãŒç”Ÿæˆã•ã‚Œã€ãれらを分æžã™ã‚‹ãŸã‚ã«æ¯Žæ—¥6万回以上もã®Hiveã®ã‚¯ã‚¨ãƒªãŒå®Ÿè¡Œã•ã‚Œã¦ã„ã‚‹ãã†ã§ã™ã€‚ ã“ã†ã—ãŸå¤§è¦æ¨¡å‡¦ç†ã‚’è¡Œã†ãƒ—ラットフォームã¨ã—ã¦ä½¿ã‚ã‚Œã¦ã„ã‚‹ã®ãŒHadoop。ã—ã‹ã—Facebookã¯Hadoop MapReduceã®ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã«é™ç•Œã‚’æ„Ÿã˜ã¦ãŠã‚Šã€ãれを解決ã™ã‚‹ãŸã‚ã®æ–°ã—ã„ソフトウェア「Hadoop Coronaã€ã‚’開発ã€ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã—ã¾ã—ãŸã€‚ Facebookã®ãƒšãƒ¼ã‚¸ã€ŒUnder the Hood: Scheduling MapReduce jobs more efficiently with Coronaã€ã§ã¯ã€å¾“æ¥ã®Hadoop MapReduceã®ã©ã“ã«èª²é¡ŒãŒã‚ã£ãŸã®ã‹ã€4ã¤
MapReduceã¯ä»Šå¾Œã©ã†ãªã‚‹ã®ã‹ï¼Ÿ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
2012å¹´ã®ç¾åœ¨ã€å‰²ã¨æ‚©ã‚“ã§ã„ã‚‹ã®ã§ãƒ¡ãƒ¢ã£ã¦ãŠã。 年度末ãらã„ã«å†èª¿æŸ»ã®äºˆå®šã€‚・・ãªã®ã§æš«å®šã§ã™ã‚ˆã€‚ ã¾ãšå‰æã¨ã—ã¦ã€ç¾è¡Œã®Hadoopã®å®Ÿè¡Œãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã‚ã‚‹MapReduceã¯ã€å®Ÿè¡ŒåŠ¹çŽ‡ã¯æ±ºã—ã¦è‰¯ãã¯ãªã„ã§ã™ã€‚ã“ã®è¾ºãŒå‰²ã¨è¾›ã„。 ã¨ã¯ã„ãˆã€å¤§è¦æ¨¡ä¸¦åˆ—処ç†ã‚’一般的ã«è¡Œã†ã¨ã„ã†è¦³ç‚¹ã§ã®å“質やå–り回ã—を考ãˆãŸå ´åˆã€â€çµæžœã¨ã—ã¦â€éžå¸¸ã«ãƒãƒ©ãƒ³ã‚¹ãŒã¨ã‚Œã¦ãŠã‚Šã€æ™®åŠã—ã¦ã„る。ãã®ä¸Šã§ã€ã“ã®MapReduceã§ã™ãŒã€ä»Šå¾Œã®è¦‹é€šã—ã«ã¤ã„ã¦ã¯ã€æ½®æµã¯ä»Šã®ã¨ã“ã‚二ã¤ã«å‰²ã‚Œã¦ã„るよã†è¦‹ãˆã‚‹ã€‚ã®ã§ã€ãã®è¾ºã®ãƒ¡ãƒ¢ã€‚ â– YARN 一ã¤ã®æ–¹å‘性ã¯ã€ç¾åœ¨ã®Hadoop2.0ç³»ã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹MapReduce2.0ã€ã¨ã„ã†ã‹ã€MapReduceã¨ã¯åˆ¥ã®å®Ÿè¡ŒåŸºç›¤ã‚’利用ã™ã‚‹ã¨ã„ã†æ–¹å‘ã§ã™ã。ã™ãªã‚ã¡BSPã‚„ã€MPIを利用ã™ã‚‹ã€‚è¦ã¯ã€ä»Šã¾ã§ã®ä¸¦åˆ—処ç†ã®æˆæžœã‚’ãã®ã¾ã¾åˆ©ç”¨ã—ã¾ã—ょã†ã€ã¨ã„ã†æµã‚Œã«è¿‘ã„。 MapReduce
MapReduceã§ãã‚‹10個ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ - データサイエンティスト上ãŒã‚Šã®DXå‚謀・起æ¥å®¶
Hadoopã¨Mahoutã«ã‚ˆã‚Šã€ãƒ“ッグデータã§ã‚‚機械å¦ç¿’ã‚’è¡Œã†ã“ã¨ãŒã§ãã¾ã™ã€‚Mahoutã§å®Ÿè£…ã•ã‚Œã¦ã„る手法ã¯ã€å…¨ã¦åˆ†æ•£å‡¦ç†ã§ãるアルゴリズムã¨ã„ã†ã“ã¨ã«ãªã‚Šã¾ã™ã€‚Mahoutã§å®Ÿè£…ã•ã‚Œã¦ã„るアルゴリズムã¯ã€ã“ã“ã«åˆ—挙ã•ã‚Œã¦ã„ã¾ã™ã€‚è«–æ–‡ã¨ã—ã¦ã‚‚ã€2006å¹´ã«ã€ŒMap-Reduce for Machine Learning on Multicoreã€ã¨ã—ã¦ã„ãã¤ã‹ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒç´¹ä»‹ã•ã‚Œã¦ã„ã¾ã™ã€‚ ãã“ã§ä»Šå›žã¯ã€ï¼ˆä½•ç•ªç…Žã˜ã‹åˆ†ã‹ã‚Šã¾ã›ã‚“ãŒè‡ªåˆ†ã®ç†è§£ã®ãŸã‚ã«ã‚‚）ã“ã®è«–æ–‡ã§ç´¹ä»‹ã•ã‚Œã¦ã„るアルゴリズムã¨ã€ã©ã†ã‚„ã£ã¦åˆ†æ•£å‡¦ç†ã™ã‚‹ã®ã‹ã‚’ç°¡å˜ã«ãƒ¡ãƒ¢ã—ã¦ãŠããŸã„ã¨æ€ã„ã¾ã™ã€‚計算ã™ã‚‹ã¹ã統計é‡ãŒã€summation form（足ã—ç®—ã§è¡¨ç¾ã§ãる形）ã«ãªã£ã¦ã„ã‚‹ã‹ã©ã†ã‹ãŒã€é‡è¦ãªãƒã‚¤ãƒ³ãƒˆã§ã™ã€‚ãªã£ã¦ãªã„å ´åˆã¯ã€â€ã†ã¾ãâ€MapReduceã®å½¢ã«ãƒãƒ©ã™å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ ※例ã«ã‚ˆã£ã¦ã€é–“é•ã„ãŒã‚ã£ãŸå ´åˆã¯éšæ™‚
MapReduceã®ãƒ‘ターンã€ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã€ãã—ã¦ãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ - ãã—ã ã®Hatena
Ilya Katsovæ°ã«ã‚ˆã‚‹ã€ŒMapReduce Patterns, Algorithms, and Use Casesã€ã®ç¿»è¨³ http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書ãã«å…¥ã‚Œã¦æŽ¨æ•²ã™ã‚‹ã¤ã‚‚ã‚ŠãŒã€ãªã‚“ã‹å…¬é–‹ã•ã‚Œã¦ã—ã¾ã£ã¦ã„ãŸã®ã§ã€ã‚ã¨ã§ã„ã‚ã„ã‚ä¿®æ£ã™ã‚‹ã¨æ€ã„ã¾ã™) February 1, 2012 ã“ã®è¨˜äº‹ã§ã¯ã€Webや科å¦è«–æ–‡ã§è¦‹ã‚‰ã‚Œã‚‹ç•°ãªã‚‹ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ã®ä½“系的ãªè¦–点を与ãˆã‚‹ãŸã‚ã«ã€æ•°ã€…ã®MapReduceパターンã¨ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã‚’ã¾ã¨ã‚ãŸã€‚ ã„ãã¤ã‹ã®å®Ÿç”¨çš„ãªã‚±ãƒ¼ã‚¹ã‚¹ã‚¿ãƒ‡ã‚£ã‚‚æä¾›ã—ã¦ã„る。 ã™ã¹ã¦ã®èª¬æ˜Žã¨ã‚³ãƒ¼ãƒ‰ã‚¹ãƒ‹ãƒšãƒƒãƒˆã§ã¯ã€Mapperã€Reducerã€Combinerã€Partitionaerã€ã‚½ãƒ¼ãƒ†ã‚£ãƒ³ã‚°ã«ãŠã„ã¦Hadoopã®æ¨™æº–çš„ãªMapReduceモデルを利用ã—ã¾ã™ã€‚ã“ã®ãƒ•ãƒ¬ãƒ¼
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹ï¼šHive――RDB使ã„ã®ãŸã‚ã®Hadoopガイド（å‰ç·¨ï¼‰ï¼ˆ1/3 ページ） Hadoop Hiveã¯Hadoop上ã§SQLライクãªã‚¯ã‚¨ãƒªæ“作ãŒå¯èƒ½ãªDWHå‘ã‘ã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚SQLã«è¿‘ã„æ“作ãŒå¯èƒ½ãªãŸã‚ã€HBaseよりもデータベースã«æ…£ã‚Œè¦ªã—ã‚“ã ã¿ãªã•ã‚“ã«ã¯ä½¿ã„å‹æ‰‹ãŒã„ã„ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。本稿ã§ã¯ã“ã®Hiveã®ä½¿ã„æ–¹ã¨ãƒ¬ãƒ“ューを行ã£ã¦ã„ãã¾ã™ã€‚
è€äººã¨MapReduce - ã¨ã—ã®ä»Šæ—¥ã§ã
若人: 我々ã¯ã€è¶…並列計算ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦MapReduceを実装ã—é‹ç”¨ã«æˆåŠŸã—ãŸã€‚ 1000å°ã®ã‚³ãƒ³ãƒ”ュータã§ã€1TBã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãŒ68秒ã§ã§ãã‚‹ã‚“ã ! ã“ã‚Œã¯ã€æœ‰å²ä»¥æ¥ã®å¿«æŒ™ã ã€ã©ã‚“ãªã‚‚ã‚“ã ã„![6] ç¿: ã‚～ã€æ°´ã‚’å·®ã—ã¦æ‚ªã„ã‚“ã ã‘ã©ããˆã€MapReduceãªã‚“ã¦æŠ€è¡“ã¯ããˆã€æˆ‘々データベースã®å°‚門家ãŒ40å¹´ã‚‚å‰ã‹ã‚‰ç ”究ã—ã¦ãŠã‚‹ã‚“よ。 ãã‚Œã«ã€MapReduceã¨åŒç‰ã®åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã®SQLエンジンも商用化ã•ã‚Œã¦ã„ã‚‹ã—。 ã“ã‚“ãªäº‹ã¯ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ç ”究分野ã®è«–æ–‡ã«å…¨éƒ¨ç™ºè¡¨ã•ã‚Œã¦ã„るよ。 å›ãŸã¡ã‚³ãƒ³ãƒ”ュータサイエンティストã¯ã€äººã®è«–文をèªã¾ã‚“ã‹ã‚‰ãªã€å›°ã£ãŸã‚‚ã‚“ã 。 ãã‚Œã«MapReduceã¯ã€æˆ‘々先é”ã®çŸ¥æµã‚’æ´»ã‹ã—ã¨ã‚‰ã‚“! 若人: MapReduceã«ä½•ã‹å•é¡ŒãŒã‚ã‚Šã¾ã™ã‹? 超簡å˜ã«ä¸¦åˆ—アプリãŒé–‹ç™ºã§ãã€è‡ªå‹•å®Ÿè¡Œã§ãã‚‹ã‚“ã§ã™ã‚ˆã€ã“ã‚“ãªã‚“システム今ã¾ã§ã«ç„¡ã„ã—ã€å¿«æŒ™ã§ã—ょ! ç¿: ã
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
PHP 㨠MySQL ã§ã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ã« MapReduce ã™ã‚‹
Apache Sparkâ„¢ - Unified Engine for large-scale data analytics
MapReduce Implementation | Fix My Bugs
{{#tags}}- {{label}}
{{/tags}}