第10回Cassandra勉強会ã«ã¦ç™ºè¡¨ã—ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã«ã€å‹‰å¼·ä¼šå¾Œã®ãƒ•ã‚£ãƒ¼ãƒ‰ãƒãƒƒã‚¯ã‚’åæ˜ ã•ã›ãŸç‰©ã§ã™ã€‚Read less
Cassandraã¨HBaseã®æ¯”較ã—ã¦å…¥é–€ã™ã‚‹NoSQL
第10回Cassandra勉強会ã«ã¦ç™ºè¡¨ã—ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã«ã€å‹‰å¼·ä¼šå¾Œã®ãƒ•ã‚£ãƒ¼ãƒ‰ãƒãƒƒã‚¯ã‚’åæ˜ ã•ã›ãŸç‰©ã§ã™ã€‚Read less
ã‚ー毎ã«å€¤ã‚’集計ã™ã‚‹æ–¹æ³• - ã²ã—ã ã¾ã®å¤‰æ›´å±¥æ´
ã²ã—ã ã¾ï¼¨ï¼°ã®æ›´æ–°å±¥æ´ã€‚ 主ã«ï¼´ï¼²ï¼°ï¼§ãƒªãƒ—レイã®å…ƒãƒã‚¿é›†ã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°æŠ€è¡“メモã¨è‡ªä½œã‚½ãƒ•ãƒˆã€å¥½ããªã‚²ãƒ¼ãƒ や音楽ã§ã™ã€‚ irofã•ã‚“ã¨daiksyã•ã‚“ãŒTwitter上ã§ã‚ーブレイク処ç†ã«ã¤ã„ã¦è©±ã—ã¦ã„ã¾ã—ãŸã€‚ ï¼ˆãƒªã‚¹ãƒˆã‚’é …ç›®ã”ã¨ã«é›†è¨ˆã™ã‚‹â†’「ブレイク処ç†ã€ã‚’定形ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¨ã—ã¦ç¿’ã„ã¾ã—ãŸâ†’ã“ã‚“ãªè§£ã‚Šã«ãã„ã®ã€ãªã‚“ã§å¥½ã‚“ã§æ›¸ãã‚“ã ã‚ã†ï¼‰ ã‚ーブレイク処ç†ã¨ã„ã†ã®ã¯ã€ãƒ‡ãƒ¼ã‚¿ã‚’ã‚ーã§ã‚½ãƒ¼ãƒˆã—ã¦ãŠã„ã¦é †ç•ªã«èªã¿è¾¼ã¿ã€ã‚ーãŒåŒã˜å€¤ã®é–“ã«å‡¦ç†ï¼ˆã‚ˆãã‚ã‚‹ã®ãŒé›†è¨ˆï¼‰ã‚’続ã‘る。ã‚ーãŒé•ã†å€¤ã«ãªã£ãŸã‚‰ï¼ˆã‚ーãŒãƒ–レイクã—ãŸã‚‰ï¼‰é›†è¨ˆå€¤ã‚’出力ã—ã€é›†è¨ˆç”¨å¤‰æ•°ã‚’クリアã—ã¦ã¾ãŸå‡¦ç†ã‚’続ã‘る。ã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã§ã™ã€‚ ã²ã¨ã¤å‰ã®ã‚ーã®å€¤ã‚’ä¿æŒã—ã¦ãŠã変数ãŒå¿…è¦ã§ã€æœ€åˆã¯ãれをã©ã†ã„ã†å€¤ã«ã—ã¦ãŠãã‹ã€ã¾ãŸã€ãƒ«ãƒ¼ãƒ—を抜ã‘ãŸå¾Œã«æœ€å¾Œã®ã‚ーã®é›†è¨ˆå€¤ã‚’出力ã™ã‚‹å¿…è¦ãŒã‚ã‚‹ã‹ã€ã¨ã„ã£ãŸè¾ºã‚Šã‚‚考慮ã—ãªã„ã¨ã„ã‘ãªã„ã®ã§ã€æ…£ã‚Œãªã„ã¨åˆ†ã‹
「オンプレミス・システムã®çµ‚ã‚ã‚Šã€ã®å§‹ã¾ã‚Šã€œAWSã§ã®ãƒŸãƒƒã‚·ãƒ§ãƒ³ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ã‚·ã‚¹ãƒ†ãƒ ã®ç¨¼åƒ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
個人的ã«ã¯å‰²ã¨å¤§å¤‰ã ã£ãŸã®ã§ã€ãã®è¾ºã‚’ã¾ã¨ã‚ã¦ãŠãã¾ã™ã€‚ ニュースリリースã¯ã“ã¡ã‚‰ã€‚ http://www.nautilus-technologies.com/topics/20130409.html è¦ã™ã‚‹ã«æœ¬éƒ¨ç³»ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰åŸºå¹¹ã‚·ã‚¹ãƒ†ãƒ ã®ã€Œä¸€å¼ã€ã®ã‚¯ãƒ©ã‚¦ãƒ‰ç§»è¡Œã§ã™ã€‚完全ãªãƒŸãƒƒã‚·ãƒ§ãƒ³ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ã‚·ã‚¹ãƒ†ãƒ ã§ã€æ¢ã¾ã£ãŸæ®µéšŽã§æ¥å‹™ã«ç¢ºå®Ÿã«å½±éŸ¿ãŒå‡ºã¾ã™ã€‚ システムã®æ©Ÿèƒ½æ¦‚è¦ 1.売上ã®ç¢ºå®šå‡¦ç†ã¨å‚µæ¨©ç®¡ç† POSデータã®ç›´çµã§ã™ã€‚売上確定処ç†ã‚’è¡Œã„ã¾ã™ã€‚åŒæ™‚ã«å‚µæ¨©ç®¡ç†ã‚‚è¡Œã„ã€F/Bã‹ã‚‰ã®å…¥é‡‘データをãã®ã¾ã¾ã¤ãªãŽè¾¼ã¿ã€å…¥é‡‘処ç†ãƒ»å‚µæ¨©ã®æ¶ˆã—è¾¼ã¿å‡¦ç†ã‚’実行ã—ã¾ã™ã€‚マッãƒãƒ³ã‚°ã¯è‡ªå‹•å‡¦ç†ã§ãã‚‹ã‚‚ã®ã¯å‡¦ç†ã‚’è¡Œã„ã€ãƒ’ューリスティックãªã‚‚ã®ã¯ãƒ¦ãƒ¼ã‚¶ãƒ¼åˆ¤æ–ã«å¾“ã„ã¾ã™ã€‚ 2.仕入・費用ã®è¨ˆä¸Šã¨ç¢ºå®šå‡¦ç†ã€ãŠã‚ˆã³æ”¯æ‰•ã„データã®ä½œæˆ 費用・在庫ã®è¨ˆä¸Šç¢ºå®šå‡¦ç†ã§ã™ã€‚当時ã«æ”¯æ‰•ãƒ‡ãƒ¼ã‚¿ã®ç¢ºå®šå‡¦ç†ã‚’è¡Œã„ã¾ã™ã€‚EDI（BMS）ã¨ã®
試ã™ã®ãŒé›£ã—ã„―機械å¦ç¿’ã®å¸¸è˜ã¯Mahoutã§å¤‰ã‚ã‚‹
ビッグデータ時代―ãªãœã€ã„ã¾æ©Ÿæ¢°å¦ç¿’ãªã®ã‹ Apache Hadoop（以下ã€Hadoop）ã®ç™»å ´ã§ã€ä»Šã¾ã§æ¨ã¦ã¦ã„ãŸãƒ‡ãƒ¼ã‚¿ã€è²¯ã‚ã‚‹ã ã‘ã§å‡¦ç†ã—ãã‚Œãªã‹ã£ãŸãƒ‡ãƒ¼ã‚¿ã‚’活用ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ 活用手段ã¨ã—ã¦æœ€è¿‘ã¨ã¿ã«æ³¨ç›®ã•ã‚Œã¦ã„る技術ãŒã€Œæ©Ÿæ¢°å¦ç¿’ã€ã§ã‚ã‚Šã€Hadoopã®å¼·ã¿ã‚’生ã‹ã—ç°¡å˜ã«æ©Ÿæ¢°å¦ç¿’ã‚’è¡Œã†ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリãŒã€ã€ŒApache Mahoutã€ï¼ˆä»¥ä¸‹ã€Mahout）ã§ã™ã€‚ 本稿ã§ã¯Mahoutã‚’å‹•ã‹ã—ã¦ã¿ã‚‹ã“ã¨ã§ã€æ©Ÿæ¢°å¦ç¿’ã®å¸¸è˜ã‚’身ã«ä»˜ã‘ã¾ã™ã€‚ ãã‚‚ãã‚‚ã€æ©Ÿæ¢°å¦ç¿’ã¨ã¯ï¼Ÿ 機械å¦ç¿’ã¨ã¯ã€ä¸€å®šã®ãƒ‡ãƒ¼ã‚¿ã‚’コンピュータ・プãƒã‚°ãƒ©ãƒ ã«ã€Œå¦ç¿’ã€ã•ã›ï¼ˆã™ãªã‚ã¡ã€ãã®ãƒ‡ãƒ¼ã‚¿ã«æ½œã‚€ãƒ‘ターンやè¦å‰‡æ€§ã‚’表ã™ã€Œãƒ¢ãƒ‡ãƒ«ã€ã‚’自動的ã«æ§‹ç¯‰ã•ã›ï¼‰ã€ä»–ã®ãƒ‡ãƒ¼ã‚¿ã«ãã®ãƒ¢ãƒ‡ãƒ«ã‚’é©ç”¨ã™ã‚Œã°ã€ã‚ãŸã‹ã‚‚人間ã®ã‚ˆã†ã«è¤‡é›‘ã§æŸ”軟ãªåˆ¤æ–ãŒè¡Œãˆã‚‹ã‚ˆã†ã«ã™ã‚‹ã¨ã„ã†è©¦ã¿ã§ã™ã€‚ 機械å¦ç¿’をビジãƒã‚¹ã«æ´»ç”¨ã—ãŸä¾‹ã¯ã€ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ï¼ˆãƒ¦ãƒ¼ã‚¶ãƒ¼ã‚„商å“
MapReduceã®ã‚‚ã†ä¸€ã¤ã®ä½¿ã„æ–¹ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
MapReduceã¨ã„ã†ã¨é›†è¨ˆã«ä½¿ã†ãƒ¢ãƒŽã¨ã„ã†äººãŒå¤šã„ã¨æ€ã†ã€‚ ãªã‚“ã¨ãªã‚Œã°ã€MapReduceï¼Hadoopï¼ãƒ¯ãƒ¼ãƒ‰ã‚«ã‚¦ãƒ³ãƒˆã®å›³å¼ã«ãªã£ã¦ã„ã‚‹ã‹ã‚‰ã 。 実際ã€Hadoopを触ã£ã¦ã¿ã‚ˆã†ã¨ã„ã†äººã®ã»ã¨ã‚“ã©ã¯exampleã¨ã—ã¦ãƒ¯ãƒ¼ãƒ‰ã‚«ã‚¦ãƒ³ãƒˆã‚’使ã†ã¯ãšã€‚ãã®è¾ºã«è½ã¡ã¦ã‚‹ã‚·ã‚§ãƒ¼ã‚¯ã‚¹ãƒ”ã‚¢ã®ãƒã‚°ã§Hadoopã®exampleã‚’å‹•ã‹ã—ãŸäººã‚‚ãŠãŠã„ã¯ãšã€‚ ã¨ã“ã‚ãŒå®Ÿéš›ã«æ¥å‹™ãƒãƒƒãƒçš„ãªå‡¦ç†ã‚’è¡Œã†ã¨ãã«ã€MapReduceã®åŠ¹æžœçš„ãªä½¿ã„æ–¹ã¯åˆ¥ã«ã‚‚ã‚る。個人的ã¯ã€ã€Œæœ¬å½“ã®MapReduceã®ä½¿ã„ã‹ãŸã€ã¯ã“ã£ã¡ã ã¨æ€ã†ã€‚ãªã‚“ã¨ã„ã†ã“ã¨ã¯ãªãã¦ã€Œçµ„ã¿åˆã‚ã›è¨ˆç®—を高速ã«è¡Œã†ã€ã 。ã‚る種ã®è¨ˆç®—ã§ã¯ã€é †åºå‡¦ç†ã§ã‚®ãƒ–アップã—ã¦ã—ã¾ã†ã‚±ãƒ¼ã‚¹ã®ä¸€ã¤ã«çµ„ã¿åˆã‚ã›ã®è¨ˆç®—ãŒã‚ã‚‹ Node{ List<Node> nodeList value(){ hasNodeList() ? nodeList.traverse(value()
「データã®ãƒ©ã‚¤ãƒ•ãƒ»ã‚µã‚¤ã‚¯ãƒ«ã€ã§è€ƒãˆã‚‹Hadoopã®ä½¿ã„ã©ã“ã‚
「データã®ãƒ©ã‚¤ãƒ•ãƒ»ã‚µã‚¤ã‚¯ãƒ«ã€ã‚’考ãˆã‚‹ RDBMSã¯ã€ã€Œéžå®šåž‹å‡¦ç†ã¸ã®æ´»ç”¨ã€ã€ã€Œãƒãƒƒãƒå‡¦ç†ã®ã‚¹ã‚±ãƒ¼ãƒ«ãƒ»ã‚¢ã‚¦ãƒˆã€ã¨ã„ã†è¦³ç‚¹ã§é™ç•Œã«çªã当ãŸã£ã¦ã„ã¾ã™ã€‚ã—ã‹ã—ã€RDBMSã®è±Šå¯Œãªæ©Ÿèƒ½ãŒç¾ä»£ã®ã‚³ãƒ³ãƒ”ュータ・システムã«æ¬ ã‹ã›ãªã„å˜åœ¨ã§ã‚ã‚‹ã“ã¨ã‚‚é–“é•ã„ã‚ã‚Šã¾ã›ã‚“。ã“ã®çŸ›ç›¾ã‚’ã©ã†è§£æ±ºã™ã‚Œã°ã„ã„ã®ã§ã—ょã†ã‹ã€‚ ã“ã®å•é¡Œã‚’解決ã™ã‚‹éµã¯ã€ã€Œãƒ‡ãƒ¼ã‚¿ã®ãƒ©ã‚¤ãƒ•ãƒ»ã‚µã‚¤ã‚¯ãƒ«ã€ã«ã‚ã‚Šã¾ã™ã€‚ RDBMSã¯ã€ç®¡ç†ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã¯ã™ã¹ã¦ã€Œèµ·ãã¦ã„る（活動ã—ã¦ã„る）ã€ã€ã¤ã¾ã‚Šã€Œã„ã¤ã§ã‚‚æ›´æ–°ã•ã‚Œã‚‹å¯èƒ½æ€§ãŒã‚ã‚‹ã€ã“ã¨ã‚’å‰æã«è¨è¨ˆã•ã‚Œã¦ã„ã¾ã™ã€‚例ãˆã°ã€éŠ€è¡Œã®å£åº§æ®‹é«˜ã¯ã€ãƒãƒƒãƒå‡¦ç†ãŒé€²ã‚“ã§ã„る最ä¸ã«ã‚‚ã€ATMã‹ã‚‰ã®å¼•ã出ã—ãªã©ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã§æ›´æ–°ã•ã‚Œã‚‹å¯èƒ½æ€§ãŒã‚ã‚Šã¾ã™ã€‚ ã—ã‹ã—ã€ã™ã¹ã¦ã®ãƒ‡ãƒ¼ã‚¿ãŒã€Œèµ·ãã¦ã„ã‚‹ã€ã‚ã‘ã§ã¯ã‚ã‚Šã¾ã›ã‚“。例ãˆã°ã€éŠ€è¡Œå£åº§ã®ã€Œæ˜¨æ—¥ã®å–引履æ´ã€ã¯ã€éŽåŽ»ã®ãƒ‡ãƒ¼ã‚¿ãªã®ã§ã€æ›´æ–°ã•ã‚Œã‚‹å¯èƒ½æ€§ã¯ã¾ãšã‚ã‚Šã¾ã›ã‚“（éŽåŽ»ã®å–引履æ´ã‚’
第1回　Amazon Elastic MapReduceを使ã†æº–備をã™ã‚‹ | gihyo.jp
Amazon Elastic MapReduceã¨ã¯ 昨今ã€ãƒãƒƒãƒå‡¦ç†ã«Hadoopを活用ã™ã‚‹äº‹ä¾‹ãŒè©±é¡Œã«ãªã£ã¦ã„ã¾ã™ã€‚ãã®ä¸ã§ã‚‚特ç†ã™ã¹ããªã®ã¯ã€åˆ†æ•£å‡¦ç†æŠ€è¡“ã§ã‚ã‚‹MapReduceã§ã™ã€‚ã—ã‹ã—ã€MapReduceを実際ã«ä½¿ã†ã«ã¯ã€æ•°å°ã‹ã‚‰æ•°100å°ã®ã‚µãƒ¼ãƒã‚’用æ„ã—ã€Hadoopã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã‚‚ã—ãªã‘ã‚Œã°ãªã‚Šã¾ã›ã‚“。ãã®ã‚ˆã†ãªã‚µãƒ¼ãƒæ§‹ç¯‰ãƒ»ç®¡ç†ã€ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã®æ‰‹é–“ã‚’ç„¡ãã—ã€ã™ã使ãˆã‚‹ã®ãŒAmazon Web Service（AWS）ã®Elastic MapReduce（EMR）ã§ã™ã€‚ 図1　Amazon Elastic MapReduce AWSã€MapReduceã®èª¬æ˜Žã¯å¤šãã®æ›¸ç±ã€ãƒ–ãƒã‚°ãªã©ã‚’å‚ç…§ã—ã¦ãã ã•ã„。ã¾ãŸã€EMRを使用ã™ã‚‹ã«ã¯ã€ã¾ãšAWSã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã‚’作ã£ã¦ãŠãå¿…è¦ãŒã‚ã‚Šã¾ã™ãŒã€ãã®æ‰‹é †ã‚‚割愛ã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚本連載ã§ã¯EMRã®ä½¿ã„æ–¹ã€æ°—ã‚’ã¤ã‘ãªã‘ã‚Œã°ã„ã‘ãªã„点ãªã©ã‚’é‡ç‚¹çš„
クックパッドã¨Hadoop - クックパッド開発者ブãƒã‚°
ã¯ã˜ã‚ã¾ã—ã¦ã€‚今年ã®5月ã«å…¥ç¤¾ã—ãŸå‹é–“@ã•ãŒã™ãƒãƒ¼ãƒ ã§ã™ã€‚ 入社ã—ã¦ã‹ã‚‰ã¯ã€ãªã‹ãªã‹å¤§å¤‰ãªã“ã¨ã‚‚多ã„ã§ã™ãŒã€æœ€è¿‘ã¯ãŠé…’好ããŒé›†ã¾ã£ã¦æœˆæ›œã‹ã‚‰é£²ã¿åˆã† 「å‹é–“会ã€ãªã‚‹ã‚‚ã®ã‚‚発足ã—ã¦ã€ä»•äº‹é¢ã§ã‚‚仕事以外ã®é¢ã§ã‚‚密度ã®é«˜ã„毎日をéŽã”ã—ã¦ã„ã¾ã™ï¼ ã•ã¦ã€åƒ•ã¯ã€Œã•ãŒã™ã€ãƒãƒ¼ãƒ 所属ã¨ã„ã†ã“ã¨ã§ã€æ™®æ®µã¯ãƒ¬ã‚·ãƒ”を「ã•ãŒã™ã€ãƒ¦ãƒ¼ã‚¶ã®æº€è¶³åº¦ã‚’上ã’ã‚‹ãŸã‚ã«ã€ クックパッドã®æ¤œç´¢ã¾ã‚ã‚Šã«ã¤ã„ã¦ã€ã„ã‚ã„ã‚ãªé–‹ç™ºã‚’è¡Œã£ã¦ã„ã¾ã™ã€‚ 一方ã§ã€ãƒ¦ãƒ¼ã‚¶ã®ã€Œã•ãŒã™æ¬²æ±‚ã€ã«ã¤ã„ã¦æ·±ã知るãŸã‚ã«ã€å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿è§£æžã‚’è¡Œã„ã€æ¬²æ±‚ã®åˆ†æžã‚’è¡Œã†æ©Ÿä¼šã‚‚増ãˆã¦ãã¾ã—ãŸã€‚ ã¨ã“ã‚ãŒã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ãƒã‚°ã¯è†¨å¤§ãªæ•°ãŒã‚ã‚‹ã®ã§ã€ä¸€å£ã®ãƒ‡ãƒ¼ã‚¿è§£æžã¨è¨€ã£ã¦ã‚‚通常ã®ãƒãƒƒãƒå‡¦ç†ã ã¨é–“ã«åˆã‚ãªã„ãŸã‚〠分散処ç†ç’°å¢ƒã®å¿…è¦æ€§ãŒé«˜ã¾ã£ã¦ãã¾ã—ãŸã€‚ ãã“ã§ã€ã¾ãšã¯æ‰‹è»½ã«è©¦ã›ã‚‹åˆ†æ•£å‡¦ç†ã®çŽ‹é“ã¨ã„ã†ã“ã¨ã§ã€æœ€è¿‘ã§ã¯Hadoopを使ã£ãŸãƒ‡ãƒ¼ã‚¿è§£æžç’°å¢ƒã‚’æ•´å‚™ã—ã¦ã„ã¾ã™ã€‚
Hadoopã§ã€ã‹ã‚“ãŸã‚“åˆ†æ•£å‡¦ç† (Yahoo! JAPAN Tech Blog)
ãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã¯ã€2023å¹´10月1æ—¥ã«LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã«ãªã‚Šã¾ã—ãŸã€‚LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã®æ–°ã—ã„ブãƒã‚°ã¯ã“ã¡ã‚‰ã§ã™ã€‚LINEヤフー Tech Blog ã“ã‚“ã«ã¡ã¯ã€åœ°åŸŸã‚µãƒ¼ãƒ“ス事æ¥éƒ¨ã®å‰ç”°ä¸€æ˜Ÿã§ã™ã€‚ 今回ã¯ã€Hadoopã«ã¤ã„ã¦ã€Yahoo! JAPANã§ã®å®Ÿéš›ã®ä½¿ç”¨ä¾‹ã‚’交ãˆãªãŒã‚‰æ›¸ããŸã„ã¨æ€ã„ã¾ã™ã€‚Hadoopã¨ã¯ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’手軽ã«è¤‡æ•°ã®ãƒžã‚·ãƒ³ã«åˆ†æ•£ã—ã¦å‡¦ç†ã§ãるオープンソースã®ãƒ—ラットフォームã§ã™ã€‚ 複数ã®ãƒžã‚·ãƒ³ã¸ã®åˆ†æ•£å‡¦ç†ã¯ã€ãƒ—ãƒã‚»ã‚¹é–“通信やã€éšœå®³æ™‚ã¸ã®å¯¾å¿œãªã©ã‚’考ãˆãªã‘ã‚Œã°ãªã‚‰ãšã€ãƒ—ãƒã‚°ãƒ©ãƒžã«ã¨ã£ã¦æ•·å±…ãŒé«˜ã„ã‚‚ã®ã§ã™ãŒã€ Hadoopã¯ãã†ã„ã£ãŸé¢å€’ãã•ã„分散処ç†ã‚’一手ã«å¼•ãå—ã‘ã¦ãã‚Œã¾ã™ã€‚ 1å°ã§ã¯å‡¦ç†ã«ã‹ãªã‚Šæ™‚é–“ãŒã‹ã‹ã‚‹ã‚ˆã†ãªå¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚‚ã€è¤‡æ•°ãƒžã‚·ãƒ³ã«åˆ†æ•£ã•ã›ã‚‹ã“ã¨ã§ã€é©šãã¹ãスピードã§å‡¦ç†ã‚’è¡Œã†ã“ã¨ãŒã§ãã¾ã™ã€‚ 例ãˆã°ã€ä»Šã¾ã§1å°ã§ã‚„ã£ã¦ã„ãŸã€ã‚ã‚‹ãƒã‚°é›†è¨ˆå‡¦ç†
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹ï¼šHive――RDB使ã„ã®ãŸã‚ã®Hadoopガイド（å‰ç·¨ï¼‰ï¼ˆ1/3 ページ） Hadoop Hiveã¯Hadoop上ã§SQLライクãªã‚¯ã‚¨ãƒªæ“作ãŒå¯èƒ½ãªDWHå‘ã‘ã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚SQLã«è¿‘ã„æ“作ãŒå¯èƒ½ãªãŸã‚ã€HBaseよりもデータベースã«æ…£ã‚Œè¦ªã—ã‚“ã ã¿ãªã•ã‚“ã«ã¯ä½¿ã„å‹æ‰‹ãŒã„ã„ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。本稿ã§ã¯ã“ã®Hiveã®ä½¿ã„æ–¹ã¨ãƒ¬ãƒ“ューを行ã£ã¦ã„ãã¾ã™ã€‚
楽天版MapReduce・Hadoopã¯Rubyを活用 ï¼ ï¼ IT
2008/12/01 楽天ã¯11月29æ—¥ã€æ±äº¬ãƒ»å“å·ã®æœ¬ç¤¾ã§é–‹å‚¬ã—ãŸæŠ€è¡“系イベント「楽天テクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹2008ã€ã«ãŠã„ã¦ã€è¿‘ã„å°†æ¥ã«åŒç¤¾ã®Eã‚³ãƒžãƒ¼ã‚¹ã‚µãƒ¼ãƒ“ã‚¹ã€Œæ¥½å¤©å¸‚å ´ã€ã‚’支ãˆã‚‹è¨ˆç”»ãŒã‚ã‚‹Rubyベースã®å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†æŠ€è¡“「ROMAã€ï¼ˆãƒãƒ¼ãƒžï¼‰ã¨ã€Œfairyã€ï¼ˆãƒ•ã‚§ã‚¢ãƒªãƒ¼ï¼‰ã«ã¤ã„ã¦ã€ãã®æ¦‚è¦ã‚’明らã‹ã«ã—ãŸã€‚ レコメンデーションã®å‡¦ç†è‡ªä½“ã¯ã‚·ãƒ³ãƒ—ル æ¥½å¤©å¸‚å ´ã§ã¯ç¾åœ¨ã€2600万点ã®å•†å“ã‚’å–り扱ã„ã€4200万人ã®ä¼šå“¡ã«å¯¾ã—ã¦ã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„る。ã“ã®è¦æ¨¡ã®ä¼šå“¡æ•°ãƒ»å•†å“点数ã§ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³ï¼ˆå•†å“ã®æŽ¨è–¦ï¼‰ã‚’è¡Œã†ã®ã¯å®¹æ˜“ã§ã¯ãªã„。 ※記事åˆå‡ºæ™‚ã«æ¥½å¤©å¸‚å ´ã®ä¼šå“¡æ•°ã‚’4800万人ã¨ã—ã¦ã‚ã‚Šã¾ã—ãŸãŒã€ã“ã‚Œã¯æ¥½å¤©ã‚°ãƒ«ãƒ¼ãƒ—ã®ã‚µãƒ¼ãƒ“ス利用者全体ã®æ•°å—ã§ã—ãŸã€‚æ¥½å¤©å¸‚å ´ã®ä¼šå“¡æ•°ã¯æ£ã—ãã¯4200万人ã¨ã®ã“ã¨ã§ã™ã€‚ãŠè©«ã³ã—ã¦è¨‚æ£ã„ãŸã—ã¾ã™ã€‚ レコメンデーションã®ä»•çµ„ã¿ã¨ã—ã¦åŒç¤¾ã¯ã€ä¸€èˆ¬çš„ã§ã‚·ãƒ³ãƒ—ルãªã‚¢
Hadoop Streaming - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
id:naoya:20080511:1210506301 ã®ã‚¨ãƒ³ãƒˆãƒªã®ã‚³ãƒ¡ãƒ³ãƒˆæ¬„㧠kzk ã•ã‚“ã«æ•™ãˆã¦ã„ãŸã ã„㟠Hadoop Streaming を試ã—ã¦ã„ã¾ã™ã€‚ Hadoop ã¯ã‚ªãƒ¼ãƒ—ンソース㮠MapReduce + 分散ファイルシステムã§ã™ã€‚Java ã§ä½œã‚‰ã‚Œã¦ã„ã¾ã™ã€‚Yahoo! Inc ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚„ã€Facebookã€Amazon.com ãªã©ã§ã‚‚利用ã•ã‚Œã¦ã„ã‚‹ã¨ã®ã“ã¨ã§ã™ã€‚詳ã—ã㯠http://codezine.jp/a/article/aid/2448.aspx (kzk ã•ã‚“ã«ã‚ˆã‚‹é€£è¼‰è¨˜äº‹)ã‚’å‚ç…§ã—ã¦ãã ã•ã„。 Hadoop Streaming 記事ã«ã‚‚ã‚ã‚Šã¾ã™é€šã‚Šã€Hadoop 拡張㮠Hadoop Streaming を使ã†ã¨æ¨™æº–入出力を介ã™ã‚‹ãƒ—ãƒã‚°ãƒ©ãƒ を記述ã™ã‚‹ã ã‘ã§ã€Hadoop ã«ã‚ˆã‚‹ MapReduce を利用ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã¤ã¾ã‚Šã€Java 以外
Googleã®MapReduceアルゴリズムをJavaã§ç†è§£ã™ã‚‹
Googleã®MapReduceアルゴリズムをJavaã§ç†è§£ã™ã‚‹ï¼šã„ã¾å†æ³¨ç›®ã®åˆ†æ•£å‡¦ç†æŠ€è¡“（å‰ç·¨ï¼‰ï¼ˆ1/2 ページ） 最近注目を浴ã³ã¦ã„る分散処ç†æŠ€è¡“「MapReduceã€ã®åˆ©ç‚¹ã‚’サンプルã‹ã‚‰ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ レベルã§ç†è§£ã—ã€æ˜”ã‹ã‚‰ã‚ã‚‹Java関連ã®åˆ†æ•£å‡¦ç†æŠ€è¡“を見直ã™ç‰¹é›†ä¼ç”»ï¼ˆç·¨é›†éƒ¨ï¼‰ ã„ã¾æ³¨ç›®ã®å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 最近ã€å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ãŒæ³¨ç›®ã‚’æµ´ã³ã¦ã„ã¾ã™ã€‚特ã«ã€ã€ŒMapReduceã€ã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã«ã¤ã„ã¦ç›®ã«ã™ã‚‹ã“ã¨ãŒå¤šããªã‚Šã¾ã—ãŸã€‚Googleã®è†¨å¤§ãªã‚µãƒ¼ãƒå‡¦ç†ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹ã¨ã„ã†ã“ã¨ã§ã€ã“ã“æ•°å¹´ã®åˆ†æ•£å‡¦ç†æŠ€è¡“ã®ä¸ã§ã¯ç‰¹ã«æ³¨ç›®ã‚’æµ´ã³ã¦ã„るよã†ã§ã™ï¼ˆå‚考「見ãˆã‚‹ã‚°ãƒ¼ã‚°ãƒ«ã€è¦‹ãˆãªã„グーグルã€ï¼‰ã€‚MapReduceアルゴリズムを使ã†åˆ©ç‚¹ã¨ã¯ã€ã„ã£ãŸã„何ãªã®ã§ã—ょã†ã‹ã€‚ãªãœã€ã„ã¾æ³¨ç›®ã‚’æµ´ã³ã¦ã„ã‚‹ã®ã§ã—ょã†ã‹ã€‚ ãã®è©³ç´°ã¯ã€ŒMapReduce : Simplified Data Proc
Hadoopを用ã„ãŸã‚¯ãƒ©ã‚¹ã‚¿ã‚³ãƒ³ãƒ”ューティング環境ã®æ§‹ç¯‰ - SourceForge.JP Magazine : オープンソースã®è©±é¡Œæº€è¼‰
ペタãƒã‚¤ãƒˆè¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚’æ ¼ç´ã•ã›ã‚‹åˆ†æ•£ã‚³ãƒ³ãƒ”ューティング用プラットフォームを探ã—ã¦ã„ã‚‹ã®ã§ã‚ã‚Œã°ã€ãã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—㦠Hadoop ã®ä½¿ç”¨ã‚’検討ã™ã¹ãã ã‚ã†ã€‚Hadoopã¯Javaベースã§ä½œæˆã•ã‚Œã¦ã„ã‚‹ãŸã‚ã€Linuxã€Windowsã€Solarisã€BSDã€Mac OS Xã«ã¦ä½¿ç”¨ã§ãる。ã“ã†ã—ãŸHadoopを実際ã«æŽ¡ç”¨ã—ã¦ã„る組織ã«å…±é€šã™ã‚‹ã®ã¯ã€å®‰ä¾¡ï¼ˆç‰¹æ®Šãªãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒä¸è¦ï¼‰ã‹ã¤åŠ¹çŽ‡çš„ã§ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リティã¨ä¿¡é ¼æ€§ã‚’å…¼ãå‚™ãˆãŸãƒ—ラットフォームã«ã‚ˆã‚‹ã€è†¨å¤§ãªé‡ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’å¿…è¦ã¨ã—ã¦ã„ã‚‹ã¨ã„ã†ç‚¹ã 。 Hadoopã§ã¯ã€ã“ã†ã—ãŸè†¨å¤§ãªé‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’æ ¼ç´ã™ã‚‹ãŸã‚ã«ã€Hadoop Distributed File System（HDFS）を採用ã—ã¦ã„る。実際ã€HDFSã®ãƒžã‚¹ã‚¿/スレーブアーã‚テクãƒãƒ£ã¯ã€Hadoopã®ã‚¯ãƒ©ã‚¹ã‚¿æ©Ÿèƒ½ã®ä¸æ ¸ã‚’æˆã—ã¦ã„る。ã“ã“ã§ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ã„ã‚‹ã®ã¯ã€ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†
Hadoopã€hBaseã§æ§‹ç¯‰ã™ã‚‹å¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚·ã‚¹ãƒ†ãƒ
CodeZine編集部ã§ã¯ã€ç¾å ´ã§æ´»èºã™ã‚‹ãƒ‡ãƒ™ãƒãƒƒãƒ‘ーをスターã«ã™ã‚‹ãŸã‚ã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ŒDevelopers Summitã€ã‚„ã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®ç”Ÿãã–ã¾ã‚’ブーストã™ã‚‹ãŸã‚ã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒDevelopers Boostã€ãªã©ã€ã•ã¾ã–ã¾ãªã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã‚’ä¼ç”»ãƒ»é‹å–¶ã—ã¦ã„ã¾ã™ã€‚
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
å¹³æˆï¼’１年度産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥ï¼ˆé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚るデータセンターã®é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ï¼‰äº‹æ¥æˆæžœå ±å‘Šæ›¸
Hadoop cloud
Googleã®åŸºç›¤ã‚¯ãƒãƒ¼ãƒ³ Hadoopã«ã¤ã„ã¦
{{#tags}}- {{label}}
{{/tags}}