https://jp.techcrunch.com/2013/03/11/jp20130311amazon-redshift/
fluent 㨠hoop を使ã£ã¦ HDFS ã«ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«ãƒã‚°ã‚’æµã™ - tester7ã®ãƒ–ãƒã‚°
æ¦‚è¦ è¤‡æ•°å°ã®Webサーãƒã®ãƒã‚°ã‚’ fluent 㨠hoop を使ã£ã¦ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«HDFSã«è¿½è¨˜ã—ã¦ã„ãテスト。 ã‚ˆã‚Šé »åº¦ã®é«˜ã„行動解æžã‚’è¡Œã†ã“ã¨ãŒã§ãるよã†ã«ãªã‚‹ï¼Ÿ å‚考ã«ã—ãŸãƒ–ãƒã‚°ï¼š tagomorisã®ãƒ¡ãƒ¢ç½®ãå ´ ãƒ†ã‚¹ãƒˆæ§‹æˆ # åˆã‚ã¦ãƒ†ã‚ストã§å›³æ›¸ã„ãŸã€‚ # 線を交差ã•ã›ã‚‹æ‰€ã§é¢å€’ãã•ããªã£ã¦é©å½“ã«... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
fluent-plugin-hoop v0.1.0 released - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
ã¿ã‚“ãªå¤§å¥½ã fluentd ã¯ç´ 敵ã ã¨æ€ã†ã‚“ã ã‘ã©HDFSã¸ã®æ›¸ã出ã—ã‚’ã™ã‚‹ãƒ—ラグインãŒç„¡ã„ï¼ ãªã‚“ã§ï¼ ã¨ã„ã†å…¨ä¸–ç•Œ100万人ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®æ€¨å—Ÿã®å£°ãŒèžã“ãˆã¦ããã†ã ã£ãŸã®ã§ã€ã¨ã‚Šã‚ãˆãšã©ã†ã«ã‹ã™ã‚‹ã¹ã書ã„㟠fluent-plugin-hoop ãŒã ã„ãŸã„å‹•ãよã†ã«ãªã£ãŸã®ã§ãƒªãƒªãƒ¼ã‚¹ã—ãŸï¼ fluent-plugin-hoop | RubyGems.org | your community gem host tagomoris/fluent-plugin-hoop · GitHub → å…¬å¼ãƒªãƒã‚¸ãƒˆãƒªã®ä»²é–“入りã—ã¾ã—㟠fluent/fluent-plugin-hoop · GitHub rubygems.org経由ã§ãƒªãƒªãƒ¼ã‚¹ã—ã¦ã‚ã‚‹ã®ã§ gem install fluent-plugin-hoop ã§å…¥ã‚Šã¾ã™ã€‚ã‚ã¨ã¯ãªã‚“ã ã£ã‘ã€ã‚·ã‚¹ãƒ†ãƒ 全体ã®ç’°å¢ƒã«å½±éŸ¿ã‚’与ãˆãŸããªã‘れ㰠fluen
20分ã§ã‚ã‹ã‚‹HBase
PyFes 2012.07 ã§ç™ºè¡¨ã—ãŸã¨ãã®ã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ HBaseã®ã‚¢ãƒ¼ã‚テクãƒãƒ£å‘¨ã‚Šã‚’ä¸å¿ƒã«è©±ã—ã¾ã—ãŸRead less
「Hadoopファーストガイドã€ã‚’執ç†ã—ã¾ã—㟠- (ﾟ∀ﾟ)o彡 sasata299's blog
2012å¹´09月21æ—¥19:23 Hadoop åŸ·ç† ã€ŒHadoopファーストガイドã€ã‚’執ç†ã—ã¾ã—㟠ã‚ã‚Œã‹ã‚‰1å¹´åŠã®æœˆæ—¥ãŒæµã‚Œã¾ã—ãŸã€‚ãªã‚“ã‹ã‚ã£ã¨ã„ã†é–“ã§ã—ãŸã。。 「NoSQLデータベースファーストガイドã€ã‚’執ç†ã—ã¾ã—㟠ãã€ãã—ã¦ãªã‚“ã¨ï¼ï¼ 2冊目ã®åŸ·ç†ãŒçµ‚ã‚ã‚Šã¾ã—ãŸï¼ï¼ï¼ï¼‘ ãã®åも「Hadoopファーストガイドã€ã§ã™ã€‚ã§ã§ãƒ¼ã‚“。 ファーストガイドシリーズã§ã™ ( ï½°`дｰ´)ｷﾘｯ　å‰å›žã®ã¨ä¸¦ã¹ã‚‹ã¨ãã£ãã‚Šã§ã™ãï½— ファーストガイドãªã®ã§Hadoopã®åå‰ã¯çŸ¥ã£ã¦ã„ã‚‹ã‘ã©ä½¿ã£ãŸã“ã¨ãªã„ãªã€œãらã„ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãŒå¯¾è±¡ã§ã™ã€‚普段ã‹ã‚‰ãŒã—ãŒã—Hadoopを使ã£ã¦ã‚‹äººãŒè¦‹ã¦ã‚‚é¢ç™½ããªã„ã¨æ€ã„ã¾ã™ï½— ã“ã‚“ãªæ„Ÿã˜ã€‚本書ã§ã¯åŸºæœ¬çš„ã«AWSã®EMR（Elastic Map Reduce）を利用ã—ã¦ã¾ã™ã€‚ è¿‘å¹´ã€ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚ºã¯å¢—åŠ å‚¾å‘ã«ã‚ã‚Šã€Webサイトをé‹å–¶ã—ã¦ã„るエンジニアやプãƒã‚°ãƒ©ãƒžãƒ¼ã«ã¨ã£ã¦
livedoor Techブãƒã‚° : 第2回NHNテクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹é–‹å‚¬ï¼
(※ 2012.7.27追記 :　講演5ã‚’è¿½åŠ ã—ã¾ã—ãŸ) NHN技術部会ã€æ ªå¼ä¼šç¤¾ãƒ‡ãƒ¼ã‚¿ãƒ›ãƒ†ãƒ«ã®ä¼Šå‹¢å¹¸ä¸€ã§ã™ã€‚ ãŠã¾ãŸã›ã„ãŸã—ã¾ã—ãŸã€‚ ãŠç´„æŸé€šã‚Šã€æ¥ã‚‹8月18日（土)ã€ç¬¬2回NHNテクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã‚’開催ã—ã¾ã™ï¼ 今回ã®ãƒ†ãƒ¼ãƒžã¯ã“ã¡ã‚‰ï¼ 「H （エッãƒ)〠もã¨ã‚‚ã¨æœ¬å½“ã¯ç¬¬2回テーマã¨ã—ã¦ä»Šæµè¡Œã®HTML5大特集を予定ã—ã¦ã„ãŸã®ã§ã™ãŒã€å‰å›žã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã§ã‚¹ãƒ”ーカーをã—ã¦é ‚ã„ãŸGREEã®è—¤æœ¬ã•ã‚“ã‹ã‚‰ã€ 「LINEã§ä½¿ã£ã¦ã„ã‚‹HBaseã®è©±ã‚’èžããŸã„〠ã¨ã„ã†ä½™è¨ˆãªçªã£è¾¼ã¿ã¨ã„ã†ã‹ã€ãƒ—レッシャーを与ãˆã‚‰ã‚Œã¾ã—ã¦ã€æ€ã‚ãšã€ 「㘠・・・・ 次回ã«ã€€ãƒ»ãƒ»ãƒ»ãƒ»ã€ ã¨è¨€ã£ã¦ã—ã¾ã„(ã‚„ã£ã¹ãƒ¼ï¼æ¬¡å›žã¯HTML5ã§è¡Œã予定ã ã£ãŸã‚“ã ã‘ã©)ã€HTML5ã¨HBaseã˜ã‚ƒå…¨ãカテゴリーãŒé•ã†ã—関連性も無ã„ã®ã§ã©ã†ã™ã‚‹ã‹ã€ä½•ã‹å…±é€šæ€§ãŒç„¡ã„ã‹ï¼Ÿã¨ã€æ‚©ã‚“ã§ãŠã‚Šã¾ã—ãŸã¨ã“ã‚〠「ã‚れ？両方ã¨ã‚‚é æ–‡å—ãŒã€ŒHã€
ã“ã‚Œã‹ã‚‰ Hadoop ã‚’å¦ã¶äººå‘ã‘èªæ›¸ã‚¬ã‚¤ãƒ‰ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
ãªã‚“ã ã‹ã‚“ã 㧠Hadoop 周りã®æœ¬ã‚‚çµæ§‹å¢—ãˆã¦ãã¾ã—ãŸã®ã§ä¸‹ã«ã¾ã¨ã‚ã¾ã—ãŸã€‚ 抜ã‘ã¦ã‚‹ã®ã‚‚ã‚ã‚‹ã¨æ€ã†ã®ã§(特ã«å’Œæ›¸)ã€ãªã‚“ã‹ãŠè–¦ã‚ã‚ã‚Šã¾ã—ãŸã‚‰ã‚³ãƒ¡ãƒ³ãƒˆãã ã•ã„ã€‚è¿½åŠ ã—ã¾ã™ã€‚ タイプ別ãŠè–¦ã‚èªæ›¸ã‚³ãƒ¼ã‚¹ çŸæœŸé–“ã§å…¨éƒ¨èªã‚€ã®ã¯ä¸å¯èƒ½ãªã®ã§ã€ã¨ã‚Šã‚ãˆãšç°¡å˜ã«ãŠè–¦ã‚ã®èªæ›¸ã‚³ãƒ¼ã‚¹ã‚’紹介ã—ã¾ã™ã€‚ éžæŠ€è¡“者(å–¶æ¥ã‚„経営者ãªã©) 象本1ç« ã¨å¾¹åº•å…¥é–€1ç« ã ã‘èªã‚“ã©ã‘ã°ã„ã„ã§ã™ã€‚余裕ãŒã‚ã‚Œã°è±¡æœ¬16ç« (ケーススタディ)。èªã‚“ã§ã‚‹æš‡ã‚ã£ãŸã‚‰ãã®äººä»¶è²»ã§æŠ€è¡“者ã«ã„ã„PCè²·ã£ã¦ã‚ã’ã¦ãã ã•ã„。 技術者(共通) 象本èªã¾ãªã„ã¨ã‹ã‚ã‚Šãˆãªã„ã§ã™ã€‚ 別ã«å…¨éƒ¨èªã‚€å¿…è¦ãªã„ã§ã™ãŒã€ã¨ã‚Šã‚ãˆãš 1-10ç« ãらã„ã¯ç›®ã‚’通ã—ã¦ãã ã•ã„。 ãれも時間的ã«é›£ã—ã„ãªã‚‰ã›ã‚ã¦3ç« ã‹4ç« ãらã„ã¾ã§ç›®ã‚’通ã—ã¦ãã ã•ã„。 å¯èƒ½ãªã‚‰å¾¹åº•å…¥é–€ã¨ä¸¦è¡Œã—ã¦èªã‚“ã§ãã ã•ã„。書ãæ–¹ã®åˆ‡ã‚Šå£ãŒé•ã†2ã¤ã®æ›¸ç±ã‚’èªã‚€ã“ã¨ã§ç†è§£ãŒæ·±ã¾ã‚Šã¾ã™ã€‚ Hadoop 技術
MapR勉強会ã«ã¦ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
先日MapR勉強会ã«å‚åŠ ã—ãŸã€ã¨ã„ã†ã‹ä¸»å‚¬è€…ã ã£ãŸã®ã§ã€ä¸€å¿œã¾ã¨ã‚。 ç´°ã‹ã„内容ã¨ã‹ã¯ä»¥ä¸‹ã«ã¾ã¨ã‚ã¦ãã ã•ã£ãŸæ–¹ã€…ãŒã„らã£ã—ゃるã®ã§æ„Ÿè¬ã§ã”ã–ã„ã¾ã™ã€‚ @znj6ã•ã‚“ MapR(GreenPlumHD)ã®ä¸èº«èª¬æ˜Žä¼šå‚åŠ http://zenjiro.wordpress.com/2012/01/19/inside-mapr-briefing/ @johtaniã•ã‚“ 2012.01.20 Friday MapRä¸èº«èª¬æ˜Žä¼šã«å‚åŠ ã—ã¾ã—ãŸã€‚ http://johtani.jugem.jp/?eid=57 t_otodaã•ã‚“ [Hadoop][MapR]MapR(GreenPlumHD)ã®ä¸èº«èª¬æ˜Žä¼šã«å‚åŠ ã—ã¦ãã¾ã—ãŸã€‚ http://tech.hatenablog.com/entry/2012/01/19/234644 moguzoã•ã‚“ 「MapR(GreenPlumHD)ã®ä¸èº«èª¬æ˜Žä¼šã€ã«å‚åŠ ã—ã¦ã
Hadoopã®ç•°ç«¯ã•ãŒé¢ç™½ã„ - wyukawa's diary
Hadoopã¯ã»ã‚“ã¨ãƒ–ームã§ã™ã€‚ãƒãƒ–ルã ã¨è¨€ã£ã¦ã„ã„æ°—ãŒã—ã¾ã™ã€‚å„種セミナーã¯ã™ãã«åŸ‹ã¾ã‚Šã¾ã™ã—ã€å®Ÿéš›ã«èžãã«è¡Œãã¨ä¼šå ´ã¯æº€å“¡ã§ã™ã€‚ ã“ã®åˆ†é‡Žã¯æ—¥æœ¬ã ã¨NTTデータãŒå…ˆé ã‚’ãã£ãŸã‚ˆã†ã«è¦‹ãˆã¾ã™ã€‚ NTTデータã€Hadoopã®å•†ç”¨ãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューション「CDH3ã€ã‚’販売開始 | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ ã¾ãŸHadoopå°‚æ¥ä¼šç¤¾ã€ŒãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã€ã¨ã„ã†ã®ã‚‚ã§ãã¾ã—ãŸã€‚ ウルシステムズã¨ã‚¤ãƒ¼ã‚·ãƒ¼ãƒ»ãƒ¯ãƒ³ãŒçµŒå–¶çµ±åˆã€Hadoopå°‚æ¥ä¼šç¤¾ã‚’ç«‹ã¡ä¸Šã’ | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ ã—ã‹ã—最近ã§ã¯å¯Œå£«é€šã‚„IBMã‚‚Hadoopソリューションを展開ã—ã¦ãŠã‚Šãƒ¬ãƒƒãƒ‰ã‚ªãƒ¼ã‚·ãƒ£ãƒ³ãªæ„Ÿã˜ã§ã™ã€‚ 富士通ãŒãƒ“ッグデータ分æžãƒ»æ´»ç”¨å‘ã‘ã®PaaSサービス | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ 日本IBMã€è¡¨è¨ˆç®—ã®ã‚ˆã†ã«åˆ†æžã§ãã‚‹Hadoopソフト新版「BigInsights〠| 日経 xTECH（
「大é‡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãªã‚‰ä»»ã›ã¦ã€æ—¥æœ¬äººæŠ€è¡“者ã€ä¸–ç•Œã¸æŒ‘戦ã€æ¹¯å·ã€‘ | TechWave（テックウェーブ）
[èªäº†æ™‚間：2分] 次ã®æ™‚代ã®è¦‡è€…ã¯ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’å–å¾—ã—ã€åˆ†æžã™ã‚‹ä¼æ¥ãƒ¼ã€‚国光å®å°šã•ã‚“ã®è¨˜äº‹ã«ã‚る通りã ãŒã€ãã®ãƒ‡ãƒ¼ã‚¿åˆ†æžã®é ˜åŸŸã§ä¸–ç•Œã«æŒ‘戦ã—よã†ã¨ã„ã†æ—¥æœ¬äººæŠ€è¡“者ãŒã„る。 Hapyrus（ãƒãƒ”ルス）社ã®è—¤å·å¹¸ä¸€ã•ã‚“ã€éˆ´æœ¨å¥å¤ªéƒŽã•ã‚“ã§ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’並列分散処ç†ã™ã‚‹ç”»æœŸçš„テクノãƒã‚¸ãƒ¼ã¨ã—ã¦æ³¨ç›®ã‚’集ã‚ã‚‹hadoop（ãƒãƒ‰ã‚¥ãƒ¼ãƒ—）をクラウドベースã§æ‰‹è»½ã«åˆ©ç”¨ã§ãるサービスを開発。国内ã®ã‚¨ãƒ³ã‚¸ã‚§ãƒ«æŠ•è³‡å®¶ã‹ã‚‰å‡ºè³‡ã‚’å—ã‘ã€ãƒ“ザãŒå–å¾—ã§ã次第ã€10月ã«ã‚‚米シリコンãƒãƒ¬ãƒ¼ã«æ¸¡ã‚Šä¸–ç•Œã«å‘ã‘サービスæ供を始ã‚ã‚‹ã¨ã„ã†ã€‚ ã‚ã‚Šã¨ã‚らゆるもã®ãŒãƒ‡ã‚¸ã‚¿ãƒ«ãƒ‡ãƒ¼ã‚¿ã¨ã—ã¦å…¥æ‰‹ã€ä¿å˜ã€åˆ†æžå¯èƒ½ã«ãªã‚Šã¤ã¤ã‚ã‚‹ä¸ã§ã€å•é¡Œã¯çˆ†ç™ºçš„ã«å¢—åŠ ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹ã‚³ãƒ³ãƒ”ューター技術。ã“ã‚Œã¾ã§ã¯ã‚µãƒ¼ãƒãƒ¼ã«ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã™ã‚‹ã‚¿ã‚¤ãƒ—ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹æŠ€è¡“ã‚’å‘上ã•ã›ã‚‹ã“ã¨ã§ãªã‚“ã¨ã‹ãƒ‡ãƒ¼ã‚¿ã®å¢—åŠ é€Ÿåº¦ã«è¿½ã„ã¤ã„ã¦ããŸãŒã€ã•ã™ãŒã«æ˜¨ä»Šã®ãƒ‡ãƒ¼ã‚¿ã®çˆ†ç™ºçš„増
第7回　Hadoopを使ã£ã¦åˆ†æ•£å‡¦ç†ã‚’ã‚„ã£ã¦ã¿ã‚ˆã†! | gihyo.jp
ã•ã¦ä»Šå›žã‹ã‚‰æ–°ã—ã„テーマã§ã™ã€‚ 分散計算フレームワークã§ã‚ã‚‹Hadoopã‚’å°Žå…¥ã‹ã‚‰å®Ÿè·µã¾ã§ã‚’連載ã—ã¾ã™ã€‚よã‚ã—ããŠé¡˜ã„ã—ã¾ã™ã€‚ Googleã®æŠ€è¡“ã‹ã‚‰ç”Ÿã¾ã‚ŒãŸHadoop ã‚ãŸã—ãŸã¡ã¯æ—¥å¸¸ã€ã”ã当ãŸã‚Šå‰ã«Googleã®ã‚µãƒ¼ãƒ“スを使ã£ã¦ã„ã¾ã™ã€‚ ã‚ãã“ã®åº—ã®æƒ…å ±ã‚’çŸ¥ã‚ŠãŸã„ã€æœ‰å人xxã•ã‚“ã£ã¦ã©ã‚“ãªäººï¼Ÿã€ã‚ã®å¤§äº‹ä»¶ã‚’振り返ã£ã¦èª¿ã¹ãŸã„ã€ãªã©ãªã©ã€‚生活ã«å¯†ç€ã—ãŸæƒ…å ±ã ã£ãŸã‚Šã€éŽåŽ»ã‚’振り返ã£ã¦ç¤¾ä¼šç¾è±¡ã‚’調ã¹ãŸã‚Šã€ã‚ã‚‹ã„ã¯èŠ¸èƒ½äººã®ã‚´ã‚·ãƒƒãƒ—ãƒã‚¿ã‚’検索ã—ãŸã‚Šã¨ã€çŸ¥ã‚ŠãŸã„ã“ã¨ã¯äººãã‚Œãžã‚Œã§ç›®çš„ã‚‚å…¨ãé•ã„ã¾ã™ãŒã€Googleã®æ¤œç´¢ã‚’利用ã™ã‚Œã°ä¸€ç™ºã§ç›®çš„ã®æƒ…å ±ï¼ˆã‚ã‚‹ã„ã¯è¿‘ã„æƒ…å ±ï¼‰ã«ãŸã©ã‚Šç€ãã“ã¨ãŒã§ãã¾ã™ã€‚ 世界ä¸ã®ä½•å„„ã¨ã„ã†Webページã«ã¤ã„ã¦æ–‡è¨€ã«ã‚ˆã£ã¦ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹åŒ–ã—ã¦ãªã‘ã‚Œã°ã¨ã†ã¦ã„ã§ããªã„芸当ã§ã™ã€‚ãã—ã¦ã‚¦ã‚§ãƒ–ページã¯æ–°ãŸã«ä½œã‚‰ã‚Œã€ã¾ãŸã¯æ¶ˆãˆã¦ã—ã¾ã†ã‚‚ã®ã§ã‚‚ã‚ã‚Šã¾ã™ã€‚ã‚‚ã®ã™ã”ã膨大ãªãƒ†ã‚ストデータã®
HadoopStreaming - HADOOP2 - Apache Software Foundation
Hadoop Streaming is a utility which allows users to create and run jobs with any executables (e.g. shell utilities) as the mapper and/or the reducer. Usage: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/mapred/contrib/streaming/hadoop-streaming.jar [options] Options: -input <path> DFS input file(s) for the Map step -output <path> DFS output directory for the Reduce step -mapper <cmd|JavaClassName> The
Hadoop Streaming
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc In the above example, both the mapper and the reduce
Hadoopã®ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ãƒã‚¤ãƒ³ãƒˆ
「GMO Developersã€ã¯ã€GMOインターãƒãƒƒãƒˆã‚°ãƒ«ãƒ¼ãƒ—ãŒé–‹ç™ºè€…å‘ã‘ã®æŠ€è¡“æƒ…å ±ã‚„ã‚¤ãƒ™ãƒ³ãƒˆæƒ…å ±ã‚’ãŠå±Šã‘ã™ã‚‹ãƒ†ãƒƒã‚¯ãƒ–ãƒã‚°ã§ã™ã€‚ NEW GMO Developers Night#40 / æ–°BNPLサービス「アトカラã€é–‹ç™ºã®è£å´ï½žå…¥ç¤¾5年未満ã®ãƒ¡ãƒ³ãƒãƒ¼ãŒæ´»èºã™ã‚‹ã€Œã‚¢ãƒˆã‚«ãƒ©ã€ãƒãƒ¼ãƒ ～
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Hadoopã§N-gramã§è»¢ç½®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ä½œæˆ
Hadoopã®ã‚µãƒ³ãƒ—ルコードã¨è¨€ãˆã°wordcountãらã„ã—ã‹è¦‹ã‹ã‘ãªã„ã¨ã„ã†ã“ã¨ã§ï¼Œè»¢ç½®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®ã‚µãƒ³ãƒ—ルを作ã£ã¦ã¿ã¾ã—ãŸï¼Ž 転置インデックス作æˆã‚’MapReduceã®ãƒ¢ãƒ‡ãƒ«ã§è¡¨ã™ã¨ä»¥ä¸‹ã«ãªã‚Šã¾ã™ï¼Žgoogleè«–æ–‡ã«ç¿’ã£ãŸæ“¬ä¼¼ã‚³ãƒ¼ãƒ‰ã§è¡¨ã—ã¾ã™ï¼Ž Map: å˜èªžã”ã¨ã«æ–‡æ›¸åを出力ã—ã¦ã„ã¾ã™ï¼Ž å˜èªžã®åˆ†å‰²ã‚’for each wordã¨ã—ã¦ã„ã¾ã™ãŒï¼Œæ—¥æœ¬èªžã®å ´åˆå˜èªžã®åˆ†å‰²ãŒå•é¡Œã§ã™ãŒï¼Œä»Šå›žã¯å˜ç´”ãªN-gramã§å®Ÿè£…ã—ã¾ã—ãŸï¼Ž map(String key, String value): //key: æ–‡ç« å //value: æ–‡ç« ã®å†…容 for each word w in value: EmitIntermediate(w, key); Reduce: é‡è¤‡ã‚’å–り除ãã ã‘ã§ã™ï¼Žvaluesã§ã‚½ãƒ¼ãƒˆã™ã‚‹ã¨ãªãŠè‰¯ã„ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ reduce(String key, Iterato
1å°æ§‹æˆã®Hadoopã‚’30分ã§è©¦ã—ã¦ã¿ã‚‹(Ubuntu + Cloudera)
(å‚考) Cloudera社ã®Hadoopパッケージã®æƒ…å ± http://archive.cloudera.com/docs/ å¿…è¦ãªã‚‚㮠・Ubuntuã‚„debianã®Linux環境1å°(手元ã§ã¯Ubuntu Server 11.04/10.04/9.10/8.04, debian 5ã‚ãŸã‚Šã§è©¦ã—ã¦ã„ã¾ã™ãŒã€ä»–ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚‚大丈夫ã ã¨æ€ã„ã¾ã™) ・インターãƒãƒƒãƒˆæŽ¥ç¶š ・Sun(Oracle)ã®Javaパッケージ(aptã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‹ã‚‰ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«) ・Cloudera社ã®CDH3ã®Hadoopパッケージ(aptã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‹ã‚‰ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«) 作æ¥æ‰‹é † 1. インストール: Linux環境ã«ã¦ã€rootã§ä½œæ¥ã—ã¾ã™ã€‚ sudo su 1-1. Sun(Oracle)ã®Javaを入れã¾ã™ã€‚(Sun(Oracle)ã®ã‚‚ã®ãŒå¿…è¦ã§ã™ã€‚) ※ ã“ã“ã§ã€ubuntu 10ã‚„11ã®äººã¯/etc
11月ã®ã‚¤ãƒ™ãƒ³ãƒˆå‚åŠ ã¾ã¨ã‚ ãã®ï¼‘ - Cutting-Edge Programming
11月ã«ã„ãã¤ã‹ã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ã‚¤ãƒ™ãƒ³ãƒˆã€å‹‰å¼·ä¼šã«ã€ä¼šç¤¾ã‚„未è¸ãªã©ã„ã‚ã„ã‚ãªç«‹å ´ã§å‚åŠ ã—ã¦ãã¾ã—ãŸã€‚ã¾ã£ãŸãブãƒã‚°ã«æ›¸ã‘ã¦ã„ãªã„ã®ã§ã€å‚™å¿˜ã‚‚å…¼ãã¦ã¾ã¨ã‚ã¦æ›¸ãã¾ã™ã€‚ Hadoop Conference Japan 2009 今やã£ã¦ã„る未è¸ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãƒ†ãƒ¼ãƒžãŒHadoopãªã®ã§ã€ã“ã®ç¬¬1回目ã®Hadoopカンファレンスã¯å¤–ã™ã‚ã‘ã«ã¯è¡Œãã¾ã›ã‚“ã§ã—ãŸã€‚（実ã¯æœªè¸ã®åˆå®¿ã¨æ—¥ç¨‹ãŒã‹ã¶ã£ã¦ã€èª¿æ•´ãŒå¤§å¤‰ã§ã—ãŸã€‚。管ç†çµ„ç¹”ã®æ–¹ã€ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã™ã€‚。） ã•ã‚‰ã«é–‹å‚¬æ•°æ—¥å‰ã«æ‡‡è¦ªä¼šä¸ã®LTæž ãŒã‚ã‚‹ã¨ã„ã†ã“ã¨ã§ã€æ€¥é½ç”³ã—è¾¼ã¿ã€æœªè¸ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã®LTã‚’ã—ã¦ãã¾ã—ãŸã€‚ ãã®ã¨ãã®ã‚¹ãƒ©ã‚¤ãƒ‰ã‚‚公開ã—ã¦ã„ã¾ã™ã€‚ Hadoop Conf Japan 2009 After Party LT - Hadoop Ruby DSLView more documents from Koichi Fujikawa. カンファ
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Charming Python: Functional programming in Python, Part 3
GitHub - fujibee/hadoop-papyrus: Hadoop MapReduce DSL framework by Ruby. Changed from hadoop-rubydsl.
{{#tags}}- {{label}}
{{/tags}}