第21回Sparkã®è¨è¨ˆã¨å®Ÿè£…ï¼»2］～Sparkã«ãŠã‘るデータ共有ã®ä»•çµ„ã¿ã¨è€éšœå®³æ€§ã®å®Ÿç¾æ–¹æ³• 猿田浩輔，山田浩之 2016-06-08
Hadoopã¯ã©ã®ã‚ˆã†ã«å‹•ãã®ã‹ ─並列・分散システム技術ã‹ã‚‰èªã¿è§£ãHadoop処ç†ç³»ã®è¨è¨ˆã¨å®Ÿè£… 記事一覧 | gihyo.jp
第21回Sparkã®è¨è¨ˆã¨å®Ÿè£…ï¼»2］～Sparkã«ãŠã‘るデータ共有ã®ä»•çµ„ã¿ã¨è€éšœå®³æ€§ã®å®Ÿç¾æ–¹æ³• 猿田浩輔，山田浩之 2016-06-08
第28回　Rubyã¨Hadoopã§åˆ†æ•£å‡¦ç†ã€€Hadoop Streamingã®ä»•çµ„ã¿ | gihyo.jp
ã¯ã˜ã‚ã« Hadoopã¨ã¯ã€Googleã®åŸºç›¤æŠ€è¡“ã§ã‚ã‚‹MapReduceã‚’Javaã§ã‚ªãƒ¼ãƒ—ンソース実装ã—ãŸã‚‚ã®ã§ã€åˆ†æ•£å‡¦ç†ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã™ã€‚Hadoopを使ã†ã¨ã€1å°ã®ã‚µãƒ¼ãƒã§ã¯æ™‚é–“ã®æŽ›ã‹ã‚‹ã‚ˆã†ãªå‡¦ç†ã‚’ã€è¤‡æ•°ã®ã‚µãƒ¼ãƒã§åˆ†æ•£å‡¦ç†ã•ã›ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚「â 処ç†ã‚’割り振ã£ãŸã‚µãƒ¼ãƒãŒå£Šã‚ŒãŸå ´åˆã©ã†ã™ã‚‹ã‹ã€ãªã©ã®è€éšœå®³æ€§ã®å•é¡Œã‚‚HadoopãŒç®¡ç†ã—ã¦ãれるãŸã‚ã€åˆ©ç”¨è€…ã¯å‡¦ç†ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã®ã¿ã«é›†ä¸ã™ã‚‹ã“ã¨ãŒã§ãã‚‹ã®ã§ã™ã€‚ç´ æ™´ã‚‰ã—ã„ã§ã™ã。最近ã§ã¯Yahoo!ã‚„ã¯ã¦ãªãªã©ã€æ§˜ã€…ãªä¼æ¥ã§ã‚‚利用ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã£ã¦ãã¦ã„ã¾ã™ã€‚ Hadoopå°Žå…¥ã®èƒŒæ™¯ ç†è€…ã¯ã‚¯ãƒƒã‚¯ãƒ‘ãƒƒãƒ‰æ ªå¼ä¼šç¤¾ã«å‹¤ã‚ã¦ã„ã¾ã™ã€‚open('http://cookpad.com'); return false;">クックパッドã¨ã„ã†ã‚µã‚¤ãƒˆãŒæœ‰åã ã¨æ€ã„ã¾ã™ãŒã€ä»–ã«ã‚‚æºå¸¯ç‰ˆã‚¯ãƒƒã‚¯ãƒ‘ッドã§ã‚ã‚‹open('http://m.cookpad.co
Twitterã‚„Facebookã§ä½¿ã‚ã‚Œã¦ã„る「Apache Hadoopã€ã®ãƒ¡ãƒªãƒƒãƒˆã‚„æ´å²ã‚’作者自らãŒèªžã‚‹
大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æ•£å‡¦ç†ã‚’支ãˆã‚‹Javaソフトウェアフレームワークã§ã‚ã‚Šã€ãƒ•ãƒªãƒ¼ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦é…布ã•ã‚Œã¦ã„る「Apache Hadoopã€ã€‚ãã®ä½œè€…ダグ・カティング（Doug Cutting）ã•ã‚“ãŒã€ŒCloud Computing World Tokyo 2011ã€ï¼†ã€ŒNext Generation Data Center 2011ã€ã«ãŠã„ã¦ã€ŒApache Hadoop: A New Paradigm for Data Processingã€ã¨ã„ã†è¬›æ¼”ã‚’ã—ã¦ã„ãŸã®ã§èžãã«è¡Œã£ã¦ãã¾ã—ãŸã€‚ 満員ã®å®¢å¸ã€‚ 皆様をå‰ã«ã—ã¦è¬›æ¼”ã§ãã‚‹ã“ã¨ã‚’å¤§å¤‰å…‰æ „ã«æ€ã£ã¦ãŠã‚Šã¾ã™ã€‚「Apache Hadoopã€ã«ã¤ã„ã¦çš†æ§˜ã«ä¼ãˆã¦ã„ãã¾ã™ãŒã€ã“ã‚Œã¯ã¾ã•ã«ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®æ–°ãŸãªã‚‹ãƒ‘ラダイムをæä¾›ã™ã‚‹ã‚‚ã®ã§ã¯ãªã„ã‹ã¨ç§ã¯æ€ã£ã¦ãŠã‚Šã¾ã™ã€‚ ã¾ãšã¯ç°¡å˜ã«è‡ªå·±ç´¹ä»‹ã‚’ã•ã›ã¦ã„ãŸã ãã¾ã—ょã†ã€‚ç§ã¯25å¹´ã«æ¸¡ã£ã¦ã‚·ãƒªã‚³ãƒ³ãƒãƒ¬ãƒ¼ã§ä»•
FacebookãŒHBaseを大è¦æ¨¡ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ç†ç”±ï¼ˆå‰ç·¨ï¼‰
Facebookã¯å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®åŸºç›¤ã¨ã—ã¦HBaseを利用ã—ã¦ã„ã¾ã™ã€‚ãªãœFacebookã¯HBaseを用ã„ã¦ã„ã‚‹ã®ã‹ã€ã©ã®ã‚ˆã†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ã®ã§ã—ょã†ã‹ï¼Ÿ 7月1æ—¥ã«éƒ½å†…ã§è¡Œã‚ã‚ŒãŸå‹‰å¼·ä¼šã§ã€Facebookã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã§ã‚るジョナサン・グレイ（Jonathan Gray）æ°ã«ã‚ˆã‚‹è§£èª¬ãŒè¡Œã‚ã‚Œã¾ã—ãŸã€‚ 解説ã¯ã»ã¼ã‚¹ãƒ©ã‚¤ãƒ‰ã®å†…容ãã®ã¾ã¾ã§ã—ãŸã€‚当日使ã‚ã‚ŒãŸæ—¥æœ¬èªžè¨³ã•ã‚ŒãŸã‚¹ãƒ©ã‚¤ãƒ‰ãŒå…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€ãƒã‚¤ãƒ³ãƒˆã¨ãªã‚‹ãƒšãƒ¼ã‚¸ã‚’紹介ã—ã¾ã—ょã†ã€‚ Realtime Apache Hadoop at Facebook ãªãœãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ データã®åˆ†æžã«ã€Hadoop/HBaseを使ã†ã®ã‹ï¼Ÿ MySQLã¯å®‰å®šã—ã¦ã„ã‚‹ãŒã€åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã¨ã—ã¦è¨è¨ˆã•ã‚Œã¦ãŠã‚‰ãšã€ã‚µã‚¤ã‚ºã«ã‚‚上é™ãŒã‚る。一方ã€Hadoopã¯ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルã ãŒãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãŒé›£ã—ãã€ãƒ©ãƒ³ãƒ€ãƒ ãªæ›¸ãè¾¼ã¿ã‚„èªã¿è¾¼ã¿ã«å‘ã„ã¦ã„ãªã„。 Faceb
クックパッドã¨Hadoop - クックパッド開発者ブãƒã‚°
ã¯ã˜ã‚ã¾ã—ã¦ã€‚今年ã®5月ã«å…¥ç¤¾ã—ãŸå‹é–“@ã•ãŒã™ãƒãƒ¼ãƒ ã§ã™ã€‚ 入社ã—ã¦ã‹ã‚‰ã¯ã€ãªã‹ãªã‹å¤§å¤‰ãªã“ã¨ã‚‚多ã„ã§ã™ãŒã€æœ€è¿‘ã¯ãŠé…’好ããŒé›†ã¾ã£ã¦æœˆæ›œã‹ã‚‰é£²ã¿åˆã† 「å‹é–“会ã€ãªã‚‹ã‚‚ã®ã‚‚発足ã—ã¦ã€ä»•äº‹é¢ã§ã‚‚仕事以外ã®é¢ã§ã‚‚密度ã®é«˜ã„毎日をéŽã”ã—ã¦ã„ã¾ã™ï¼ ã•ã¦ã€åƒ•ã¯ã€Œã•ãŒã™ã€ãƒãƒ¼ãƒ 所属ã¨ã„ã†ã“ã¨ã§ã€æ™®æ®µã¯ãƒ¬ã‚·ãƒ”を「ã•ãŒã™ã€ãƒ¦ãƒ¼ã‚¶ã®æº€è¶³åº¦ã‚’上ã’ã‚‹ãŸã‚ã«ã€ クックパッドã®æ¤œç´¢ã¾ã‚ã‚Šã«ã¤ã„ã¦ã€ã„ã‚ã„ã‚ãªé–‹ç™ºã‚’è¡Œã£ã¦ã„ã¾ã™ã€‚ 一方ã§ã€ãƒ¦ãƒ¼ã‚¶ã®ã€Œã•ãŒã™æ¬²æ±‚ã€ã«ã¤ã„ã¦æ·±ã知るãŸã‚ã«ã€å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿è§£æžã‚’è¡Œã„ã€æ¬²æ±‚ã®åˆ†æžã‚’è¡Œã†æ©Ÿä¼šã‚‚増ãˆã¦ãã¾ã—ãŸã€‚ ã¨ã“ã‚ãŒã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ãƒã‚°ã¯è†¨å¤§ãªæ•°ãŒã‚ã‚‹ã®ã§ã€ä¸€å£ã®ãƒ‡ãƒ¼ã‚¿è§£æžã¨è¨€ã£ã¦ã‚‚通常ã®ãƒãƒƒãƒå‡¦ç†ã ã¨é–“ã«åˆã‚ãªã„ãŸã‚〠分散処ç†ç’°å¢ƒã®å¿…è¦æ€§ãŒé«˜ã¾ã£ã¦ãã¾ã—ãŸã€‚ ãã“ã§ã€ã¾ãšã¯æ‰‹è»½ã«è©¦ã›ã‚‹åˆ†æ•£å‡¦ç†ã®çŽ‹é“ã¨ã„ã†ã“ã¨ã§ã€æœ€è¿‘ã§ã¯Hadoopを使ã£ãŸãƒ‡ãƒ¼ã‚¿è§£æžç’°å¢ƒã‚’æ•´å‚™ã—ã¦ã„ã¾ã™ã€‚
資料を公開ã„ãŸã—ã¾ã—ãŸï¼ï¼ˆã‚¯ãƒƒã‚¯ãƒ‘ッドã®è£å´è¦‹ã›ã¾ã™ in 京都） - クックパッド開発者ブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ã™ã¿ã§ã™ã€‚去る4/16,17ã«äº¬éƒ½ã§ã€Œã‚¯ãƒƒã‚¯ãƒ‘ッドã®è£å´è¦‹ã›ã¾ã™vol.2＆vol.3ã€ã‚’開催ã„ãŸã—ã¾ã—ãŸã€‚ 当日ãŠè¶Šã—ãã ã•ã£ãŸçš†ã•ã¾ã€Ustreamã‚’ã”覧ãã ã•ã£ãŸçš†ã•ã¾ã€èª ã«ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸï¼ ãŠè©±ã•ã›ã¦é ‚ã„ãŸã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®ã†ã¡2åã®è³‡æ–™ã‚’公開ã„ãŸã—ã¾ã™ã®ã§ã€æ˜¯éžã”覧ãã ã•ã„ã¾ã›ã€‚ ・å‹é–“亮/アグレッシブãªã‚¯ãƒ©ã‚¦ãƒ‰ã®ä½¿ã„æ–¹ [slideshare id=3827098&doc=engineer-event-100417-kyoto-100423034302-phpapp02] ・濱崎å¥å¾/クックパッドã«å…¥ã£ã¦åæ•°æ—¥åƒã„ãŸé›‘æ„Ÿ [slideshare id=3849703&doc=100413urapad-100425122155-phpapp01]
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
8月ã«å…¥ç¤¾ã—ãŸä½ã€…木ã§ã™ã€‚ã“ã‚“ã«ã¡ã‚ï¼ å…¥ç¤¾ã—ã¦ã‹ã‚‰ã¯Hadoopを使ã†ã“ã¨ãŒå¤šãã€æ—¥ã€…ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¨æ ¼é—˜ã—ã¦ã„ã¾ã™ã€‚大変ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å€‹äººã§ã¯ãªã‹ãªã‹è§¦ã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„よã†ãªå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’触れるã®ã¯æ¥½ã—ã„ã§ã™ã€‚ ã•ã¦ã€Hadoopã¯æœ€è¿‘色々ãªã¨ã“ã‚ã§ä½¿ã‚れ始ã‚ã¦ãã¦ã„ã‚‹ã¨æ€ã†ã‚“ã§ã™ãŒã€å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„tipsãªã©ã€å®Ÿè·µçš„ãªæƒ…å ±ã¯ã¾ã ã‚ã¾ã‚Šå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。ãã®è¾ºã®æƒ…å ±ã‚’ã¿ã‚“ãªæ±‚ã‚ã¦ã„ã‚‹ã¯ãšâ€¦ï¼ï¼ ãã“ã§ã€åƒ•ãŒå®Ÿéš›ã«è§¦ã£ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„Hadoopを使ã†ä¸Šã§ãƒã‚¤ãƒ³ãƒˆã ã¨æ€ã£ãŸã“ã¨ãªã©ã‚’社内勉強会ã§ç™ºè¡¨ã—ãŸã®ã§å…¬é–‹ã—ã¦ã¿ã¾ã™ã€‚Hadoopを使ã£ã¦ã„る（使ã„ãŸã„ã¨æ€ã£ã¦ã„る）方ã®å‚考ã«ãªã‚Œã°å¹¸ã„ã§ã™ã€‚ [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopã®åˆ©ç”¨ã¯ã¾ã ã¾ã 試行錯誤ã®é€£ç¶š
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
{{#tags}}- {{label}}
{{/tags}}