Jenkinsã¨hadoopを利用ã—ãŸç¶™ç¶šçš„データ解æžç’°å¢ƒã®æ§‹ç¯‰
2. Meta Information • 2006.4 – 2012.3 – Keio University • Artificial Intelligence, Semantic Web, Ontology Engineering • 2011.2 – 2012.3 – CTO at Trippiece, Inc. • Software Engineering • 2012.4 – – Engineer at adingo, Inc. • Data Analysis, Operation Engineering twitter: @suzu_v http://blog.kentasuzuki.net
ãã‚ãã‚Hadoopã«ã¤ã„ã¦ã²ã¨ã“ã¨è¨€ã£ã¦ãŠãã‹ - nokunoã®æ—¥è¨˜
ã‚‚ã†ã“ã®æ‰‹ã®è©±é¡Œã¯å‡ºå°½ãã—ãŸæ„ŸãŒã‚ã‚Šã¾ã™ãŒã€æœ€è¿‘Hadoopã«ã¤ã„ã¦è€ƒãˆã‚‹ã“ã¨ãŒå¤šã„ã®ã§ã€ã‚¨ãƒ³ãƒˆãƒªã«ã—ã¦ã¿ã¾ã™ã€‚ãªãŠã€ã“ã“ã§ã¯ãƒ™ãƒ¼ã‚·ãƒƒã‚¯ãªMapReduce+HDFSã®ã“ã¨ã‚’Hadoopã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ Hadoopã¨ã¯Hadoopã¨ã¯è¨€ã‚ãšã¨çŸ¥ã‚ŒãŸGoogleã®MapReduce/GFSã®ã‚ªãƒ¼ãƒ—ンソースã®ã‚¯ãƒãƒ¼ãƒ³ã§ã™ã€‚MapReduceã§ã¯ãƒ—ãƒã‚°ãƒ©ãƒžã¯Mapã¨Reduceã¨ã„ã†2ã¤ã®é–¢æ•°ã‚’書ãã ã‘ã§ã€ä¸¦åˆ—分散処ç†ã‚’ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã‚Œã¯(1) データを実際ã«æŒã¤ãƒžã‚·ãƒ³ã«ãƒ—ãƒã‚°ãƒ©ãƒ ã‚’é…布ã™ã‚‹ (2) Mapã¨Reduceã‚’ã¤ãªãShuffleフェーズã§ã‚ーをグループ化ã—ã¦ã‚½ãƒ¼ãƒˆã™ã‚‹ã€(3) 障害時ã®ãƒ•ã‚§ãƒ¼ãƒ«ã‚ªãƒ¼ãƒãƒ¼ã‚„レプリケーションã€ã¨ã„ã£ãŸå‡¦ç†ã‚’フレームワークå´ãŒå—ã‘æŒã¤ã“ã¨ã«ã‚ˆã£ã¦ã€ãƒ—ãƒã‚°ãƒ©ãƒžå´ã®è² 担を減らã™ã‚‚ã®ã§ã™ã€‚GFSã«å¯¾å¿œã™ã‚‹HDFSã«ã¯ãƒ•ã‚¡ã‚¤ãƒ«ã‚’クラスタã«åˆ†æ•£ã—ã¦ä¿å˜
リアルタイムãªHadoop？ 「Real-Time MapReduceã€ã‚’実ç¾ã™ã‚‹S4ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦Yahoo!ãŒå…¬é–‹ ï¼ Publickey
ç±³Yahoo!ã¯ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æ•£å‡¦ç†ã‚’実ç¾ã™ã‚‹MapReduceをリアルタイムã«è¡Œã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€ŒS4ã€ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã—ã¾ã—ãŸã€‚ MapReduceを実行ã™ã‚‹ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦ã€ã‚ªãƒ¼ãƒ—ンソースã®ã€ŒHadoopã€ãŒã‚ã‚Šã¾ã™ãŒã€Hadoopã¯ã‚らã‹ã˜ã‚ジョブを定義ã—ã¦æŠ•å…¥ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã‚’å‰æã¨ã—ã¦ã„ã¾ã—ãŸã€‚ S4ã¯ã€ãƒ‡ãƒ¼ã‚¿ã‚’ã‚ーã¨ãƒãƒªãƒ¥ãƒ¼ã®ãƒšã‚¢ã§æ§‹æˆã•ã‚Œã‚‹ã‚¹ãƒˆãƒªãƒ¼ãƒ データã¨ã—ã¦éžåŒæœŸã«å—ã‘å–ã‚‹ã“ã¨ãŒã§ãã€å‡¦ç†çµæžœã‚‚ã‚ーãƒãƒªãƒ¥ãƒ¼ã®ãƒšã‚¢ã§æ§‹æˆã•ã‚ŒãŸã‚¹ãƒˆãƒªãƒ¼ãƒ データã¨ã—ã¦å‡ºåŠ›ã™ã‚‹ã‚ˆã†ã«ãªã£ã¦ã„ã‚‹ã¨ã®ã“ã¨ã€‚ ã“ã®éžåŒæœŸãªã‚¹ãƒˆãƒªãƒ¼ãƒ データã«ã‚ˆã‚‹å…¥å‡ºåŠ›ãŒã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªMapReduceを実ç¾ã™ã‚‹ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦ã®S4ã®ç‰¹å¾´ã¨ã„ãˆã¾ã™ã€‚ リアルタイムãªMapReduceã§ä½•ãŒã§ãる？ リアルタイムãªMapReduceã«ã¯ã©ã®ã‚ˆã†ãªç”¨é€”ãŒè€ƒãˆã‚‰ã‚Œã‚‹ã®ã§ã—ょã†ã‹ï¼Ÿ S4ã®å…¬é–‹ã‚’表明ã—ãŸY
資料を公開ã„ãŸã—ã¾ã—ãŸï¼ï¼ˆã‚¯ãƒƒã‚¯ãƒ‘ッドã®è£å´è¦‹ã›ã¾ã™ in 京都） - クックパッド開発者ブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ã™ã¿ã§ã™ã€‚去る4/16,17ã«äº¬éƒ½ã§ã€Œã‚¯ãƒƒã‚¯ãƒ‘ッドã®è£å´è¦‹ã›ã¾ã™vol.2＆vol.3ã€ã‚’開催ã„ãŸã—ã¾ã—ãŸã€‚ 当日ãŠè¶Šã—ãã ã•ã£ãŸçš†ã•ã¾ã€Ustreamã‚’ã”覧ãã ã•ã£ãŸçš†ã•ã¾ã€èª ã«ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸï¼ ãŠè©±ã•ã›ã¦é ‚ã„ãŸã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®ã†ã¡2åã®è³‡æ–™ã‚’公開ã„ãŸã—ã¾ã™ã®ã§ã€æ˜¯éžã”覧ãã ã•ã„ã¾ã›ã€‚ ・å‹é–“亮/アグレッシブãªã‚¯ãƒ©ã‚¦ãƒ‰ã®ä½¿ã„æ–¹ [slideshare id=3827098&doc=engineer-event-100417-kyoto-100423034302-phpapp02] ・濱崎å¥å¾/クックパッドã«å…¥ã£ã¦åæ•°æ—¥åƒã„ãŸé›‘æ„Ÿ [slideshare id=3849703&doc=100413urapad-100425122155-phpapp01]
オライリーã®ã€ŒHadoopã€æœ¬ç™ºåˆŠã€ 翻訳者ã«è£è©±ã‚’èžãã¾ã—ãŸ
クラウド上ã§å‹•ä½œã™ã‚‹å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ã®ãƒ—ラットフォームã¨ã—ã¦æ³¨ç›®ãŒé›†ã¾ã‚‹Hadoop。ãã‚‚ãã‚‚ã¯ã‚°ãƒ¼ã‚°ãƒ«ãŒå¤§è¦æ¨¡ãªæ¤œç´¢ã‚’è¡Œã†ãŸã‚ã«MapReduceã¨å‘¼ã°ã‚Œã‚‹å‡¦ç†ã‚’考案ã—ã€ãれを基ã«ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦é–‹ç™ºã•ã‚ŒãŸã®ãŒHadoopã§ã™ã€‚ç¾åœ¨ã§ã¯Yahoo!ã‚„FacebookãŒç¤¾å†…ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®ãŸã‚ã«æŽ¡ç”¨ã—ã¦ã„ã‚‹ã“ã¨ã§ã‚‚知られã¦ã„ã¾ã™ã—ã€æ—¥æœ¬ã§ã‚‚昨年「Hadoopユーザー会ã€ãŒç«‹ã¡ä¸ŠãŒã‚Šã¾ã—ãŸã€‚ ãã®Hadoopã«é–¢ã™ã‚‹å›½å†…åˆã®ã€ãã—ã¦æ±ºå®šç‰ˆçš„ãªæ›¸ç±ã€ŒHadoopã€ãŒã‚ªãƒ©ã‚¤ãƒªãƒ¼ãƒ»ã‚¸ãƒ£ãƒ‘ンã‹ã‚‰1月ã«ç™ºåˆŠã•ã‚Œã¾ã—ãŸã€‚ãã“ã§ã“ã®Hadoop本ã®ç¿»è¨³è€…ã®ä¸€äººã§ã‚る玉å·ç«œå¸ã•ã‚“ã«ã€ç¿»è¨³ã®è£è©±ã‚„èªã¿ã©ã“ã‚ãªã©ã‚’メールã§ã‚¤ãƒ³ã‚¿ãƒ“ューã—ã¾ã—ãŸã€‚ 玉å·ã•ã‚“ã®æœ¬è·ã¨ã€Hadoop本を翻訳をã™ã‚‹ã“ã¨ã«ãªã£ãŸçµŒç·¯ã‚’æ•™ãˆã¦ãã ã•ã„。 本è·ã¯ä¼šç¤¾å‹¤ã‚ã®é–‹ç™ºè€…ãªã‚“ã§ã™ãŒã€æ˜¨å¹´é ã‹ã‚‰Silverlightã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ä¼šã‚’ã‚„
グーグルãŒMapReduce特許をå–得。Hadoopã¸ã®å½±éŸ¿ã¯ï¼Ÿ
大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚’分散処ç†ã™ã‚‹ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã‚ã‚‹MapReduce。グーグルãŒæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®åŸºç›¤æŠ€è¡“ã¨ã—ã¦é–‹ç™ºã—ã€2004å¹´ã«è«–文「MapReduce: Simplified Data Processing on Large Clustersã€ã‚’発表ã—ãŸã“ã¨ã§ã‚ˆã知られるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ ãã®ã‚°ãƒ¼ã‚°ãƒ«ãŒMapReduceã®ç‰¹è¨±ã‚’å–å¾—ã—ãŸã“ã¨ãŒã€ãƒ–ãƒã‚°ã€ŒWataru's Blogã€ã®ã‚¨ãƒ³ãƒˆãƒªã€Œ GoogleãŒMapReduce特許をå–得。Googleã¯ç”¨é€”ã«ã¤ã„ã¦ã‚³ãƒ¡ãƒ³ãƒˆã›ãšã€ã§ä¼ãˆã‚‰ã‚Œã¦ã„ã¾ã™ã€‚ グーグルã®ç‰¹è¨±å–å¾—ã¯æ¥ç•Œã«ã©ã®ã‚ˆã†ãªå½±éŸ¿ã‚’与ãˆã‚‹ã®ã‹ã€‚ã“ã®ã‚¨ãƒ³ãƒˆãƒªã‚’起点ã«ã€ç¾æ™‚点ã§ã®æƒ…å ±ã‚„å ±é“ã‚’ã¾ã¨ã‚ã¾ã—ãŸã€‚ 特許å–å¾—ã¯é˜²è¡›ç›®çš„ã ã¨ã®è¦³æ¸¬ 米国特許商標åºï¼ˆUSPTO）ã®Webサイトã§ã¯ã€è©²å½“ã™ã‚‹ã‚°ãƒ¼ã‚°ãƒ«ã®ç‰¹è¨±ã€ŒSystem and method for efficient large
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
8月ã«å…¥ç¤¾ã—ãŸä½ã€…木ã§ã™ã€‚ã“ã‚“ã«ã¡ã‚ï¼ å…¥ç¤¾ã—ã¦ã‹ã‚‰ã¯Hadoopを使ã†ã“ã¨ãŒå¤šãã€æ—¥ã€…ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¨æ ¼é—˜ã—ã¦ã„ã¾ã™ã€‚大変ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å€‹äººã§ã¯ãªã‹ãªã‹è§¦ã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„よã†ãªå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’触れるã®ã¯æ¥½ã—ã„ã§ã™ã€‚ ã•ã¦ã€Hadoopã¯æœ€è¿‘色々ãªã¨ã“ã‚ã§ä½¿ã‚れ始ã‚ã¦ãã¦ã„ã‚‹ã¨æ€ã†ã‚“ã§ã™ãŒã€å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„tipsãªã©ã€å®Ÿè·µçš„ãªæƒ…å ±ã¯ã¾ã ã‚ã¾ã‚Šå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。ãã®è¾ºã®æƒ…å ±ã‚’ã¿ã‚“ãªæ±‚ã‚ã¦ã„ã‚‹ã¯ãšâ€¦ï¼ï¼ ãã“ã§ã€åƒ•ãŒå®Ÿéš›ã«è§¦ã£ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„Hadoopを使ã†ä¸Šã§ãƒã‚¤ãƒ³ãƒˆã ã¨æ€ã£ãŸã“ã¨ãªã©ã‚’社内勉強会ã§ç™ºè¡¨ã—ãŸã®ã§å…¬é–‹ã—ã¦ã¿ã¾ã™ã€‚Hadoopを使ã£ã¦ã„る（使ã„ãŸã„ã¨æ€ã£ã¦ã„る）方ã®å‚考ã«ãªã‚Œã°å¹¸ã„ã§ã™ã€‚ [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopã®åˆ©ç”¨ã¯ã¾ã ã¾ã 試行錯誤ã®é€£ç¶š
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日ã€Hadoop Conferenceã§Scala on Hadoopã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã—ã¦ãã¾ã—ãŸã€‚スライドを以下ã«ç½®ã„ã¦ãŠãã¾ã™ã€‚ Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストã¨ã—ã¦ã€Scalaã‚’Hadoopã§å‹•ã‹ã™ãŸã‚ã®æ–¹æ³•ã‚’書ã„ã¦ãŠãã¾ã™ã€‚ ã¾ãšã€Hadoop上ã§Scalaを実行ã•ã›ã‚‹ãŸã‚ã«ã¯ã€Javaã¨Scalaを接続ã™ã‚‹ãƒ©ã‚¤ãƒ–ラリãŒå¿…è¦ã¨ãªã‚Šã¾ã™ã€‚ã“ã“ã§ã¯ã€SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用ã—ã¾ã™ã€‚SHadoopã¯ã€åž‹å¤‰æ›ã‚’è¡Œã†ã‚·ãƒ³ãƒ—ルãªãƒ©ã‚¤ãƒ–ラリã§ã™ã€‚ よãã‚ã‚‹WordCountã®ã‚µãƒ³ãƒ—ルã€WordCount.scala (http://blog.jo
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
ストリームデータ分散処ç†åŸºç›¤Storm
{{#tags}}- {{label}}
{{/tags}}