Treasure Data Blog • Enabling Facebook's Log Infrastructure with Fluentd
Tweet About This post shows how you can replace Scribe with Fluentd. What is Scribe? Facebook uses Scribe as its core log aggregation service.. The description of Github reads, “Scribe is a server for aggregating log data streamed in real time from a large number of servers.†A network of Scribe servers forms a directed graph. Each server is a node and directed edges represent lines of communicati
ç±³Twitterã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ データ処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€ã‚’オープンソースã§å…¬é–‹ | OSDN Magazine
ç±³Twitterã¯8月4æ—¥ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ データ処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€ã‚’オープンソースã«ã™ã‚‹è¨ˆç”»ã‚’発表ã—ãŸã€‚Stormã¯åŒç¤¾ãŒ7月ã«è²·åŽã—ãŸç±³BackType Technologyã®æŠ€è¡“ã§ã€ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆãƒªãƒ¼ãƒ ã®è§£æžãªã©ã«åˆ©ç”¨ã§ãã‚‹ã¨ã„ã†ã€‚ Stormã¯ã€Œãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ データ処ç†ã®Hadoopã€ã‚’標榜ã™ã‚‹æŠ€è¡“ã§ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æ•£å‡¦ç†ã‚’è¡Œã†ãŸã‚ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚·ã‚¹ãƒ†ãƒ 。BackTypeãŒTwitterã«è²·åŽã•ã‚Œã‚‹å‰ã®6月ã«ç™ºè¡¨ã€ã‚ªãƒ¼ãƒ—ンソースã«ã™ã‚‹è¨ˆç”»ã‚’明らã‹ã«ã—ã¦ã„ãŸã€‚ Stormã¯Java仮想マシン上ã§å‹•ä½œã—ã€ã•ã¾ã–ã¾ãªãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã§è¡Œã†å‡¦ç†ã‚’実装ã§ãる。クラスタシステムã¯ã‚¯ãƒ©ã‚¹ã‚¿ã‚’コントãƒãƒ¼ãƒ«ã™ã‚‹ã€ŒNimbusã€ã€å®Ÿéš›ã®å‡¦ç†ä½œæ¥ã‚’実行ã™ã‚‹ã€ŒSupervisorã€ã€Supervisorを監視・制御ã™ã‚‹ã€ŒZookeeperã€ã‹ã‚‰æ§‹æˆã•ã‚Œã€SupervisorノードãŒå‡¦ç†ã‚’分割ã—ã¦Zookeep
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
クックパッドã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã€ãŸã£ãŸ5万円：日経ビジãƒã‚¹ã‚ªãƒ³ãƒ©ã‚¤ãƒ³
æ°—ã«ãªã‚‹è¨˜äº‹ã‚’スクラップã§ãã¾ã™ã€‚ä¿å˜ã—ãŸè¨˜äº‹ã¯ã€ãƒžã‚¤ãƒšãƒ¼ã‚¸ã§ã‚¹ãƒžãƒ›ã€ã‚¿ãƒ–レットã‹ã‚‰ã§ã‚‚ã”確èªé ‚ã‘ã¾ã™ã€‚※会員é™å®š 無料会員登録 詳細 ｜ ãƒã‚°ã‚¤ãƒ³ 月間ユニークユーザー数ã€884万人ã€æœˆé–“ページビュー数ã€4å„„6000万（2010å¹´3月）を誇る国内ナンãƒãƒ¼ãƒ¯ãƒ³ã®æ–™ç†ãƒ¬ã‚·ãƒ”ã®æŠ•ç¨¿ãƒ»æ¤œç´¢ã‚µã‚¤ãƒˆã€Œã‚¯ãƒƒã‚¯ãƒ‘ッドã€ã€‚ 日常的ã«æ–™ç†ã‚’ã™ã‚‹äººã¯ã‚‚ã¡ã‚ã‚“ã®ã“ã¨ã€ãŸã¾ã«ã—ã‹åŒ…ä¸ã‚’æ¡ã‚‰ãªã„人ã§ã‚‚クックパッドã®ã‚¦ã‚§ãƒ–サイトを一度ã¯è¨ªã‚ŒãŸã“ã¨ãŒã‚ã‚‹ã®ã§ã¯ãªã„ã‹ã€‚ 2ã¡ã‚ƒã‚“ãã‚‹ã‚„Twitterを凌駕ã™ã‚‹ ãã‚Œãらã„ã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã¯ãƒ¬ã‚·ãƒ”ã®æŠ•ç¨¿ãƒ»æ¤œç´¢ã‚µã‚¤ãƒˆã¨ã—ã¦ä¸å‹•ã®åœ°ä½ã‚’築ã„ã¦ã„るよã†ã«æ€ãˆã‚‹ã€‚ãªã«ã—ã‚ã€æ¯ã®æ—¥ã¨ã‚«ãƒŸã‚µãƒ³ã®èª•ç”Ÿæ—¥ãらã„ã—ã‹ã€æ–™ç†ã‚’ã—ãªã„ç†è€…ã§ã•ãˆã‚‚ã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã¯ä½•åº¦ã‹ã®ãžãã€ãŠä¸–話ã«ãªã£ãŸã“ã¨ãŒã‚ã‚‹ãらã„ã 。 ページビュー数ã®æ¯”較ã§ã„ãˆã°ã€ã“ã®4å„„6000万ã¨ã„ã†æ•°å—ã¯ã€2ã¡ã‚ƒã‚“ãるや今æµè¡Œã‚Šã®T
第30回　Rubyã¨Hadoopã§åˆ†æ•£å‡¦ç†ã€€Hadoop Streamingã§å¤–部データをèªã¿è¾¼ã‚€ | gihyo.jp
å‰å›žã®ãŠã•ã‚‰ã„ 第28回ã§ã¯Hadoop Streamingã®ä»•çµ„ã¿ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã—ãŸã€‚今回ã¯ã€å®Ÿéš›ã«Hadoop Streamingを利用ã—ã¦ãƒ‡ãƒ¼ã‚¿è§£æžã—ãŸã¨ãã®å…·ä½“çš„ãªè©±ã‚„ã€åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸï¼ˆãƒãƒžã£ãŸï¼‰Hadoop Streaming特有ã®å•é¡Œã¨ãã®è§£æ±ºæ³•ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¦ã„ãã¾ã™ã€‚ 実際ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸï¼ˆãƒãƒžã£ãŸï¼‰ã“㨠ã•ã¦ã€ç¬¬28回ã§ã‚‚紹介ã—ã¾ã—ãŸãŒä»Šå›žHadoopを利用ã—ãŸã®ã¯open('http://tabemiru.com/2009'); return false;">ãŸã¹ã¿ã‚‹ã®ãƒ‡ãƒ¼ã‚¿è§£æžã®ãŸã‚ã§ã™ã€‚ãŸã¹ã¿ã‚‹ã®ãƒ‡ãƒ¼ã‚¿è§£æžã§ã¯ã€é£Ÿæåや地域åã¨ã„ã£ãŸç‰¹å®šã®å€¤ã”ã¨ã«ãƒ‡ãƒ¼ã‚¿ã‚’ã¾ã¨ã‚る処ç†ãŒå¤šãã€ã¾ãŸãã®å‡¦ç†é€Ÿåº¦ãŒé…ã„ã®ãŒå•é¡Œã ã£ãŸã®ã§ã™ãŒã€ã“ã®ã‚ˆã†ãªå‡¦ç†ã¯Hadoop上（Ruby）ã§ã‚‚比較的簡å˜ã«å®Ÿè£…ã™ã‚‹ã“ã¨ãŒã§ãã¾ã—ãŸã€‚ ãã‚Œã§æœ€åˆã¯ã€Œã“ã‚Œã¯ã‚¹ãƒ ーズã«Hadoop上ã«å‡¦ç†ã‚’
ウノウラボ Unoh Labs: PHPã§æš—å·åŒ–・復å·åŒ–ã‚ã‚Œã“ã‚Œ
GT Nitro: Car Game Drag Raceã¯ã€å…¸åž‹çš„ãªã‚«ãƒ¼ã‚²ãƒ¼ãƒ ã§ã¯ã‚ã‚Šã¾ã›ã‚“。ã“ã‚Œã¯ã‚¹ãƒ”ードã€ãƒ‘ワーã€ã‚¹ã‚ル全開ã®ã‚«ãƒ¼ãƒ¬ãƒ¼ã‚¹ã‚²ãƒ¼ãƒ ã§ã™ã€‚ブレーã‚ã¯å¿˜ã‚Œã¦ã€ã“ã‚Œã¯ãƒ‰ãƒ©ãƒƒã‚°ãƒ¬ãƒ¼ã‚¹ã€ãƒ™ã‚¤ãƒ“ーï¼å¤å…¸çš„ãªã‚¯ãƒ©ã‚·ãƒƒã‚¯ã‹ã‚‰æœªæ¥çš„ãªãƒ“ーストã¾ã§ã€æœ€ã‚‚クールã§é€Ÿã„車ã¨ã‚«ãƒ¼ãƒ¬ãƒ¼ã‚¹ã§ãã¾ã™ã€‚スティックシフトをマスターã—ã€ãƒ‹ãƒˆãƒã‚’è³¢ã使ã£ã¦ç«¶äº‰ã‚’打ã¡ç ´ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ã“ã®ã‚«ãƒ¼ãƒ¬ãƒ¼ã‚¹ã‚²ãƒ¼ãƒ ã¯ãã®ãƒªã‚¢ãƒ«ãªç‰©ç†å¦ã¨ç´ 晴らã—ã„グラフィックスã§ã‚ãªãŸã®å¿ƒã‚’爆発ã•ã›ã¾ã™ã€‚ã“ã‚Œã¾ã§ãƒ—レイã—ãŸã“ã¨ã®ãªã„よã†ãªã‚‚ã®ã§ã™ã€‚ GT Nitroã¯ã€ãƒªãƒ•ãƒ¬ãƒƒã‚¯ã‚¹ã¨ã‚¿ã‚¤ãƒŸãƒ³ã‚°ã‚’試ã™ã‚«ãƒ¼ãƒ¬ãƒ¼ã‚¹ã‚²ãƒ¼ãƒ ã§ã™ã€‚æ£ã—ã„瞬間ã«ã‚®ã‚¢ã‚’シフトã—ã€ã‚¬ã‚¹ã‚’æ€ã„切りè¸ã‚€å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ã¾ãŸã€å¤§ç‰©ãŸã¡ã¨ç«¶ã„ã¤ã¤ã€è»Šã®ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã¨ã‚¢ãƒƒãƒ—グレードも行ã‚ãªã‘ã‚Œã°ãªã‚Šã¾ã›ã‚“。世界ä¸ã§æœ€é«˜ã®ãƒ‰ãƒ©ã‚¤ãƒãƒ¼ã¨è»Šã¨ã‚«ãƒ¼ãƒ¬ãƒ¼ã‚¹ã«æŒ‘ã‚€ã“ã¨ã«ãªã‚Šã€ãƒ‰ãƒ©ãƒƒã‚°ãƒ¬ãƒ¼ã‚¹ã®çŽ‹å†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}