Fluentd and WebHDFS
This document discusses Fluentd and its webhdfs output plugin. It explains how the webhdfs plugin was created in 30 minutes by leveraging existing Ruby gems for WebHDFS operations and output formatting. The document concludes that output plugins can reuse code from mixins and that developing shared mixins allows plugins to incorporate common features more easily.Read less
Jenkinsã¨hadoopを利用ã—ãŸç¶™ç¶šçš„データ解æžç’°å¢ƒã®æ§‹ç¯‰
2. Meta Information • 2006.4 – 2012.3 – Keio University • Artificial Intelligence, Semantic Web, Ontology Engineering • 2011.2 – 2012.3 – CTO at Trippiece, Inc. • Software Engineering • 2012.4 – – Engineer at adingo, Inc. • Data Analysis, Operation Engineering twitter: @suzu_v http://blog.kentasuzuki.net
Hadoopを用ã„ãŸå¤§è¦æ¨¡ãƒã‚°è§£æž
this document is for #tokyowebmining held at 2011/04/10Read less
Hadoopã®æœ€æ–°å‹•å‘を「Hadoop World:NY 2009ã€ã®è³‡æ–™ã‹ã‚‰ï¼ˆå¾Œç·¨ï¼‰
Hadoopã¯ã€ã‚°ãƒ¼ã‚°ãƒ«ãŒå¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãŸã‚ã«ç”¨ã„ã¦ã„ã‚‹MapReduceã¨ã„ã†æŠ€è¡“ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å®Ÿç¾ã™ã‚‹ãŸã‚ã«é–‹ç™ºã•ã‚ŒãŸJavaベースã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€‚クラウド対応ã®ã‚¢ãƒ—リケーションã§ã‚ã‚Šã€æ•°ãƒ†ãƒ©ãƒã‚¤ãƒˆã«ã‚‚ãŠã‚ˆã¶å¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’高速ã‹ã¤ä½Žã‚³ã‚¹ãƒˆã«åˆ†æžã™ã‚‹æ–¹æ³•ã¨ã—ã¦æ³¨ç›®ã‚’集ã‚ã¦ã„ã¾ã™ã€‚ 後編ã§ã¯ã€10月2æ—¥ã«ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§é–‹å‚¬ã•ã‚ŒãŸã€ŒHadoop World：NY 2009ã€ã®åˆå¾Œã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã®è³‡æ–™ã«ç›®ã‚’通ã—ã€èˆˆå‘³æ·±ã„ãƒã‚¤ãƒ³ãƒˆã‚’紹介ã—ã¾ã—ょã†ã€‚åˆå¾Œã¯3トラックã«åˆ†ã‹ã‚Œ30ã‚‚ã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ãŒè¡Œã‚ã‚Œã¦ã„ã¾ã—ãŸã€‚ ã“ã®è¨˜äº‹ã¯ã€ŒHadoopã®æœ€æ–°å‹•å‘を「Hadoop World:NY 2009ã€ã®è³‡æ–™ã‹ã‚‰ï¼ˆå‰ç·¨ï¼‰ã€ã®ç¶šãã§ã™ã€‚ åˆå¾Œã®ã‚»ãƒƒã‚·ãƒ§ãƒ³è³‡æ–™ã‹ã‚‰ãƒã‚¤ãƒ©ã‚¤ãƒˆã‚’紹介 イェール大å¦ã®Azza Abouzeidæ°ã¨Kamil Bajda-Pawlikowskiæ°ã¯ã€Hadoopã¨ãƒ‘ラレル
Hadoopã®æœ€æ–°å‹•å‘を「Hadoop World:NY 2009ã€ã®è³‡æ–™ã‹ã‚‰ï¼ˆå‰ç·¨ï¼‰
Hadoopã¯ã€ã‚°ãƒ¼ã‚°ãƒ«ãŒå¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãŸã‚ã«ç”¨ã„ã¦ã„ã‚‹MapReduceã¨ã„ã†æŠ€è¡“ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å®Ÿç¾ã™ã‚‹ãŸã‚ã«é–‹ç™ºã•ã‚ŒãŸJavaベースã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚開発ãŒå§‹ã¾ã£ãŸã®ã¯2005å¹´é ƒã§ã€å½“時Yahoo!ã«æ‰€å±žã—ç¾åœ¨ã¯Clouderaã«æ‰€å±žã™ã‚‹Doug Cuttingæ°ãŒä¸å¿ƒã¨ãªã£ã¦é€²ã‚ã¦ãã¾ã—ãŸã€‚ HadoopãŒå®Ÿç¾ã™ã‚‹MapReduce処ç†ã¨ã¯ã€ç°¡å˜ã«ã„ãˆã°å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’å°ã•ã分割ã—ã¦å¤šæ•°ã®ãƒŽãƒ¼ãƒ‰ã«å‰²ã‚Šå½“ã¦ï¼ˆMap処ç†ï¼‰ã€å„ノードã§å‡¦ç†ã‚’è¡Œã£ãŸã‚‰ãれを集約ã—ã¦çµæžœã‚’出ã™ï¼ˆReduce処ç†ï¼‰ã€ã¨ã„ã†åˆ†æ•£å‡¦ç†ã®æ–¹æ³•ã§ã™ã€‚数テラãƒã‚¤ãƒˆã«ã‚‚ãŠã‚ˆã¶å¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’高速ã‹ã¤ä½Žã‚³ã‚¹ãƒˆã«åˆ†æ•£å‡¦ç†ã™ã‚‹æ–¹æ³•ã¨ã—ã¦æ³¨ç›®ã‚’集ã‚ã¦ã„ã¾ã™ã€‚ ニューヨークã§Hadoop WorldãŒé–‹å‚¬ã•ã‚Œã‚‹ ãã®Hadoopã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ŒHadoop World：NY 2009ã€ãŒ10月2æ—¥ã«ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§
クックパッドã¨Hadoop - クックパッド開発者ブãƒã‚°
ã¯ã˜ã‚ã¾ã—ã¦ã€‚今年ã®5月ã«å…¥ç¤¾ã—ãŸå‹é–“@ã•ãŒã™ãƒãƒ¼ãƒ ã§ã™ã€‚ 入社ã—ã¦ã‹ã‚‰ã¯ã€ãªã‹ãªã‹å¤§å¤‰ãªã“ã¨ã‚‚多ã„ã§ã™ãŒã€æœ€è¿‘ã¯ãŠé…’好ããŒé›†ã¾ã£ã¦æœˆæ›œã‹ã‚‰é£²ã¿åˆã† 「å‹é–“会ã€ãªã‚‹ã‚‚ã®ã‚‚発足ã—ã¦ã€ä»•äº‹é¢ã§ã‚‚仕事以外ã®é¢ã§ã‚‚密度ã®é«˜ã„毎日をéŽã”ã—ã¦ã„ã¾ã™ï¼ ã•ã¦ã€åƒ•ã¯ã€Œã•ãŒã™ã€ãƒãƒ¼ãƒ 所属ã¨ã„ã†ã“ã¨ã§ã€æ™®æ®µã¯ãƒ¬ã‚·ãƒ”を「ã•ãŒã™ã€ãƒ¦ãƒ¼ã‚¶ã®æº€è¶³åº¦ã‚’上ã’ã‚‹ãŸã‚ã«ã€ クックパッドã®æ¤œç´¢ã¾ã‚ã‚Šã«ã¤ã„ã¦ã€ã„ã‚ã„ã‚ãªé–‹ç™ºã‚’è¡Œã£ã¦ã„ã¾ã™ã€‚ 一方ã§ã€ãƒ¦ãƒ¼ã‚¶ã®ã€Œã•ãŒã™æ¬²æ±‚ã€ã«ã¤ã„ã¦æ·±ã知るãŸã‚ã«ã€å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿è§£æžã‚’è¡Œã„ã€æ¬²æ±‚ã®åˆ†æžã‚’è¡Œã†æ©Ÿä¼šã‚‚増ãˆã¦ãã¾ã—ãŸã€‚ ã¨ã“ã‚ãŒã€ã‚¯ãƒƒã‚¯ãƒ‘ッドã®ãƒã‚°ã¯è†¨å¤§ãªæ•°ãŒã‚ã‚‹ã®ã§ã€ä¸€å£ã®ãƒ‡ãƒ¼ã‚¿è§£æžã¨è¨€ã£ã¦ã‚‚通常ã®ãƒãƒƒãƒå‡¦ç†ã ã¨é–“ã«åˆã‚ãªã„ãŸã‚〠分散処ç†ç’°å¢ƒã®å¿…è¦æ€§ãŒé«˜ã¾ã£ã¦ãã¾ã—ãŸã€‚ ãã“ã§ã€ã¾ãšã¯æ‰‹è»½ã«è©¦ã›ã‚‹åˆ†æ•£å‡¦ç†ã®çŽ‹é“ã¨ã„ã†ã“ã¨ã§ã€æœ€è¿‘ã§ã¯Hadoopを使ã£ãŸãƒ‡ãƒ¼ã‚¿è§£æžç’°å¢ƒã‚’æ•´å‚™ã—ã¦ã„ã¾ã™ã€‚
Yahoo! Distribution of Hadoop Security
Hadoop Related Downloads Oozie – Yahoo!'s workflow engine for Hadoop Download the source code of Oozie, Yahoo!'s workflow engine for Hadoop: Apache Hadoop Sandbox Download the sandbox version of Apache Hadoop with security and Pig. The sandbox version contains a VMWare(TM) based virtual machine with a preinstalled Hadoop cluster, enabling easy setup and experimentation. Notice Yahoo! does not offe
ï¼»ITproカンファレンス：Amazonクラウド］EC2ã¯æ—©ãã¦å®‰ã„ãŒHA機能ãŒè¶³ã‚Šãªã„---プリファードCTO
「Amazon EC2ã¯å°è¦æ¨¡ãªä¼æ¥ã«ç‰¹ã«å‘ã。サーãƒãƒ¼ã‚’æ—©ãç«‹ã¡ä¸Šã’られ，ã—ã‹ã‚‚料金ãŒå®‰ã„ã€---。全文検索エンジンãªã©ã‚’開発ã™ã‚‹æŠ€è¡“ベンãƒãƒ£ãƒ¼ã®ãƒ—リファードインフラストラクãƒãƒ£ãƒ¼ã§æœ€é«˜æŠ€è¡“責任者（CTO）を務ã‚る太田一樹æ°ã¯2009å¹´4月10日，ITproカンファレンス「徹底ç†è§£ Amazonクラウドサービスã€ã§è¬›æ¼”。実際ã«åŒç¤¾ã§ä½¿ã£ã¦ã¿ã¦åˆ†ã‹ã£ãŸAmazon EC2ã®ãƒ¡ãƒªãƒƒãƒˆã¨ãƒ‡ãƒ¡ãƒªãƒƒãƒˆã‚’ã¾ã¨ã‚ã¤ã¤ï¼Œãã®æ´»ç”¨ãƒã‚¤ãƒ³ãƒˆã‚’解説ã—ãŸï¼ˆå†™çœŸï¼‰ã€‚ å‰æã¨ãªã‚‹Amazon EC2ã¯ï¼Œä»®æƒ³ã‚µãƒ¼ãƒãƒ¼ç’°å¢ƒã®ãƒ›ã‚¹ãƒ†ã‚£ãƒ³ã‚°ãƒ»ã‚µãƒ¼ãƒ“ス。Linuxサーãƒãƒ¼ãªã©ã‚’オンデマンドã§ç”¨æ„ã™ã‚‹ã€‚関連サービスã«ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ãƒ»ã‚µãƒ¼ãƒ“ス「Amazon S3ã€ãŒã‚る。 プリファードインフラストラクãƒãƒ£ãƒ¼ã¯ï¼Œã“れらã®ã‚µãƒ¼ãƒ“スを自社ã®ãƒ“ジãƒã‚¹ã«å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã„る。用途ã¯(1)社内データã®ãƒãƒƒã‚¯ã‚¢ãƒƒãƒ—，(2)顧客ãŒåŒç¤¾è£½å“を試験ã™ã‚‹éš›
HBase 入門 (2) - ã“ã©ã‚‚(ã¦ã‚Œã³)
Hadoop ã® MapReduce 㧠HBase を使ã£ã¦ã¿ã¾ã—ょã†ã€‚ 0. å‚考ページ http://wiki.apache.org/hadoop/Hbase/MapReduce 1. セットアップ $HADOOP_HOME/conf/hadoop-env.sh ã® HADOOP_CLASSPATH ã« HBase ã®ãƒ‘ã‚¹ã‚’åŠ ãˆã¾ã™ã€‚ export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.2.1.jar:$HBASE_HOME/confå‰å›žã®ãƒ—ãƒã‚°ãƒ©ãƒ ã§å‹•ä½œç¢ºèªã€‚ debian:~/tmp/hbase% jar cf hbase-basic.jar HBaseBasic.class debian:~/tmp/hbase% $HADOOP_HOME/bin/hadoop jar hbase-basic.jar HBaseBasicå‰å›žé€šã‚Šã«å‹•ã‘ã°OKã§
HBase 入門 (1) - ã“ã©ã‚‚(ã¦ã‚Œã³)
Hadoop 㨠HBase ã§åˆ†æ•£å‡¦ç†ãŒæ›¸ã‘ã‚‹ã®ã¯ã‚ã‹ã£ãŸã‘ã©ã€ã„ã–使ã£ã¦ã¿ã‚‹ã¨ãªã‚‹ã¨ãƒ‰ã‚ュメントãŒå°‘ãªãã¦â€¦â€¦ã€ã¨ã„ã†ã‚ãªãŸã®ç‚ºã® HBase 入門ã€ä»Šå›žã¯ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã‹ã‚‰ Java ã® API 㧠HBase を触るã¾ã§ã‚’勉強ã—ã¾ã™ã€‚ 使用ã™ã‚‹ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯ Hadoop 0.17.2.1ã€HBase 0.2.1 ã§ã™ã€‚ 0. å‚考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop ã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ— http:
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}