サãƒãƒ¼ãƒˆãƒ¡ãƒ³ãƒã¯è¦‹ãŸ! Hadoopãƒã‚°ãƒ¯ãƒ¼ã‚¹ãƒˆ10 （adoop / Spark Conference Japan 2016 ライトニングトーク発表資料）
HDFS basics from API perspective
サãƒãƒ¼ãƒˆãƒ¡ãƒ³ãƒã¯è¦‹ãŸ! Hadoopãƒã‚°ãƒ¯ãƒ¼ã‚¹ãƒˆ10 （adoop / Spark Conference Japan 2016 ライトニングトーク発表資料）
Cloudera Altusã§ã‚¯ãƒ©ã‚¦ãƒ‰ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’ãŠæ‰‹è»½ã«
原文記事: http://vision.cloudera.com/simplifying-big-data-in-the-cloud/ 原文著者: Jennifer Wu 昨今ã®ãƒ‘ブリッククラウド採用ã®åŠ 速ã«ä¼´ã„ã€å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã®ãŸã‚ã«ã‚¯ãƒ©ã‚¦ãƒ‰ã«ç›®ã‚’å‘ã‘ã‚‹ãŠå®¢æ§˜ãŒå¢—ãˆã‚‹ã«ã¤ã‚Œã€æˆ‘々ã¯ã©ã†ã™ã‚Œã°ã‚¯ãƒ©ã‚¦ãƒ‰å†…㧠Cloudera ã®æ©Ÿèƒ½ã‚’最も効果的ã«æä¾›ã§ãã‚‹ã®ã‹ã€ã‚らãŸã‚ã¦æ¤œè¨Žã—ã¾ã—ãŸã€‚ ãŠå®¢æ§˜ã¯ã€çµ¶ãˆé–“ãªãæˆé•·ã™ã‚‹ãƒ“ジãƒã‚¹ãƒ‡ãƒ¼ã‚¿ã‚’効率的ã‹ã¤è²»ç”¨å¯¾åŠ¹æžœã®é«˜ã„方法ã§åˆ†æžã™ã‚‹ãŸã‚ã«ã€ã‚¯ãƒ©ã‚¦ãƒ‰ãŒæä¾›ã™ã‚‹ä¿Šæ•æ€§ã€è¦æ¨¡ã€ä½¿ã„ã‚„ã™ã•ã‚’ã©ã®ã‚ˆã†ã«æ´»ç”¨ã™ã‚Œã°ã„ã„ã®ã‹çŸ¥ã‚ŠãŸãŒã£ã¦ã„ã¾ã—ãŸã€‚ã•ã‚‰ã«ã€ãŠå®¢æ§˜ã¯ Cloudera プラットフォームã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ機能ã¨ä¿¡é ¼æ€§ã‚‚ãã®ã¾ã¾åˆ©ç”¨ã—ãŸã„ã¨è€ƒãˆã¦ã„ãŸã®ã§ã™ã€‚ ãã“ã§æˆ‘々ã¯ã‚¯ãƒ©ã‚¦ãƒ‰ã‚’全社的ãªå„ªå…ˆäº‹é …ã¨ã—ã€Cloudera スタック全体ã®ç›¸äº’é‹ç”¨æ€§ã‚’ç¶
Hadoopã¨S3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016ã®12/25分ã§ã™ã€‚ã‚‚ã¨ã‚‚ã¨YARNã®Application Timeline Server v2ã«ã¤ã„ã¦æ›¸ã“ã†ã¨æ€ã£ã¦ã„ãŸã®ã§ã™ãŒã€æ°—ãŒå¤‰ã‚ã£ã¦Hadoopã¨S3ã®é–¢ä¿‚性ã«ã¤ã„ã¦æ›¸ã„ã¦ã„ã“ã†ã¨æ€ã„ã¾ã™ã€‚ã‚‚ã—期待ã—ã¦ã„ãŸæ–¹ãŒã„らã£ã—ゃã£ãŸã‚‰ã”ã‚ã‚“ãªã•ã„。（ATSã«ã¤ã„ã¦ã¯æ©Ÿä¼šãŒã‚ã‚Œã°ã¾ãŸæ›¸ããŸã„ã¨æ€ã„ã¾ã™ã€‚) 背景 S3ã«ã¤ã„ã¦æ›¸ã“ã†ã¨ãŠã‚‚ã£ãŸã®ã¯ã€ä¸‹è¨˜ã®ã‚ˆã†ãªä»•çµ„ã¿ã‚’作ã£ã¦ã„ã‚‹ä¸ã§ã„ã‚ã„ã‚æ€ã†ã¨ã“ã‚ãŒã‚ã£ãŸã‹ã‚‰ã§ã™ã€‚ システムãŒS3ã«åã出ã™æ§˜ã€…ãªãƒã‚°ã€ãƒ‡ãƒ¼ã‚¿ã‚„メトリクスをZepplinã§å¯è¦–化ã™ã‚‹ãŸã‚ã®ä»•çµ„ã¿ã§ã™ã€‚永続化ã—ãŸã„データã¯S3ã«ã—ã‹ç½®ã‹ãšã€Sparkã‚„Zeppelinãªã©ã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã¯ã‚¹ãƒ†ãƒ¼ãƒˆãƒ¬ã‚¹ã‹ã¤æ‹¡å¼µã€ã‚‚ã—ãã¯åˆ¥ã®è¨ˆç®—フレームワ
基幹æ¥å‹™ã‚‚Hadoopã§!! -ãƒãƒ¼ã‚½ãƒ³ã«ãŠã‘る店舗発注æ¥å‹™ã¸ã®ï¿½Hadoop + Hive導入㨠ãã®å–り組ã¿ã«ã¤ã„ã¦-
基幹æ¥å‹™ã‚‚Hadoopã§!! -ãƒãƒ¼ã‚½ãƒ³ã«ãŠã‘る店舗発注æ¥å‹™ã¸ã®ï¿½Hadoop + Hive導入㨠ãã®å–り組ã¿ã«ã¤ã„ã¦-
Bioinformatics, Genomes, EC2, and Hadoop | Amazon Web Services
AWS News Blog Bioinformatics, Genomes, EC2, and Hadoop I think it is really interesting to see how breakthroughs and process improvements in one scientific or technical discipline can drive that discipline forward while also enabling progress in other seemingly unrelated disciplines. The Bioinformatics field is rife with examples of this pattern. Declining hardware costs, cloud computing, the abil
日本ä¼æ¥ã‹ã‚‰åˆã®Apache Hadoopã®ã‚³ãƒŸãƒƒã‚¿ï¼ˆä¸»è¦é–‹ç™ºè€…）就任
æ—¥æœ¬é›»ä¿¡é›»è©±æ ªå¼ä¼šç¤¾ï¼ˆæ±äº¬éƒ½åƒä»£ç”°åŒºã€ä»£è¡¨å–ç· å½¹ç¤¾é•·ï¼šéµœæµ¦ åšå¤«ã€ä»¥ä¸‹ï¼šNTT）ãŠã‚ˆã³æ ªå¼ä¼šç¤¾NTTデータ（本社：æ±äº¬éƒ½æ±Ÿæ±åŒºã€ä»£è¡¨å–ç· å½¹ç¤¾é•·ï¼šå²©æœ¬ æ•ç”·ã€ä»¥ä¸‹ï¼šNTTデータ）ã‹ã‚‰ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’対象ã¨ã—ãŸä¸¦åˆ—分散処ç†ã‚’実ç¾ã™ã‚‹ã‚ªãƒ¼ãƒ—ンソースソフトウェアApache Hadoop（以下：Hadoop）ãŠã‚ˆã³ãã®é–¢é€£ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã®ã‚³ãƒŸãƒƒã‚¿ã«ã€2014å¹´12月18æ—¥ã€å°æ²¢ å¥å²ï¼ˆNTTソフトウェアイノベーションセンタ）ã€é¯µå‚ 明ã€å²©å´Ž æ£å‰›ï¼ˆNTTデータ 基盤システム事æ¥æœ¬éƒ¨ï¼‰ã®3åãŒå°±ä»»ã™ã‚‹ã“ã¨ã«ãªã‚Šã¾ã—ãŸã€‚ コミッタã¨ã¯ã€Hadoopã®é–‹ç™ºã‚„メンテナンスã«ãŠã„ã¦ã€ãƒ—ãƒã‚°ãƒ©ãƒ を書ãæ›ãˆã‚‹æ¨©é™ï¼ˆã‚³ãƒŸãƒƒãƒˆæ¨©ï¼‰ã‚’æŒã¤ä¸»è¦é–‹ç™ºè€…ã®ã“ã¨ã§ã€ç¾åœ¨ã€Hadoopã®é–‹ç™ºã«é–¢ä¸Žã—ã¦ã„る全世界ã§ç´„3,000åã®ã†ã¡ã€ã‚³ãƒŸãƒƒã‚¿ã¯ã”ã一部［約100å（2014å¹´12月）］ã«é™ã‚‰ã‚Œã¦ã„ã¾ã™ã€‚Hadoopã«ãŠã„ã¦ã¯ã€
Apache Mahout's new DSL for Distributed Machine Learning
Apache Mahout's new DSL for Distributed Machine Learning Sebastian Schelter GOTO Berlin 11/06/2014 Overview • Apache Mahout: Past & Future • A DSL for Machine Learning • Example • Under the covers • Distributed computation of XTX Overview • Apache Mahout: Past & Future • A DSL for Machine Learning • Example • Under the covers • Distributed computation of XTX Apache Mahout: History • library for sc
2014年最もイケã¦ã‚‹BigDataé ˜åŸŸã§ã®ã‚¹ã‚¿ãƒ¼ãƒˆã‚¢ãƒƒãƒ—10社 - 元データ分æžã®ä¼šç¤¾ã§åƒã„ã¦ã„ãŸäººã®å››æ–¹å±±è©±
Top 10 Coolest Big Data Startups Of 2014ã¨ã„ã†è¨˜äº‹ãŒã‚ã‚Šã¾ã—ã¦ã€ã¯ã˜ã‚ã¦åå‰ã‚’èžãä¼æ¥ãŒå¤šãã‚ã‚Šã¾ã—ãŸã®ã§ç°¡å˜ã«èª¿ã¹ã¦ã¿ã¾ã—ãŸã€‚ホントã«ç°¡å˜ã«èª¿ã¹ãŸã ã‘ã§ã™ã€‚æ£ç¢ºã«ã¯è¨˜äº‹ã®èª¬æ˜Žï¼‹HPã®ãƒˆãƒƒãƒ—ã‚’ã–ã£ã¨è¦‹ãŸã ã‘ã§ã™ã®ã§ã€ãã‚“ãªã‚‚ã®ãŒã‚ã‚‹ã®ã‹ãƒ¼ã€ãらã„ã®ãƒŽãƒªã§ã™ã€‚ 1. SumAll SumAll Facebookã‚„Twitter, eBayã‚„Instagramãªã©ã€42種類ã®ã‚½ãƒ¼ã‚·ãƒ£ãƒ«ã¨Eコマースサイトã®ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å¯è¦–化ã™ã‚‹ã“ã¨ãŒã§ãるオンラインã®ãƒ—ラットフォームをæä¾›ã—ã¦ãれるã€ã¨ã®ã“ã¨ã€‚今年ã«å…¥ã£ã¦ã„ãã¤ã‹ã®æ©Ÿèƒ½è¿½åŠ ã‚’è¡Œã„ã€ä¾‹ãˆã°ã€ãƒªãƒ„イートやメンションã®æ•°ã«ã‚ˆã£ã¦ã‚¢ãƒ©ãƒ¼ãƒˆã‚’発ã—ã¦ãれるよã†ãªã‚·ã‚¹ãƒ†ãƒ ãŒè¿½åŠ ã•ã‚ŒãŸã¨ã®ã“ã¨ã€‚ 2. Luminoso Luminoso テã‚スト分æžã«å¼·ã¿ãŒã‚る会社ã½ã„ã§ã™ã€‚MITメディア・ラボã‹ã‚‰ã®ã‚¹ãƒ”ンアウトã¿
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
1å°æ§‹æˆã®Hadoopã‚’30分ã§è©¦ã—ã¦ã¿ã‚‹(Ubuntu + Cloudera)
(å‚考) Cloudera社ã®Hadoopパッケージã®æƒ…å ± http://archive.cloudera.com/docs/ å¿…è¦ãªã‚‚㮠・Ubuntuã‚„debianã®Linux環境1å°(手元ã§ã¯Ubuntu Server 11.04/10.04/9.10/8.04, debian 5ã‚ãŸã‚Šã§è©¦ã—ã¦ã„ã¾ã™ãŒã€ä»–ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚‚大丈夫ã ã¨æ€ã„ã¾ã™) ・インターãƒãƒƒãƒˆæŽ¥ç¶š ・Sun(Oracle)ã®Javaパッケージ(aptã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‹ã‚‰ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«) ・Cloudera社ã®CDH3ã®Hadoopパッケージ(aptã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‹ã‚‰ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«) 作æ¥æ‰‹é † 1. インストール: Linux環境ã«ã¦ã€rootã§ä½œæ¥ã—ã¾ã™ã€‚ sudo su 1-1. Sun(Oracle)ã®Javaを入れã¾ã™ã€‚(Sun(Oracle)ã®ã‚‚ã®ãŒå¿…è¦ã§ã™ã€‚) ※ ã“ã“ã§ã€ubuntu 10ã‚„11ã®äººã¯/etc
Hadoopã®åŸºæœ¬æ©Ÿèƒ½ã¨ã‚¨ã‚³ã‚·ã‚¹ãƒ†ãƒ 　PART 2 | IT Leaders
2012/03/06 08:00 構æˆã‚„動作ã®åŽŸç†ã¯æ„外ã¨ã‚·ãƒ³ãƒ—ル 難解ã•ã‚’解ãã»ãã—ã€å…¨ä½“åƒã‚’把æ¡ã™ã‚‹ Hadoopã¯æ§‹æˆã‚„動作原ç†ã¯ã‚·ãƒ³ãƒ—ルãªã†ãˆã€æ•°å¤šãã®æŠ€è¡“æƒ…å ±ã‚‚å…¬é–‹ã•ã‚Œã¦ã„る。 国内ã§ã‚‚一部ã®ãƒãƒƒãƒˆç³»ã‚µãƒ¼ãƒ“ス事æ¥è€…ãŒæœ¬æ ¼æ´»ç”¨ã«ã‚ˆã£ã¦æˆæžœã‚’上ã’始ã‚ã¦ã„る。 Hadoopã¯ã©ã®ã‚ˆã†ã«å‹•ä½œã™ã‚‹ã®ã‹ã€ä¼æ¥åˆ©ç”¨æ™‚ã«ã©ã†ã„ã£ãŸå‘¨è¾ºæŠ€è¡“ãŒæœ‰ç”¨ãªã®ã‹ã€‚ 基本機能ã¨ãれを支ãˆã‚‹æŠ€è¡“ã®ã‚¨ã‚³ã‚·ã‚¹ãƒ†ãƒ ã‹ã‚‰Hadoopã®å…¨ä½“åƒã‚’概説ã™ã‚‹ã€‚æ —åŽŸ é›… （編集部） 監修：野 è³¢ 一朗 æ°ã€€NTTデータ 基盤システム事æ¥æœ¬éƒ¨ システム基盤サービスビジãƒã‚¹ãƒ¦ãƒ‹ãƒƒãƒˆã€€OSSプãƒãƒ•ã‚§ãƒƒã‚·ãƒ§ãƒŠãƒ«ã‚µãƒ¼ãƒ“ス シニアエã‚スパート 米国ã§ã¯å¤šç¨®å¤šæ§˜ãªãƒ‡ãƒ¼ã‚¿ã‚’ã¾ã¨ã‚ã¦è“„ãˆã€å¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’対象ã«æŠ½å‡ºã‚„集計ã®å‡¦ç†ã‚’実行ã™ã‚‹ä»•çµ„ã¿ã¨ã—ã¦ã”ã身近ãªå˜åœ¨ã«ãªã‚Šã¤ã¤ã‚ã‚‹Hadoopã ãŒã€å›½å†…ã§ã¯ã¾ã ãã“ã¾ã§æµ¸é€ã—ã¦ã„ãªã„。Hadoopãã®ã‚‚
Treasure Dataã®ã‚µãƒ¼ãƒ“スã¯ã‚¯ãƒ©ã‚¦ãƒ‰ä¸Šã§ã©ã†æ§‹ç¯‰ã•ã‚Œã¦ã„ã‚‹ã®ã‹ï¼ˆå¾Œç·¨ï¼‰ï½žJuly Tech Festa 2013
Treasure Dataã®ã‚µãƒ¼ãƒ“スã¯ã‚¯ãƒ©ã‚¦ãƒ‰ä¸Šã§ã©ã†æ§‹ç¯‰ã•ã‚Œã¦ã„ã‚‹ã®ã‹ï¼ˆå¾Œç·¨ï¼‰ï½žJuly Tech Festa 2013 Treasure Dataã¨ã„ãˆã°ã€æ—¥æœ¬äººãŒã‚·ãƒªã‚³ãƒ³ãƒãƒ¬ãƒ¼ã§å‰µæ¥ã—ãŸãƒ™ãƒ³ãƒãƒ£ãƒ¼ã¨ã—ã¦çŸ¥ã‚‰ã‚Œã¦ã„ã‚‹ä¼æ¥ã€‚ãã®ã‚·ãƒ‹ã‚¢ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ä¸å·çœŸå®æ°ãŒã€7月14æ—¥ã«è¡Œã‚ã‚ŒãŸJuly Tech Festa 2013ã®åŸºèª¿è¬›æ¼”ã§ã€åŒç¤¾ãŒã‚¯ãƒ©ã‚¦ãƒ‰ä¸Šã§æ§‹ç¯‰ã—ãŸã‚µãƒ¼ãƒ“スã«ã¤ã„ã¦ãã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’ä¸å¿ƒã«è§£èª¬ã‚’è¡Œã£ã¦ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯ã€ŒTreasure Dataã®ã‚µãƒ¼ãƒ“スã¯ã‚¯ãƒ©ã‚¦ãƒ‰ä¸Šã§ã©ã†æ§‹ç¯‰ã•ã‚Œã¦ã„ã‚‹ã®ã‹ï¼ˆå‰ç·¨ï¼‰ï½žJapan Tech Festa 2013ã€ã®ç¶šãã§ã™ã€‚ データを解æžã™ã‚‹ã€ŒPlazmaã€ã®ä»•çµ„㿠データを解æžã™ã‚‹ã¨ã“ã‚ã§ã¯ã€ŒPlazmaã€ã¨å‘¼ã¶ã€Hadoopã®ã‚¨ã‚³ã‚·ã‚¹ãƒ†ãƒ ã¨ã‚«ãƒ©ãƒ ストアãªã©ã‚’組ã¿åˆã‚ã›ãŸã‚‚ã®ã‚’用ã„ã¦ã„ã¾ã™ã€‚
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Blog | Cloudera
Hadoopソースコードリーディング 第22回
Hadoop / Spark Conference Japan 2016
Flink overview - MPP architecture's future
Altan Khendup --- Hadoop at Home - Small Personal Cluster
Hadoopã«ã‚ˆã‚‹å¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†
Klikbet77: Platform Betting Trusted & Penyedia Game Slot Terbaru
GitHub - h2oai/h2o-2: Please visit https://github.com/h2oai/h2o-3 for latest H2O
{{#tags}}- {{label}}
{{/tags}}