http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。Read less

シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな

最近はなるべく技術的な話しか書かないようにしていたのですが、たまには個人的な思考を書いてみることにします。 クリスマスだし、ブログ初めてから8周年でもあるわけですし。 Hadoop は、大量のデータをリーズナブルに計算処理できるようにしたいという課題から生まれました。 つまりキーとなる課題として、 データが大量である リーズナブルである 計算処理ができる というものがあります。 後ろ2つは話が早い。低コストで計算処理を行いたいというのはほとんどのIT関係者が抱くニーズでしょう。 しかし、「データが大量である」という課題が厄介です。 まず第一に、「そんな大量のデータがどこにあるのか？」という問題があります。 たとえば1日1TBのデータを生成したとしても年間365TBです。ようするに 0.3PB。ビッグデータの代名詞として言われる「ペタバイトオーダー」には程遠いです。 1日1TBって、要するに

データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel

基幹系システム ERP 会計システム 電子帳票システム ワークフロー 勤怠管理システム もっと見る 情報共有システム・コミュニケーションツール グループウェア Web会議 テレビ会議/ビデオ会議 ファイル共有 文書管理 もっと見る 情報システム SFA CRM コールセンター/CTI BPM PLM もっと見る メール 電子メール メールセキュリティ メールアーカイブ その他メール関連 もっと見る エンドポイントセキュリティ アンチウイルス 暗号化 認証 ID管理 メールセキュリティ もっと見る ネットワークセキュリティ ファイアウォール WAF IPS UTM セキュリティ診断 もっと見る 運用管理 統合運用管理 IT資産管理 サーバー管理 ネットワーク管理 統合ログ管理 もっと見る バックアップ バックアップツール バックアップサービス テープバックアップ その他バックアップ関連 もっ

Hadoop Summit 2012 - Hadoop and Vertica: The Data Analytics Platform at Twitter The document discusses Twitter's data analytics platform, including Hadoop and Vertica. It outlines Twitter's data flow, which ingests 400 million tweets daily into HDFS, then uses various tools like Crane, Oink, and Rasvelg to run jobs on the main Hadoop cluster before loading analytics into Vertica and MySQL for web

Hadoopユーザーを直接支援する、ただし活用方法の情報提供は“道案内”までだ Cloudera 代表取締役社長 ジュセッペ 小林氏 ビッグデータブームに火を付けたオープンソースの分散バッチ処理ソフト、Apache Hadoop。そのHadoopのディストリビューション（関連コンポーネントや管理ツール、導入ユーティリティーなどを同梱したもの）である「Cloudera's Distribution Including Apache Hadoop（CDH）」を提供する米クラウデラが2012年4月26日、日本法人「Cloudera株式会社」を設立した（関連記事）。日本法人の初代社長となったジュセッペ 小林氏に、抱負や今後の戦略を聞いた。 私は今回の就任までに14社の社長を務め、30余年にわたってほぼ2週間おきに日本と米国を往復する生活を続けてきた。「日本法人立ち上げのプロ」を自認している。これま

http://ascii.jp/elem/000/000/687/687170/ こういう塩梅になった。これでも一応、最初に上がってきたインタビュー記事を訂正して、この状態という感じです。最初のほうはもっと派手だった。まー、さすがに読み手で不快に感じる人もいるだろうし、とはいえ、話したことをつないでいる部分は確かにあるわけで、はてどうしたものかな・・・と思っているうちにリリースになったというのが実態ですね。 えっと、まず読んで不快に思った方は確実にいらっしゃると思うので、その方たちにはお詫び申し上げます。すんませんでした。 その上で真意を書いておくと・・・ まず、Hadoopは統計の基礎を無視しているのか？という問題ですが、基本的にHadoopのBIで飯を食っている人は、いわゆる「データ・サイエンティスト」という職種の人たちにあたる方たちで、当然、統計のプロだ。当たり前の話だが、大抵のHa

Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. If you’ve been asked to maintain large and complex Hadoop clusters, this book is a must. Demand for operations-specific material has skyrocketed now that Hadoop is becoming the de fact

＞＞前回 この連載では、ビッグデータの収集から格納までのシステムデザインについて概観してきた。最終回は締めくくりとして、分析技術の課題と今後の方向性を考えてみる。 ビッグデータにおける分析技術の課題 分析技術の課題を考えるために、前回取り上げたECサイトの消費者行動ログデータの分析を想定してみる。図1は、割引率と売上額の相関だけでなく、購入時に表示されていた口コミ情報がどの程度の影響を与えるかを分析する例を示したものだ。この例では、口コミ評価が高いと、割引率に関係なく売上額が高いことを示している（右グラフの円の大きさは売上額の大きさを示す）。 このような分析を行う場合、１回のデータベース検索だけでは結果を出せないため、次のような複数の処理ステップが必要となる。 （1）１画面に含まれる複数の口コミ評価から、価格に関する評価を除外し、総合評価指数を算出する。 （2）会員向け割引を加算するなど割

Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー

20分で解説まるわかり！リクルート 忙しい学生のみなさんに、 サクっとすきま時間に見てほしい リクルートの会社説明動画です。 チャプターリスト 00:12　オープニング 02:17　リクルートについて 04:33　リクルートの事業について 08:12　配属職種について 10:37　入社後キャリアパスについて 11:56　成長を促す制度と風土 15:58　新規事業への挑戦 18:20　仕事とプライベートの両立

「日記/2012年02月09日/大手通信会社の研究所を辞めて、ソーシャルゲーム屋さんに行きます。」は管理者からの閲覧のみ許可しています。 ログイン ログイン

オープン系の歴史は、基本的に汎用機との戦いでした。個人的にも自分の戦いも、わりとまじめに汎用機との戦いでした。Linux? おもちゃですね。Java? 飲めるの？Object指向? 品質高いの?　・・・まぁこんな感じでしたね。確かにLinuxはもはや標準になりました。Javaでの開発は普通になりました。Object指向以外の開発はまぁ普通にないですね。・・・しかし、残念ながら基幹バッチは未だに汎用機です。汎用機は未だに現役であり、基幹処理の根っこは、いまだ汎用機で動いています。信頼性は突出しているし、パフォーマンスもバッチ処理に関しては依然として最強だと言えるでしょう。新人COBOLな人のバッチが、ハイパーなOracle使いのSQLバッチを軽く凌駕する事は、まだ普通にあります。・・・なぜか？ 多重度が違いすぎますね。 汎用機はハードウェアからOSレベルまですべて、多重度が上がる事を前提に処

8. アジェンダ  データの大規模化  Hadoop  HDFS  ロールプレイ HDFS 編  MapReduce  ロールプレイ MapReduce 編  まとめ 8

事例以外に「Hadoop World NYC 2011」で注目を集めたキーワードは、「次世代Hadoop」「エコシステム」「HBase」「既存DWHとの連携」などである。 スケーラビリティーの強化続く 次世代Hadoopはアーキテクチャーを改良し、より高いスケーラビリティー、信頼性、機能を実現する見込みである。例えば、名前空間とブロックストレージの管理を分離してスケーラビリティーを高める「HDFSフェデレーション」、マスターサーバーの可用性を向上させる「NameNode HA」、MPI（メッセージ・パッシング・インタフェース）などの分散処理インタフェースを利用できて1万台までスケールアウトが可能な「MapReduce 2.0」などを備える。これらの機能は、バージョン0.23に搭載する。いずれエンタープライズ領域で採用できるレベルに到達するだろう。 「Hadoop開発は分裂しない」 Hado

オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を利用する企業が相次いでいる。2011年11月に米国で開催されたカンファレンス「Hadoop World NYC」では、米JPモルガン・チェースなどの最新事例が登場した。前編では本会議で明らかにされた活用動向を紹介し、後編では主にベンダー側の動向を報告する。 2011年11月8日から2日間にわたり、「Hadoop World NYC 2011」が米国ニューヨークで開催された。3回めの開催となる今回は、27カ国から1400人を超えるITマネジャーや開発者などが集まった（写真1）。 Hadoop Worldは東海岸で開催されるだけあってビジネス色が強く、最新事例や提携の発表が多い（表1）。主催は、Hadoop専業であり、Hadoopの生みの親ダグ・カッティング氏が所属する米クラウデラ。今回のスポンサーには、Hadoop関

Hadoopアドベント・カレンダーの多分最終日のはず。 せっかくなんで、来年の予想でもしてみようかと。 日本の話です。世界のことはよくわかりません。本当のことは、日本には伝わらない（表向きの話はともかく、現状ではVCあたりの外野の方が発言力があると思うし、向こうでも、その辺の正確な情報は伝播してる気がしません）と思うので。とはいえ、日本のHadoopマーケットは、それなりわかっている（というか、わかっていないとまずい）感じみたいなので・・・勝手に、来年のHadoopとか予想します。外れたら焼き肉おごります。 1 大量データ処理でのデファクト化 ・いわゆるWeb系ではつかっていないところは一社もなくなる 特にレコメンデーションエンジンあたりは、もう普通に実装して使う。ただし、それ以上のものは出ない。集計処理と推論をうまく利用したレコメンデーションエンジン（とその亜流）、従来からのフィルタリン