EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

ITpro EXPO AWARD 2011で優秀賞に輝いたのは、EMCジャパンのビッグデータ処理ミドルウエア「EMC Greenplum HD」である。OSS（オープンソース）の「Apache Hadoop」とのアプリケーション開発互換性を保ちつつ、同社が一から企業向けに作り直し、性能、可用性、使い勝手を向上させている。 国内の第一号ユーザーはリクルート（Webのログ解析などに利用）。2011年内は、ユーザー数社に対して限定的にGreenplum HDを導入する。2012年の年明け以降、広く一般への販売を開始する。料金はサブスクリプション（購読）形式とし、データ処理ノード1台あたり年額50万円前後としている。 ITpro EXPO 2011の展示ブース（写真1）では、実機（3台のデスクトップPC）を用いたデモンストレーションやシアター上映を通し、Apahce Hadoopと比べたGreen

最後に12ノードの環境で、複数のHadoopジョブを実行した場合の処理性能について説明する。通常は、1台のサーバー上で複数の処理を同時に実行すると、リソースの競合が発生して性能が低下する。Hadoopで同様の問題が発生するのか調べた。 検証では、同一のHadoopクラスター上で同一処理内容のHadoopジョブを二つ動作させた。キャッシュの影響を排除するために、各ジョブは別のデータを処理するようにしている。 結果はキーの分布が一様な場合とべき分布の場合で異なった（図9）。

実際に構築するHadoopのシステムでは（a）インポートや（d）エクスポートのように、扱うデータ量に依存し、Hadoopのノード数を増やしても性能が向上しない処理があり、そこがボトルネックになり得る。いかに効率良くRDBMSからデータをインポート/エクスポートするかが非常に重要だ。 ここでは、（a）インポートに焦点を当て、「JDBCドライバを使用して標準SQLでアクセス」「米Clouderaが提供するデータ転送ツールsqoopを使用」「MySQLの独自機能を利用したダンプ」の3通りの方法を試した（図4）。

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

NTTデータは2011年5月30日、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」の商用ディストリビューション「Cloudera's Distribution including Apache Hadoop v3（CDH3）」の販売を、6月2日に開始すると発表した。価格は1ノード当たり年額25万円からで、5ノードから販売する。 NTTデータは2010年10月に、CDH3の開発元である米クラウデラと提携している。CDH3は、米アパッチソフトウエア財団が管理するHadoopのディストリビューションに対して、クラウデラによる機能追加や品質強化を加えたディストリビューションである。また、Hadoopを活用するために必要となるシステム連携ツールなどがパッケージ化してある。 CDH3が含むツールとしては、リレーショナルデータベース管理システム（RDBMS）のデータをHado

分散処理ミドルウエアの「Hadoop」を基幹バッチ処理に適用するためのフレームワーク「Asakusa」。第2回では、その構成要素を紹介しよう。 Asakusaは、MapReduceアプリケーションの入出力データのクラスファイルを生成する「Model Generator」、独自のDSL（Domain Specific Language）用コンパイラである「Ashigel Compiler」、実行ライブラリの「Rumtime Library」、データ入出力管理フレームワークの「ThunderGate（雷門）」という四つを提供している。 まず、ThunderGate以外の三つについて紹介しよう（図1）。 Model Generator Model Generatorは、開発者が定義した、MapReduceアプリケーションの入出力データ形式をインプットとし、Hadoop独自の「Writable」と

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

NTTデータのHadoopアプライアンス「Lindacloud for Hadoop」のプラットフォームとなる「Lindacloud」 米Googleの分散データ処理技術をオープンソースとして実装した「Hadoop」――。膨大なデータを高速に解析するツールとして桁違いの可能性を持ち、国内の一般企業でも利用が始まりました。 楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」などにHadoopを使用。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムなどにHadoopを採用しました。 システムインテグレーターはHadoop関連のツールやサービスを相次いで発表しています。Hadoopを企業情報システムに組み込みやすくなってきました。 Hadoopの導入事例 グーグル発「Hadoop」、日本企業も利用へ リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡

Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ

Jaql（a query language desired for JSON：JSON用に位置づけられたクエリ言語）は、JSON型式のデータを処理するためのクエリ言語で、Apache HadoopのMapReduceを処理するための実装が存在します。日本語では「じゃっくる」と発音します。ジャッカルに似ているため、一部のサイトにはジャッカルの写真が掲載されていました。 もともとはIBMのアルマデン研究所で研究・開発され、オープンソースへ提案されました。本原稿執筆時点では、Apache Incubatorプロジェクトになっており、Google Codeのサイトで開発が進められています。 IBMアルマデン研究所のサイト Apache Hadoop用実装のダウンロードサイト 本記事執筆時点では、つい先頃リリースされた、Jaql 0.5.1をベースに解説しています。 1. JSONの基礎 JSON（

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2009年に引き続き2010年もビジネスインテリジェンス（BI）と、その基盤となるデータウェアハウス（DWH）市場では、さまざまな動きが起きている。企業買収もあれば、新技術の台頭もある。この1年間にBIとDWHの市場でどんな動きがあったのかを振り返ってみる（2009年については「激化するBI戦争はDWH分野へと戦線拡大」を参照していただきたい。またBIがどんなものなのかは「BIによるデータ活用ことはじめ」でとても分かりやすくまとめられているので、是非参照してもらいたい）。 IBMとEMCの買収 2010年を振り返ってまず注目できるのが、IBMによるDWHアプライアンス専業ベンダーNetezzaの買収だ。IBMは2007年11月にBIソフ

データを「キー」と「バリュー（値）」の組み合わせとして保存する「キー・バリュー型データストア」は、クラウド時代におけるデータベース技術の主流になろうとしている。20年以上にわたって主流であったリレーショナルデータベース管理システム（RDBMS）と仕組みを比較しながら、向く用途、向かない用途を考察しよう。 「RDBMSはクラウドで役割を減らしつつある」―。米IBMの「DB2」や米マイクロソフトの「SQL Server」のアーキテクトだったジェームズ・ハミルトン氏（現在の所属は米アマゾン・ウェブ・サービシズ）が、中国・上海で3月に開催された「SMDB 2009」（自己管理型データベースシステムに関するワークショップ）で発表した資料のタイトルだ。 ハミルトン氏がRDBMSに代わる存在として挙げるのは、米グーグルの「MapReduce」やそのオープンソース版「Hadoop」、アマゾンの「Simpl

はじめに、サブタイトル後半のSawzallはMapReduce用のDSLでこれが結構凄い上に、 GFSやMapReduceのようにオープンソースの代替物がないのだそうですが、 時間がないので詳しい話は聞けませんでした。 後日公開される講演資料に載ってるみたいです。 2007/12/31追記 2007/12/20に資料が公開されました。 丸山先生レクチャーシリーズ2007-2008第1回「Googleの分散処理技術」 こちらの下にある「サブセミナー第2回ハンズアウト」というPDFです。 MapReduceの位置付け 関数型プログラミングモデルに基づいて、大規模なデータセットの処理・生成を行うもの MapReduceというのはアルゴリズムの名前であり、 Googleで実際に稼動しているその実装の名前でもある。 MapReduce：数万台規模の分散処理が実際にちゃんと動いている (一方、grid

Amazon、Hadoop利用の大規模分散処理サービス「Elastic MapReduce」公開：クラウド上で分散並列処理 米Amazon.com傘下のAmazon Web Servicesは4月2日、大規模なデータの分散処理サービス「Amazon Elastic MapReduce」のパブリックβ版を公開した。同社のストレージサービスAmazon S3上の大量のデータを、仮想サーバサービスAmazon EC2でHadoopを利用して処理できる。 HadoopはGoogleが自社の検索データ処理のために開発したアルゴリズムMapReduceをJavaで実装したオープンソースプラットフォーム。Amazon Elastic MapReduceはこのプラットフォームをクラウド上で稼働させ、ユーザーのデータを分散並列処理する。 ユーザーはAmazon Elastic MapReduceを利用するこ

ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する