米ScaleMPは、複数のPCサーバーを束ねたクラスターを単一のSMP（対称型マルチプロセッシング）サーバーとして利用できるようにする基盤ソフト「vSMP Foundation」を開発しているベンダーである（関連記事）。vSMP Foundationは、大量のメモリーを使った計算処理を安価に実現できるので、多くの場面で分散処理がいらなくなる、としている。ITproは、同社の出資者で社長兼CEOのShai Fultheim氏に、SMPクラスターの意義を聞いた。 「ビッグデータを安価に分析できる」---。これがSMPクラスターの意義だ。 分散処理は、そこそこ安いが、使いにくい。巨大なSMPマシンは、使いやすいが、高い。その点、SMPクラスターは、非常に安くて、使いやすい。 分散処理（Hadoopやサーバー内蔵フラッシュストレージ）は、かつてのSMPマシンを置き換えた。そして今、SMPクラスター

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

本連載の第3回は、Hadoop周辺プロダクトの紹介を中心に、HadoopとRDBMSとのつながりを解説し、スムーズなデータの移行手段について検討する。 RDBMS（リレーショナルデータベース管理システム）は、非常に多くのITシステムでデータの保存に利用されている。RDBMS以外のデータベース製品が選択されるのは例外的ケースであるという印象を受けるほどだ。トランザクション処理によりデータの一貫性を強力に保持できること、歴史が長く完成度の高い実装が多数存在すること、結果として多くの技術者がRDBのデータモデルとそのインタフェースであるSQLになじみがあることなどがその理由であろう。 ただし、高い一貫性を提供するRDBMSは、サーバーサイドでの処理量が多く、処理を並列化してスケールアウトを図ることが難しい。そのため、扱えるデータの規模を大きくしようとすると、高価なハードウエアを用意する必要に迫ら

第2回、第3回では、音声データと、画像データに関するメディア認識技術について解説してきました。今回は、メディア認識技術に共通する課題である、機械学習の高速化について取り上げます。 まず、機械学習とは何かということから簡単に説明すると、ある程度大量のデータの中から規則性やパターンを見いだすことで、データの認識や判定などに役立てる取り組みのことを指します。例えば、皆さんが使用しているパソコンや情報システムの多くには、メールを受信したときに、ウイルスが含まれていないかどうか、スパムメールでないかどうか、判定するソフトウエアが入っていると思います。これも、過去の大量データに基づいて、ウイルスが入っていたり、スパムメールだったりする可能性が高いパターンを機械学習することで判定の仕組みを作り、そのロジックを活用しているのです。 そしてメディア処理システムには、音声、画像、テキストなどデータの種類を問わ

OSSが、ソフトウエアのエコシステムの作り方を変える──。ライバル関係にある企業が一つのOSSを軸にタッグを組み、“呉越同舟”でエコシステムを作ろうとする動きが始まっている。業界内のライバル企業だけでなく、業界の枠を超えた様々な企業が手を組み、エコシステムを実現する時代の到来だ。 ライバル企業がタッグを組んでエコシステムを作っている代表例が、OSSの分散バッチ処理ソフトの「Hadoop」である。業界の枠を超えたエコシステムとしては、Linuxファウンデーションが2012年4月に公開した携帯機器向けLinuxの「Tizen」が一例。Tizenは、自動車メーカー、通信事業者、携帯電話機メーカーが共同で開発している。 呉越同舟でエコシステム拡大 ソフトのエコシステムとは、アプリケーションや周辺ツールなどを提供するサードパーティー、ソフトを利用するユーザーなどの存在を指す。ソフトが広く普及する上で

インターネットのサービスは、アクセスしてきたユーザーを「待たせない」ことが大前提だ。「待たせない」サービスを実現するために、新しいインフラ技術が次々と登場している。例えばJavaScriptの実行基盤を構築するサーバー用ソフト「Node.js」もその一つ。大量の同時接続ユーザーに対して高速にレスポンスできる技術として、今、大きな注目を集めている。 Node.jsは、Webサーバー構築ソフト「Apache」やWebアプリケーションサーバー構築ソフト「Tomcat」などと置き換えて使う。ただし、単純に置き換えるだけで必ずレスポンスが高速になるわけではない。Node.jsが持つ本来のパフォーマンスを引き出すには、実装するWebアプリケーションの開発に注意が求められる。 “ループ”を止めないアプリが不可欠 Apacheの場合、複数のスレッドを起動して並行処理することで、大量のアクセスに対応できるよ

OSS（オープンソースソフトウエア）のミドルウエア、「Hadoop」が注目されている。大量のデータ、とりわけログ、テキスト、画像といった非構造化データを取り扱うための高速な情報処理基盤を安価に構築できるからだ。そこで本連載ではHadoopを基礎から説明する。 本連載は情報システム部門の企画担当者や利用部門のIT活用推進者などが対象。序盤ではHadoopの基本やアーキテクチャーを解説。回を追って分散ファイルシステムの操作とMapReduce処理をコードで確認。ユースケースやクラスタ管理にも言及するほか、2012年に予定されている次期メジャーリリース0.23の情報などの最新トピックも取り込んでいく。 ニーズ高まる「ビッグデータ」の基盤 日本にとって2011年は「ビッグデータ」元年だったと言ってよいのではないでしょうか。ビッグデータに関わる製品やソリューションが国内外のベンダーから発表となり、多

IT業界では数年に1度、「バズワード」といわれる流行り言葉が生まれる。ここ数年は、「クラウド」一色だった感があるが、2011年後半から2012年にかけてのそれは「ビッグデータ」で決まりだろう。 ビッグデータとは何か クラウドが登場した当初もそうだったように、「ビッグデータ」にもはっきり決まった定義は無い。一般的には、「既存の技術では管理するのが困難な大量のデータ」と定義されることが多い。 データを管理するのが困難になる要因は、頭文字がVで始まる3つのキーワード（3V：Volume/Variety/Velocity）で表される。つまり、ビッグデータと聞いて、直感的にイメージできる「ボリューム（Volume）」に加え、ソーシャルメディア上のテキストデータ、センサーデータ、さらには映像や音声といったデータの「多様性（Variety）」、スイカ（Suica）やパスモ（PASMO）など交通系ICカー

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

ITpro EXPO AWARD 2011で優秀賞に輝いたのは、EMCジャパンのビッグデータ処理ミドルウエア「EMC Greenplum HD」である。OSS（オープンソース）の「Apache Hadoop」とのアプリケーション開発互換性を保ちつつ、同社が一から企業向けに作り直し、性能、可用性、使い勝手を向上させている。 国内の第一号ユーザーはリクルート（Webのログ解析などに利用）。2011年内は、ユーザー数社に対して限定的にGreenplum HDを導入する。2012年の年明け以降、広く一般への販売を開始する。料金はサブスクリプション（購読）形式とし、データ処理ノード1台あたり年額50万円前後としている。 ITpro EXPO 2011の展示ブース（写真1）では、実機（3台のデスクトップPC）を用いたデモンストレーションやシアター上映を通し、Apahce Hadoopと比べたGreen

最後に12ノードの環境で、複数のHadoopジョブを実行した場合の処理性能について説明する。通常は、1台のサーバー上で複数の処理を同時に実行すると、リソースの競合が発生して性能が低下する。Hadoopで同様の問題が発生するのか調べた。 検証では、同一のHadoopクラスター上で同一処理内容のHadoopジョブを二つ動作させた。キャッシュの影響を排除するために、各ジョブは別のデータを処理するようにしている。 結果はキーの分布が一様な場合とべき分布の場合で異なった（図9）。

実際に構築するHadoopのシステムでは（a）インポートや（d）エクスポートのように、扱うデータ量に依存し、Hadoopのノード数を増やしても性能が向上しない処理があり、そこがボトルネックになり得る。いかに効率良くRDBMSからデータをインポート/エクスポートするかが非常に重要だ。 ここでは、（a）インポートに焦点を当て、「JDBCドライバを使用して標準SQLでアクセス」「米Clouderaが提供するデータ転送ツールsqoopを使用」「MySQLの独自機能を利用したダンプ」の3通りの方法を試した（図4）。

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

NTTデータは2011年5月30日、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」の商用ディストリビューション「Cloudera's Distribution including Apache Hadoop v3（CDH3）」の販売を、6月2日に開始すると発表した。価格は1ノード当たり年額25万円からで、5ノードから販売する。 NTTデータは2010年10月に、CDH3の開発元である米クラウデラと提携している。CDH3は、米アパッチソフトウエア財団が管理するHadoopのディストリビューションに対して、クラウデラによる機能追加や品質強化を加えたディストリビューションである。また、Hadoopを活用するために必要となるシステム連携ツールなどがパッケージ化してある。 CDH3が含むツールとしては、リレーショナルデータベース管理システム（RDBMS）のデータをHado

分散処理ミドルウエアの「Hadoop」を基幹バッチ処理に適用するためのフレームワーク「Asakusa」。第2回では、その構成要素を紹介しよう。 Asakusaは、MapReduceアプリケーションの入出力データのクラスファイルを生成する「Model Generator」、独自のDSL（Domain Specific Language）用コンパイラである「Ashigel Compiler」、実行ライブラリの「Rumtime Library」、データ入出力管理フレームワークの「ThunderGate（雷門）」という四つを提供している。 まず、ThunderGate以外の三つについて紹介しよう（図1）。 Model Generator Model Generatorは、開発者が定義した、MapReduceアプリケーションの入出力データ形式をインプットとし、Hadoop独自の「Writable」と

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

NTTデータの「Lindacloud（リンダクラウド）」は、「Hadoop」に最適化したハードウエアを同社が自ら設計・製造したアプライアンスサーバーだ。機能をそぎ落として、低コストと低消費電力を追求したハードウエアは、大手クラウド事業者が使うサーバーによく似ている。Lindacloudが象徴する、サーバーの新潮流を探った。 Lindacloudが搭載するHadoopは、分散バッチ処理プログラムを開発するためのミドルウエアだ。複数のサーバーにデータを分散保存してバッチ処理を実行し、結果を集約するという機能を備える。 Lindacloudは、高さ42Uのラックに搭載した35台の専用サーバーユニットで構成する。合計で32個のプロセッサと、256Gバイトのメモリー、128T（テラ）バイトのハードディスクを搭載して、価格は800万円（図1）。インテグレーション費用も含まれていることを考えると、安価と

NTTデータのHadoopアプライアンス「Lindacloud for Hadoop」のプラットフォームとなる「Lindacloud」 米Googleの分散データ処理技術をオープンソースとして実装した「Hadoop」――。膨大なデータを高速に解析するツールとして桁違いの可能性を持ち、国内の一般企業でも利用が始まりました。 楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」などにHadoopを使用。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムなどにHadoopを採用しました。 システムインテグレーターはHadoop関連のツールやサービスを相次いで発表しています。Hadoopを企業情報システムに組み込みやすくなってきました。 Hadoopの導入事例 グーグル発「Hadoop」、日本企業も利用へ リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡