HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのスキーマ設計の考え方の違いなど、とっつきにくい部分が多々あり、戸惑う方が多いように思います。本連載では、そういう方々を対象にできるだけ分かりやすく実例を交えながら解説していきたいと思います。 はじめに 近年、「NoSQL」の技術が注目を集めています。NoSQLとは、"Not Only SQL"の略で、SQLを用いないデータベースの総称です。NoSQLというとCassandra、Redis、Mongo

本連載の第3回は、Hadoop周辺プロダクトの紹介を中心に、HadoopとRDBMSとのつながりを解説し、スムーズなデータの移行手段について検討する。 RDBMS（リレーショナルデータベース管理システム）は、非常に多くのITシステムでデータの保存に利用されている。RDBMS以外のデータベース製品が選択されるのは例外的ケースであるという印象を受けるほどだ。トランザクション処理によりデータの一貫性を強力に保持できること、歴史が長く完成度の高い実装が多数存在すること、結果として多くの技術者がRDBのデータモデルとそのインタフェースであるSQLになじみがあることなどがその理由であろう。 ただし、高い一貫性を提供するRDBMSは、サーバーサイドでの処理量が多く、処理を並列化してスケールアウトを図ることが難しい。そのため、扱えるデータの規模を大きくしようとすると、高価なハードウエアを用意する必要に迫ら

これからは、Google App Engine（以下、App Engine）の環境でデータベースを操作してみましょう。App Engineで使用できるデータベース管理システムは「Datastore（データストア）」と呼ばれます。リレーショナルデータベース管理システム（RDBMS、Relational Database Management System）とは違う、キーバリュー型（Key Value Store、KVS）」のデータベース管理システムです。 Datastoreは、これまで一般的だったRDBMSとは異なる設計思想を持っています。RDBMSのような複雑なフィルタで条件を指定できませんし、トランザクション処理も限定した範囲でしか使用できません。さらにRDBMSでは、一つのレコードに複数のフィールドがありましたが、Datastoreでは基本的に一つのレコードに「Key（キー）」と「Va

KVS（Key-Value Store）は、既存のRDBと比べてシンプルな機能しかない代わりに、データを分割して多数のサーバーで分散処理できるスケーラビリティーの高さが特徴である。その代表例として、米Facebookが開発し、オープンソースソフトウエアとして公開されている「Cassandra」がある。 KVSは従来にはなかった膨大なアクセスをさばくため、大手のWebサービス事業者などが続々と開発している。米Googleの「Bigtable」と米Amazon.comの「Dynamo」がその先駆であり、Cassandraは両者の設計思想を受け継いだものだ。 Facebookは同社のSNS（Social Networking Service）において、ユーザー間で交換するメッセージの保存や検索などを行うデータベースとしてCassandraを開発し、最大150台程度のサーバーで運用した実績がある。

NoSQLは、大量データを高速に入出力する機能に特化している。そのため、取り出したデータから必要なデータを検索したり、集計してグラフ表示に利用したりといった加工処理は、データベースクライアント上のアプリケーションとして開発する必要がある。 取り出してからデータを加工 当然、「RDBを使う場合より開発の工数は増える」（日本マイクロソフトの鈴木祐巳クラウド＆アプリケーションプラットフォーム製品部エグゼクティブプロダクトマネージャー）。こうした開発負担を軽減するため、データ操作の効率化を進めている。 NoSQLの効率化は二つの方向性がある。一つは、データの加工処理をクライアントからサーバーにオフロードする手法。もう一つは、汎用的な操作をまとめたプログラム部品の提供だ。その双方を実現したNoSQLの例が、インテックシステム研究所が開発した「EXAGE/Database」である。 EXAGE/Dat

情報システムでは、様々な構造のデータを扱う。RDBだけで処理していた時代は、表とその関連付けをデータごとに設計することで対処していた。NoSQLとRDBが存在する今は、その使い分けが課題になってきた。 NoSQLとRDBを組み合わせる 例えばNECは、約5000万台の自動車に対して渋滞情報やクーポンなどを配信するデモシステムで、分散KVSと列指向型のデータベースを組み合わせた分散システムを開発した（図3）。NECの千嶋博システムプラットフォーム研究所研究部長は「複数のデータベースを使い分けるのは、シンプルなモジュールを組み合わせて、スケ ールアウトしやすい基盤を確立するため」と狙いを説明する。

大量データのリアルタイム処理などで、リレーショナルデータベース（RDB）以外に「Not OnlySQL（NoSQL）」と総称される用途特化型のデータベースが普及してきた。RDBは、分散処理やPaaS（プラットフォーム・アズ・ア・サービス）対応が進む ここにきて、利用事例も増えてきた。「会員の購買履歴の分析にかかる時間が1日では話にならない。最新の購買履歴を5分でサービスに反映できなければ、販売機会のロスにつながる」。自社開発のNoSQL「ROMA」を、商品のレコメンド（推薦）機能などに展開している楽天の森正弥執行役員兼技術研究所長はこう言い切る。 楽天が処理時間にこだわるのは、会員の購買履歴を解析してレコメンド商品を提示するのに1日かかると、ユーザーが購入した商品と同じものがレコメンドされかねないからだ。楽天の会員数は、2010年9月時点で約6700万人。楽天トラベルの「最近見た宿」をはじ

パブリッククラウドは、スケーラビリティー（性能）の高さがメリットだが、注意すべき点がある。他のユーザーとシステムを共用するため、特有の制約があることだ。その制約をうまく回避しないと、本来の性能の高さを実現できない。 クラウドを利用する現場を取材すると、性能に関して四つの制約（＝問題）があることが分かった（図1）。一つ目は、米Salesforce.comの「ガバナー制限」に代表されるPaaS特有の制約である。制約が“パズル”のようになっており、それを解く工夫が求められた。二つ目は、KVS（Key-Value Store）を使うときの制約である。KVSは結合（JOIN）などの機能がなく、RDBと同じように利用すると性能が出ない。現場では、非同期処理や非正規化を使って高速化していた。 三つ目は、海外のデータセンターを使わざるを得ないことによる制約。海外大手のクラウド事業者はまだ日本にデータセンタ

今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア

データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを

既存のWindows環境と互換性が高いとはいえ、Windows Azureはクラウド上に存在するプラットフォームだ。両者には自ずと違いがある。筆者の経験に基づき、ユーザー企業が知っておくべき六つの鉄則を紹介する。 鉄則1：アプリケーションの種類を厳選せよ Windows Azureを便利と感じたとしても、やみ雲に何でもクラウドに持って行くのは得策ではない。アプリケーションの種類によってはクラウドに移すべきでないものも多く存在するからだ。 まずはクラウドというプラットフォームの特徴に親和性の高いアプリケーションか否か、クラウドに移すことでクラウドならではの利点を得られるかどうかを検討する必要がある。 柔軟で高いスケーラビリティ、使った分だけ支払う従量制の料金体系といった特徴を考慮すると、クラウドに向いているのは、処理負荷の変動が激しいアプリケーションである。期間限定でサービスを提供する必要が

データを「キー」と「バリュー（値）」の組み合わせとして保存する「キー・バリュー型データストア」は、クラウド時代におけるデータベース技術の主流になろうとしている。20年以上にわたって主流であったリレーショナルデータベース管理システム（RDBMS）と仕組みを比較しながら、向く用途、向かない用途を考察しよう。 「RDBMSはクラウドで役割を減らしつつある」―。米IBMの「DB2」や米マイクロソフトの「SQL Server」のアーキテクトだったジェームズ・ハミルトン氏（現在の所属は米アマゾン・ウェブ・サービシズ）が、中国・上海で3月に開催された「SMDB 2009」（自己管理型データベースシステムに関するワークショップ）で発表した資料のタイトルだ。 ハミルトン氏がRDBMSに代わる存在として挙げるのは、米グーグルの「MapReduce」やそのオープンソース版「Hadoop」、アマゾンの「Simpl

分散型のキーバリューストア（分散KVS）には、オープンソースソフトや商用のもの、サービスとして提供されるものなど、さまざまな種類がある。これらをすべて同じだと思ってはいけない。その構造や特徴はバラバラであり、ある分散KVSのデータは別の分散KVSに移行するのは困難だ。 既存のRDBMSの資産を分散KVSに移行するのが容易ではないことはよく知られている。同様に分散KVS間の移行もかなり難しい。安易に移行できると考えていると、苦労することになる。 大きく異なるテーブル構造 現在、分散KVSと呼ばれるデータベースには、以下のようなものがある。 ・Amazon SimpleDB（Amazon） ・Apache Cassandra（Apache） ・BigTable（Google） ・Flare（GREE） ・kumofs（えとらぼ） ・memcached（Danga Interactive） ・R

クラウド上のデータベースとして、分散型のキーバリューストア（分散KVS）を用いることが多くなった。分散KVSは、スケーラビリティーに優れており、特にユーザー数が多いシステムでは利用価値が高い。 ただし、分散KVSにはいくつかの制約があり、システム開発に利用する際には、これまでの“RDBMS脳”をいったんリセットする必要がある。中でも、RDBMSでは真っ先に考慮していた「正規化」については、分散KVSでは原則として行ってはいけない。 分散KVSの四つの特徴 なぜ分散KVSでは正規化をしてはいけないのか。これを理解するには分散KVSの特徴を押さえる必要がある。分散KVSには、大きく四つの特徴がある（図1）。 一つは、分散KVSでは問い合わせにキーを使って、バリュー（値）を取得することだ。データ構造が単純なので、データの取り出し時間が短くて済む。PerlやPHPの連想配列や、JavaのMap、C

はじめに 前回は、Windows Azureに含まれるストレージサービスである、Windows Azureストレージについて解説しました。さらに、ブロブとテーブルの2つのストレージを使用したサンプルを作成しました。今回は、残るストレージであるキューを用いて、Windows AzureのWebロールとWorkerロールを連携させるサンプルを作成してみます。 対象読者 クラウド技術に興味がある方 Windows Azureに興味がある方 Windows Azureストレージに興味がある方 Windows Azureストレージを使用したアプリケーション開発に興味がある方 Windows Azureストレージの簡単なおさらい まずはWindows Azureストレージについて、簡単に振り返っておきましょう。 Windows Azureストレージは、次の表1にあるように、3種類のストレージをサポート

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

はじめに 本連載ではここまで、ソーシャルデータの取得とアクティビティの作成について説明してきました。OpenSocialアプリケーションに欠かせないもう一つの機能が、今回扱うデータの永続化です。一般的なアプリケーションでユーザーが入力したデータなどをファイルやデータベースに保存するように、OpenSocialアプリケーション内で扱うデータについても、この永続化機能を使ってOpenSocialコンテナ上に保存することができます。OpenSocial JavaScript APIでは、このアプリケーションデータの永続化機能をPersistence APIと呼んでいます。 Persistence APIは、ただアプリケーションの利用者のデータの保存、取得を行うだけでなく、他のユーザーのデータを取得することもできます。他のユーザーのデータの取得が可能になることから、Persistence APIは

クラウドコンピューティングがバズワードの域を超え、IT業界の新しい潮流として認知されはじめている。このキーワードを企業はどうとらえればいいのか。技術の観点から考えてみる。 クラウドコンピューティングとは クラウドコンピューティングは、現在IT業界において最も注目されているキーワードといえる。Googleで「cloud computing」を検索してみると2870万件ヒットがあり、「RDBMS」の380万件を大きくしのぐ結果となっている。既に多くの方はクラウドコンピューティングに関する情報を得ているとは思われるが、ここで、クラウドコンピューティングに関する現状を簡単におさらいをしておく。 クラウドコンピューティングは、XaaSつまり、SaaS、PaaS（Platform as a Service）、HaaS（Hardware as a Service）といった最新のITサービスを包括的に表現