はじめに NoSQLというキーワードが注目を集めてから数年たちます。NoSQLというものを簡単におさらいすると、NoSQLとはNot Only SQLの略語であり、データベースの形式としてこれまで大勢を占めて主流であったRDBMS（Relational DataBase Management System）に対抗する概念として登場しました。近年のデータ増やWebアプリケーションにおけるスケーラビリティの必要性から、従来のRDBMSでは構造的に適さないデータ構造のシステムやRDBMSが抱える問題を解決するものとして数多くのデータベースが登場しています。現在、NoSQLの大きな分類としては3種類にわけられています。 キー・バリュー型 キーと値（バリュー）という比較的単純な構造のデータベース。代表的なものはRiak、Redis、Memcachedなど。 ドキュメント志向 1件のデータをドキュメン

Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック

「NoSQLはソーシャルメディアのようなネットアプリケーション向けであり、企業内のデータベースとしては向かない」。これまでNoSQLデータベースは一般にそう思われていました。 しかしオラクルは今月、サンフランシスコで開催した「Oracle OpenWorld 2011」でビッグデータ市場への参入を表明。製品として、企業向けデータベースとしてキーバリュー型データストア「Oracle NoSQL Database」と「Apache Hadoop」を搭載した「Oracle Big Data Appliance」を発表しました。 オラクルは企業が使うデータベースとしてNoSQLやHadoopをどのように位置づけようとしているのでしょうか？ 昨日10月25日に都内で開催された日本オラクル主催のイベント「Oracle Database/Exadata Summit」において、米オラクルでデータベース製

データストアの新たなカタチとしてNoSQLがブームになっていますが、その中で異彩を放っているのがドキュメント指向データベースである「MongoDB」です。サイバーエージェントでは、このMongoDBを比較的早い段階から実サービスで活用しています。そこで今回はMongoDBの使いどころや利用時の注意点について、サイバーエージェントの3人の技術者にお話を伺いました。 分散処理のしくみを最初から備えるMongoDB リレーショナルデータベース（以下RDB）ほど煩雑ではなく、分散KVS（Key-Value Store）ほどシンプル過ぎない第三のデータストアの1つとして、ドキュメント指向型データベースである「MongoDB」が挙げられます。GNU AGPLv3を採用したオープンソースソフトウェアであり、パフォーマンスが高くスケーラビリティにも優れているという特徴があります。また、JSON（JavaS

米オラクルはエンタープライズ向けNoSQLデータベース「Oracle NoSQL Database 11g」の公開を発表。評価版の無償ダウンロードを開始しました。オープンソースライセンスに基づくコミュニティ版も準備中（10月26日現在、ライセンス承認待ち）とのことです。 Oracle NoSQL Databaseは、同社のキーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。大規模なデータを高速に扱うことができ、高い可用性とスケーラビリティを実現すると説明されています。 分散キーバリューストアで単一障害点を排除 NoSQL Databaseの基本的なアーキテクチャは、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリュ

JSON形式で入出力可能なドキュメントデータベースの「CouchOne」と、Memcached互換のキーバリュー型データストアの「Membase」、それぞれの開発企業が先月合併した「Couchbase」から、最初の製品「Couchbase Server」がリリースされました。Linux版、Windows版、MacOS版が用意されています。 無償のCommunity Editionと同時に、24時間365日のサポートがあるEnterprise Editionもリリース。両者の機能に違いはないとのこと。 合併後1カ月で統合製品をリリース Couchbaseは、JSONで入出力可能でスキーマ設計が不要な、柔軟性が高く使いやすいフロントエンド部分と、Memcachedと互換性のある高速なメモリキャッシュ機能を備え、自動シャーディングとクラスタリングによるスケーラビリティを備えたバックエンドから構成

LevelDBはSQLをサポートせず、クライアント／サーバ型でもなく、シングルプロセスからアクセスされることを想定したいわゆるNoSQLの高速なキーバリュー型データストアを実現するためのライトウェイトなライブラリだと説明されています。 ChromeブラウザでHTML5の仕様として策定中のIndexedDBを実装するものとして開発されたようです（ドキュメントに明記されていないのですが）。 LevelDBを開発した理由 LevelDBのWebサイトによると、LevelDBは以下の主な機能を備えています。 基本的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される Hacker Newsの記事によると、当初はLevelDBを開発する代わりに平林幹雄氏が開発したTokyo Cabin

これまでPublickeyではデータベースのスケーラビリティに関するさまざまなトピックを取り上げてきました。クラウド時代にはスケーラブルなデータベースのニーズがこれまでになく高まっているためです。 この記事では、これまで取り上げてきたデータベースのスケーラビリティに関する技術を少しまとめて紹介しようと思います。 従来のリレーショナルを拡張 従来のリレーショナルデータベースに対して、技術的工夫を凝らすことでスケーラブルなデータベースを実現しようというアプローチにも、さまざまなものがあります。 データベース研究者の大御所、マイケル・ストーンブレイカー氏は、リレーショナルデータベースは決して遅くないと主張。リレーショナルデータベースが遅い原因はロック、ラッチ、リソース管理にあるとして、それらを極力排除した「VoltDB」を開発しています。 NoSQLを上回る性能のVoltDB、そのアーキテクチャ

RackspaceのEric Evans氏がCassandraのメーリングリストに投稿した内容によると、Cassandra 0.8の最大の特徴は、SQLに似た問い合わせ言語のCQL（Cassandra Query Language）をはじめて搭載したこと。 また、これまで要望の多かった分散カウンターを実装し、ノード間の暗号化通信を実装したことでパブリッククラウドなどの環境でのセキュリティが高まったとしています。 CQL 1.0では、USE、SELECT、UPDATE、DELETE、TRUNCATE、DROP、BATCHなどのキーワードを備えており、SQL文のようにデータベースの内容を操作できるとのこと。Python、Java、Node.js用のドライバーが提供されています。 CQLについては、第16回Cassandra勉強会での@yukim氏の資料「CQL」が公開されています。分かりやすく

グーグルがNoSQL軽量ライブラリ「LevelDB」をオープンソース化。SQLiteとの比較ベンチマークも公開 キーバリュー型データストアは、いわゆるNoSQLデータベースの代表的な種類の1つ。LevelDBは以下のような特徴を備えています。 基本的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される SQLite、Kyoto TreeDBとの比較ベンチマークも LevelDBはC++で書かれたライブラリで、今後のChromeブラウザのIndexedDBはLevelDBで実装されると説明されています。 Upcoming versions of the Chrome browser include an implementation of the IndexedDB HTML5

最終回となる今回は、NoSQLとRDBのデータ書き込み方法を比較して、それぞれの得意不得意を考えてみます（編集部） データ構造やインデックスを事前に用意 前回は、「NoSQLデータベースでRDBMSの機能を実現する」の後半戦として、RDBなら集計処理やテーブル結合を使って簡単にデータを取得できる場合を想定し、それをNoSQLデータベースで実現するための考え方や方法について説明しました。 NoSQLデータベースにはRDBのように読み取り時にデータを加工する機能はありません。集計や結合といったデータの加工は事前に済ませ、データキャッシュとして保存しておいたものを読み出します。また、キャッシュを格納するための物理的なデータの構造や配置にも気を配らなければなりません。NoSQLデータベースはデータの持ち方で読み出し性能が大きく変わるからです。 第3回で紹介したデータ検索や並べ替えの実現方法も、「転

NoSQLデータベースはRDBMSに比べて並列処理で性能を上げていけるという特長がある反面、単純なデータ構造しか扱えないとか、データの並べ替えなどが難しいという難点があります。今回からは、NoSQLを使いながらも、RDBMSが備える機能を部分的に実現する方法を解説していきます。（編集部） 高速な分、複雑なデータ加工が苦手なNoSQLデータベース 前回は、リレーショナルデータベース管理システム（RDBMS）からデータを読み出す流れを詳しく見ていきました。問い合わせを受けてから結果セットを動的に作って返すRDBMSのやり方では、分散環境においては十分な処理性能を発揮できないということがご理解頂けたかと思います。 RDBMSはデータの結合や検索のほかにも、データ集計や並べ替えなど、SQLを使った問い合わせ内容に応じてさまざまな形にデータを加工する機能を備えています。多様な要求に応えてくれる問い合

リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想 MySQLの次期バージョンとPostgreSQLの次期バージョンにどのような新機能が追加されるのか、昨日、一昨日の2本の記事で紹介しました。 MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演 PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011 この2つのデータベースの次期バージョンに共通しているのが、NoSQLの機能を取り込んでいることです。NoSQLに対するリレーショナルデータベースによる反撃が始まっています。 リレーショナルデータベースがNoSQLを取り込み始めた MySQLの次期バージョンであるMySQL 5.6に搭載予定の新機能の1

前回はNoSQLデータベースとRDBMSの設計思想の違いを解説しました。今回は、それを踏まえてNoSQLデータベースでデータベースを設計するときに覚えておきたいポイントを解説します。（編集部） NoSQLデータベース設計のセオリーとは？ 前回は、NoSQLデータベースが登場してきた背景や、リレーショナルデータベース管理システム（RDBMS）との違いを解説し、いくつかの代表的なNoSQLデータベース製品を紹介しました。長年、データ管理の分野で主役を担ってきたRDBMSはデータ一貫性を強く保持する仕組みを備えていましたが、半面その特徴ゆえにネットワーク上の複数のサーバにデータを分散すると（分散環境）十分に性能を発揮できず、スケールアウトによる性能向上が困難であるという弱点を持っています。 分散環境において高い性能を発揮するNoSQLデータベースの世界では、一体どのような考え方でデータベースを設

皆様、はじめまして。 アメーバ事業本部と言うところでサービス開発のプログラマをしている津田と申します。 先日、M.S.氏より、当エンジニアブログにて「技術に関して書くように」とお達しが下りました。 同じ技術者として、尊敬の気持ちを通り越し、畏怖の念すら抱いているM.S.氏に 「技術」に関して書けと言われるとは、もはや路頭に迷った子羊の気分です。 どうにか違う話題に出来ないかとごまかしてはみたものの、 やはり「技術」に関して書くようにと念を押されてしまいました。 路頭に迷っていても致し方ないので、今後サービスに利用する予定で検証を行っていた 「MongoDB」と言うドキュメント指向データベースに関して紹介させて頂きます。 ■MongoDBとは ここ数年注目を浴びている「NOSQL（NotOnlySQL）」のデータストアの一つ KVSとは異なり、スキーマレスではあるが、カラムに近い概念がある

注目を集めるNoSQLデータベース 数年ほど前から、分散KVS（Key-Value Store）や列指向（Column-Oriented）データベース、ドキュメント指向（Document-Oriented）データベースなどの新しいデータベース技術が注目を集めています。これらの新しいデータベース技術は、リレーショナルデータベース管理システム（RDBMS）とは異なる考えに基づいているので、よく「NoSQL」データベース（注1）と総称されています。 注1：「NoSQL」という言葉はもともと「近年登場している、RDBMS以外の（つまりSQLを使わない）データベース」を総称、表現したものであり、その後から「SQLは不要だ」というイメージを持つキーワードのようになってきました。データベース開発者の中には、このようなRDBMSに対するネガティブなイメージを好まず、NoSQLを「Not Only SQL（

memcachedとプロトコル互換を保証しつつ、ディスクへの永続性、階層型データストア管理などを実現してきたMembaseと、ドキュメント管理を得意とし、JSONでデータの入出力が可能なCouchDB。それぞれの開発元であるMembaseとCouchOneが合併し、2つの製品を合わせた「Couchbase」を発表しました。 CouchOneのCEOであるDamien Katz氏とMembaseの共同創業者であるJames Phillips氏は共同で声明を発表。CouchDBとMembaseはそれぞれが異なったセグメントにフォーカスしてきており、両社を合わせることでNoSQL業界でもっとも強力な製品を展開することができると合併の意味を強調しました。 MembaseとCouchDBの利点を合わせる この2人が今回の合併についてビデオで解説した中で、Couchbaseの特徴を端的に表しています。