12月12日（日）に「第1回 MongoDB JP ＆ CouchDB JP 合同勉強会 in Tokyo」が開催されました。本勉強会はユーザーグループ「MongoDB JP」発足後の初めてのイベントであり、CouchDB JPのメンバーに盛り上げていただく形での合同勉強会になりました。本稿では、この勉強会の模様をレポートします。 当日は12月の忙しい時期にも関わらず40名を超えるたくさんの人に参加していただきました。勉強会は14:00から19:00までと長時間に及ぶものでしたが、お菓子やコーヒーを飲みながらリラックスして行われました。筆者は司会進行と2011年春に開催を予定している「MongoDB Conference in Japan」の告知、そしてセッションの発表を行いました。それではメインセッションを紹介していきます。発表者の皆さん、素晴らしいプレゼン、どうもありがとうございました

「Moving Away from NoSQL」（NoSQLからは離脱する）というブログをポストしたのは、CouchDBの開発元、CouchOneのエンジニアMikeal Rogers氏。 「Apache CouchDB」は、NoSQLの1つとして知られていたオープンソースのデータベース。ドキュメント指向で、JSONによるデータの入出力を行うのが特徴です（参考：“動物図鑑”で知るCouchDBの特徴 － ＠IT）。 なぜCouchOneは「NoSQL」から離脱する、というのでしょうか？ NoSQLはすべてをひとかたまりに表してしまう その理由として、NoSQLがあまりにも包括的なこと、そしてBigDataと結びつき始めていることをあげています。 The term “NoSQL” continues to lump all the companies together and drowns

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr

NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach

分散Key-valueストアkumofsの思想と設計 と題して、丸レクセミナー2010で発表してきました。 kumofs を使いたくなるユースケースの紹介を中心に、kumofs のメリットを紹介しています。 会場は楽天タワーで、何やらスゴイ数の方に聞いていただけたようです。来場者数は500名を超えたと聞いています。 ネット中継でも多くの方に視聴していただいたようで、Twitterでも多くのフィードバックをいただきました。ありがとうございます。 分散Key-valueストアkumofsの思想と設計View more presentations from frsyuki. 発表スライド（PDF） Ustream.tvの録画 あわせて読みたい 情報システムの信頼性：対策は進んだが改善の余地も 企業IT動向調査2009 kumofsから学ぶNot only SQLの技術＠Developers Su

RDBの復権はしばらくないと思う 最近目にしたのは、「これからRDBが十分速くなっていくので、memcachedに代わってRDBがまた使われるようになる」という意見。これはしばらくの間は無いんじゃないかと思う。全データがオンメモリだったとしても、KVSはRDBより一桁以上速い（Memcachedで100,000req/sec出せるマシンで、MySQLのpkeyによる単純なSELECTをした場合、10,000req/sec出るかどうか）。SQLパーサやらなんやらを捨てない限りこの速さには対抗できない。RDBには、１コネクション１スレッドというモデルが持つ、接続数がスケールしないという制約もある。 また、memcacheプロトコルは、get_multiが使える。get_multiを効果的に活用した場合、RDBとの差はさらに広がると思う。 RDBで大丈夫なアプリも Viewキャッシュが効果的なア

という題で、RubyKansai勉強会#39で発表させていただきました。 内容はMapReduceとKVSの関係、および自作のMapReduce処理系であるTinyMapReduceの紹介について。実装にはDRubyを使っています。といってもTinyMapReduceはコードサイズ200行以下で、対障害性もなくサンプルの域を出ないものですが。。 TinyMapReduce標準添付のSampleは、１〜100万までの自然数の中に2の倍数と3の倍数がそれぞれいくつ含まれるかカウントするタスクです（結果保存にSimpleResourceを使っており、別途導入が必要）。Workerの数を増やしていくことで、タスクの実行時間がシームレスに短縮することがわかると思います。 というわけで、使用したスライドを置いておきます。 TinyMapReduce on rubyView more presentat

livedoor Techブログ : 第三回 ライブドア・テクニカルセミナーのお知らせに行ってきました。 内容が濃くてメモしきれないところもあったのですが載せておきます。 「クラウド時代のWebストレージ/データベース戦略」 ライブドアが求めるストレージは？ webサービスのメディアストレージ 安価に容量を拡張可能 データの冗長化、高可用性 実際の構成は(あまり)意識したくない ※あまり、というのがポイント。自社で使う分にはうすらぼんやり見えているといい 自社で使う向けに作った HTTPを利用した分散ストレージ 参考にしたのはMogileFSとかAmazon S3 Pros シンプルなKey-Value クライアントから巨大なストレージプールとして見える 普通のサーバを使用して拡張可能 データのレプリケーション Apacheモジュールベースなので拡張可能 Cons ファイルシステムとしてマ

はじめに ここ最近、NoSQLというキーワードが注目を集めています。 リレーショナルデータベースは、一般的にスケールアウト（サーバの台数を増やして性能向上を図る手法）が難しく、特に大規模サービスにおいてパフォーマンス上のボトルネックとなりえます。また、タグやグラフ構造のようなデータは関係モデルに馴染みにくいため、それらを扱う際にはアプリケーションコードもぎこちないものになりがちです。 これらの問題を背景に、何にでもリレーショナルデータベースを使うのではなく、用途に応じてKVSなど他のデータストアを選択する流れが広まりつつあります。このムーブメントがNoSQL（Not Only SQL）と呼ばれているものです。 今回は、NoSQLなデータベースの1つであるMongoDBをご紹介します。 MongoDBとは MongoDBは高いパフォーマンスとスケーラビリティを特徴とするドキュメント指向型デー

Shibuya.pm#12 に行って来た。本物の宮川さんを見れた！（ミーハー）。難しくてわからないところがたくさんあったけど、刺激になった。また行きたい。 最近DB(Oracle)のお勉強しているので、「 NoSQL vs. NoKVS ライトニングディスカッション」が面白かった。特定の目的に特化したデータベースを自分で作られていて、すごいと思った。 以下、とても断片的で不正確なメモ。 特別講演 宮川達彦(id:miyagawa)さん - "Tatsumaki" I/O bound HTTP clients in web frameworks Tatsumaki at Shibuya.pm Tech Talks #12 - bulknews.typepad.com まず、PSGI/Plack がわかってない。 Perl web applications と web servers のインタ

非リレーショナルモデルのデータベース全般を指す「NoSQL」という用語について議論が巻き起こっています。 グーグルのBigTableやアマゾンのSimpleDBなど、クラウドへの注目が高まると同時にキーバリュー型データストアにも関心が集まり、さらにHadoopなどの新しいソフトウェアも登場してきました。このPublickeyでも、一昨日、昨日と記事で紹介してきました。 データベースは目的別に使い分けるべし NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある こうした非リレーショナルなデータベースを指す一般的な名称が求められてきたときに登場したのが「NoSQL」という名前です。 なんとなく考案された「NoSQL」 「NoSQL」という用語を考案したとされるEric Evans氏は、この名称は特に何も考えずに適当に思いついた言葉だとブログに書いています。ブログ「E

Photo by shindotv ここ最近、海外のブログで「NoSQL」という単語をちょこちょこと見るようになりました。 これは新しいデータベースのムーブメントで、「SQL=リレーショナル」ではないデータベースの事を指しています。 NoSQL DBサーバの有名な物は、Facebookがリリースした「Cassandra」、Erlangで書かれた「CouchDB」、日本からは、mixiがリリースしている「TokyoTyrant」があります。 またGoogle App Engineでは、DataStoreというBigTableベースのNoSQLサービスが提供されています。 ある程度ユーザを集めたコンシューマ向けサービスは、大抵の場合パフォーマンスとの戦いとなります。 技術誌の中でも「スケールアウト技法」的な記事を目にすることが増えてきたことからも、多くのサイト運営者が、パフォーマンスの問題を抱