Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術

12. データ構造 { "_id" : "45feae009015221f", "45feae009015221f" : { "name" : "あきひろ", "job" : { "level" : 15, "exp" : 24 } } } 13年8月1日木曜日 13. データ構造{ "_id" : "45feae009015221f", "45feae009015221f" : { "name" : "あきひろ", "job" : { "level" : 15, "exp" : 24 }, "subjob" : { "level" : 1, "exp" : 1 } } } 13年8月1日木曜日

2. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. 自己紹介 •  佐藤貴彦 •  2013年7月より Basho ジャパン株式会社 •  前職も製品ベンダーで、RDBMSや分散キャッシュ製品を 中心とした、コンサルティングを担当 •  インフラ大好き •  著書（共著） •  絵で見てわかるITインフラの仕組み 3. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. Basho Technologies, Inc •  設立：2008年1月設立 •  本社：マサチューセッツ州ケンブリッジ •  製品 •  分散データベース Riak •  分散型クラウドストレージ RiakCS 4. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. オ

3. システム構成 • Node数：97台 • サーバスペック 機器：Dell R410、R420 メモリ：64GB CPU:16コア、24コア HDD：600GBx4 (RAID-10) 600GBx2(RAID-1)+SSD 512GB(RAID-0) • クラスタ数：1 • Cassandraのバージョン：1.1.5-2(独自バージョン) • KeySpace数：8 • ColumnFamily数：156 4. 運用状況とか Cluseter Writes Request: 32000/sec Cluseter Reads Request : 58000/sec 1 nodeあたりのデータロードサイズ 約200～230GB

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

このため、NoSQLの知識を持つ開発者やアーキテクトに対する需要が高まってきています。最近の調査によると、最近必要とされる開発スキルは次の通りです。 HTML5 MongoDB iOS Android Mobileアプリ Puppet Hadoop jQuery PaaS ソーシャルメディア 技術的要求のトップ10の中で、NoSQLデータベースは2つあります。1つは、iOSよりも上です。これがNoSQLをほめているのでなかったら、何なのでしょう?! しかし、一見したところ、NoSQLはますます速く深いところまで適用されるようになっています。2011年の夏に、有名な報告書の中でOracleは次のように述べました。NoSQL DBがアイスクリームの味のように感じるかもしれないけれど、あまり深入りしない方がいい、NoSQLはそれほど長く残らないかもしれないから。そのわずか2、3ヶ月後、Oracl

オラクルがNoSQLデータベース製品をリリースしたのに続き、IBMも企業向けデータベースとしてNoSQLの製品化を明らかにしました。 IBMのデータベースサーバ担当CTOでバイスプレジデントのCurt Cotner氏は、10月23日にラスベガスで開催された同社のイベント「Information OnDemand 2011」で、NoSQLデータベース製品の提供を明らかにしました。来年登場予定で、DB2とInformixユーザーに無償で提供されるとのこと。 同氏の発言は、Information OnDemand 2011のインタビュー動画で参照できるほか、米SearchDataManagement.comの記事「IBM to unveil NoSQL technology inside DB2」が伝えています。 オープンソースのNoSQLデータベースがベース 米SearchDataManage

1. MongoDB @just_do_neet ※ URL http://www.slideshare.net/naverjapan/ mongodb-9422893

MongoDB is a document-oriented database that stores data in flexible, JSON-like documents. It supports features like replication, auto-sharding, and indexing. The document discusses using MongoDB with Ameba Pico's photo tagging service, including initial implementation with one shard, expanding to multiple shards as user numbers grow over time, and repairing and upgrading shards over time to suppo

こんにちは、たんぽぽGの森本です memcached-1.4.6がリリースされました。 mixi大規模障害の原因となった不具合が解消されているとのことなので検証してみました。 動作確認 過去のバージョンで不具合が発生することと新しいバージョン(1.4.6)で不具合が発生しないことを確認するために 負荷テストを行いました。 memcachedの設定は memcached -U 0 -u nobody -p 11222 -t 4 -m 16000 -C -c 1000 -v としました。 -l オプションを指定していないので eth0, lo の二つのネットワークI/Fに対してlistenを行う設定です。 クライアント側のスクリプトは前回と同様にmalaさん作のテストスクリプトを用いました。 ./memcachedos.pl localhost 11222 5 memcached-1.4.4の

大量データのリアルタイム処理などで、リレーショナルデータベース（RDB）以外に「Not OnlySQL（NoSQL）」と総称される用途特化型のデータベースが普及してきた。RDBは、分散処理やPaaS（プラットフォーム・アズ・ア・サービス）対応が進む ここにきて、利用事例も増えてきた。「会員の購買履歴の分析にかかる時間が1日では話にならない。最新の購買履歴を5分でサービスに反映できなければ、販売機会のロスにつながる」。自社開発のNoSQL「ROMA」を、商品のレコメンド（推薦）機能などに展開している楽天の森正弥執行役員兼技術研究所長はこう言い切る。 楽天が処理時間にこだわるのは、会員の購買履歴を解析してレコメンド商品を提示するのに1日かかると、ユーザーが購入した商品と同じものがレコメンドされかねないからだ。楽天の会員数は、2010年9月時点で約6700万人。楽天トラベルの「最近見た宿」をはじ

企業のIT担当者の44％がNoSQLを知らず、また17％は興味がない、という結果が、ReadWrite Webの記事「NoSQL? Never Heard of It, Say Most IT Pros」（NoSQL？ 聞いたことないなあ、と多くのIT担当者）で紹介されています。 これは米Information Weekが755人のIT担当者に対して行った結果を紹介したもの。逆に、NoSQLをすでに利用している、もしくはテストしている企業は5％しかありませんでした。 なぜNoSQLは企業のIT担当者にとって興味がないものなのか？ 著名なデータベース研究者であり、またWebスケールに対応した新たなリレーショナルデータベース「VoltDB」の開発なども行っているマイケル・ストーンブレイカー氏が、米国の計算機学会であるACMのWebサイト「Communications of the ACM」に掲