Superfeedr is growing, and we want to add value for our clients. Our newest feature requires us to store a lot of data, so we went out to look for appropriate solutions in the NoSQL ecosystem. The first decision was Riak, featuring persistent storage on disk and a very tunable clustering layer. The current use-case consists of simply pulling a feed from the database, extend it with the newest entr

新たにCAS（Compare-And-Swap）をサポートした、kumofs-0.4.0をリリースしました。 memcachedのテキストプロトコルで、getsコマンドとcasコマンドを新たに使うことができます。 後方互換性は保たれています*1。新機能を利用するには、kumo-gatewayとkumo-serverを更新してください。 CASとは？ CAS（Wikipedia）は Compare-And-Swap の略で、ある値を取得したあと、その値が別のプロセスから更新されていなければ（Compare）変更を適用する（Swap）という操作を、アトミックに実行することができます。 CASを利用することで、kumofs上にキューやカウンタ、連想配列、ロックなどを実装することが可能になります。 例えば kumofs でキューを実現する擬似コードは、次のようになります： KEY = "myque

つい先日、ニコニコ動画モバイルの一部でkumofsを導入した というお話を伺いました。 まだまだ利用は一部でしか始まっていないようですが、これからデータを取りながら運用実績を作っていきたいとのことでした。 kumofsは、バージョン0.3.3でflagsの保存に対応し、バージョン0.3.5でexpireに対応しています。バージョン0.3.4では、Javaクライアントとの互換性を改善しています。 これらの機能の改善に加えて、運用実績やノウハウの蓄積も、オープンソースソフトウェアとして重要な要素の1つと言えます。 kumofs関連資料まとめ や #kumofs@twitter にも、ぜひ注目してみてください^^; kumofsは既に、写真ストレージサービス Ficia（フィシア）での運用実績があります。（ITproニュース） ドワンゴ 研究開発ブログ 分散Key-Valueストア「kumofs

kumofsは、本来小さいサイズのvalueを大量に入れることを想定した分散KVSで、高解像度の画像など、サイズの大きいvalueを入れることは想定されていない。と言うかテストされていない。 でも、実は入れてみたら案外うまく動くんじゃないか？というわけで試してみた。 結論 データ総量30GB、物理ホスト１台で試した限りでは、実は問題は無さそう 物理ホスト１台というのが不十分なので微妙… ノードを追加したり復旧したりするとき、数時間の間、速度が半分くらいに劣化する データ量1TB、サーバ4台の構成で、2時間くらいかかる推定 データの再配置がタイムアウトしてしまう可能性があるが確認できていない。３台以上の構成で追試する必要あり 速度は、サーバ１台につき、Get 6.7 req/sec、Set 3.8 req/sec くらい ほぼ線形にスケールアウトすると仮定すれば、４台投入すれば Get 26

前回は、kumofsはなぜスケールするかということについて紹介しました。その中で最後に、耐障害性もスケーラビリティにとって重要だーと述べました。 そこで今回は、kumofsはなぜ落ちないのか、なぜ耐障害性が高いと言えるのかーということについて紹介したいと思います。 分散システムはテストが難しいことに定評がありますが（たぶん^^;）、その中でも耐障害性の検証は最上級に困難な部類です。 耐障害性は実際のところ、アルゴリズムの設計以前に実装上のバグが大きく影響するので、設計上は耐障害性が高いと言っていても、実際に使ってみると良く止まるという話はありがちな話です。（個人で開発している場合など、開発リソースが小さい場合はなおさら） そのため耐障害性の高いシステムを実現するためには、実装しやすくバグが入り込みにくい設計も重要かなーと思います（もちろん、アルゴリズムも重要ですが）。 分散システムには複雑

先日、分散Key-valueストア kumofs を公開しました。 多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでスケーラビリティとは何か？ スケーラビリティとは、利用者や仕事の増大に適応できる能力・度合い とされています（端的！）*1 。Scalability を日本語にすると、拡張性 と訳されるようです。 ただ一口でスケーラビリティと言っても、様々な側面があります。ITシステムでは主には処理性能と運用に関することを指す場合が多いと思いますが*2、その中にも様々な側面があります。 なぜスケーラビリティが必要か スケーラビリティは システムなどが持つべき望ましい特性 であって、高いに越したことはありません。しかし、高いスケーラビリティはタ

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

携帯・インターネットサービスのえとらぼ（本社：東京都港区）は2010年1月18日、分散型のストレージシステム「kumofs（クモエフエス）」をオープンソースで公開した。同社の写真ストレージサービス「Ficia（フィシア）」で利用されているストレージシステムで、ライセンスはApache License 2.0。 kumofsは、分散型の「キー・バリュー型データストア」で、レプリケーション機能を備え、一部のサーバに障害が発生しても正常に動作し続ける。また、高速さも特徴で、システムを止めずに、容易にサーバの追加や復旧ができるという。 また、汎用の分散型キャッシュメモリシステム「memcached」と互換性のあるプロトコルを実装。多くのプログラミング言語向けに提供されているクライアントライブラリを使って、簡単にアプリケーションから利用できる。 情報処理推進機構（IPA）の2006年度上期「天才プロ

えとらぼは2010年1月18日、分散キー・バリュー型データストア（KVS）の「kumofs（クモエフエス）」をオープンソース・ソフトウエア（OSS）として公開した。えとらぼは、SNS（ソーシャル・ネットワーキング・サービス）mixiを開発した元ミクシィCTO（最高技術責任者）の衛藤バタラ氏（関連記事）が設立したベンチャー企業である。 分散KVSは、大量のデータを多数のサーバーに分散して保持するための基盤ソフトウエア。kumofsは、えとらぼが運営する写真ストレージサービス「Ficia」で使用している。また、InteropTokyo 2009 クラウドコンピューティングコンペティション（クラウドコン）で優勝したソフトウエアでもある（関連記事）。データの複製を複数サーバーで保持することで、一部のサーバーに障害が発生してもサービスを継続できる。またサービスを止めることなくサーバーの追加や交換もで

2010年1月18日、えとらぼ株式会社は同社の写真ストレージサービス「Ficia」に採用されている、分散型Key-value Store「kumofs」を、Apache License 2.0のもと、オープンソースとして公開することを発表した。 kumofsとは？ kumofsは、レプリケーション機能を実装したKey-value Store（データを「Key」と「Value」の組み合わせで格納するソフトウェア⁠）⁠。kumofsを採用したシステムの場合、一部のサーバに障害が発生しても、システム全体は正常に動作し続けることができる。さらに、自動的に複数のサーバに負荷を分散するため、トラフィックの増減に対し柔軟な対応ができ、高いスケーラビリティを実現する。 詳細はえとらぼのgithubを参照。 kumofs URL：http://code.etolabo.com/kumofs

えとらぼは1月18日、分散型のストレージシステム「kumofs」をApache License 2.0 のもとオープンソースとして公開した。kumofsは同社の写真ストレージサービス「Ficia」で使用されている。 kumofsはレプリケーション機能を備え、一部のサーバに障害が発生しても正常に動作し続けられるほか、自動的に複数のサーバに負荷を分散して高速に動作するという。システムを止めることなくサーバの追加や復旧ができるなど、スケーラビリティ性に優れるという特徴もある。 kumofsはInteropTokyo 2009 クラウドコンピューティングコンペティションで優勝した。えとらぼはプログラムをオープンソースとして公開することにより、多くの人にkumofsを利用してもらい、プログラムの改善に参加してほしいとしている。 えとらぼは元ミクシィCTOの衛藤バタラ氏が創業したベンチャー企業だ。

分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装

「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で

InteropTokyo 2009 クラウドコンピューティングコンペティション（通称クラウドコン）は、我等がえとらぼチームが優勝しました！ 実行委員･StarBEDプロジェクト･IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー（マウスクリック/矢印キーで進む） PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります（えとらぼチームはちょっと細切れですが） 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時

※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached