みんな大好きなmemcached。今日はBrian AkerのC言語用クライエントライブラリについて書きたいと思います。日本語の情報がとても少なく、ドキュメンテーションも英語だけという事で興味はあるけど手をつけていないという方のお役に立てれたらなと思います。 本題の前に why libmemcached? 既にlibmemcacheが存在するのに何故、libmemcached？かと言うと理由の一つは最近libmemcacheの開発が止まったからです。本家ではそれが理由でlibmemcacheではなくlibmemcachedを推奨してますね。又、効率的なメモリ使用、Consistent Hashing、様々なハッシュアルゴリズム、新しいオペレータに対応している等という宣伝文句があります。apr_memcacheというライブラリも存在しますが自分は使った事がないためノーコメント。 ただ、推奨さ

2008/5/26更新 対応バージョン: 0.21 libmemcachedに付属する各種ツールについて使用方法を説明する。 基本的に--serversで接続するサーバを指定する。サーバはカンマで区切って複数指定できる。ただし、特定のサーバに接続して処理をすべきツール(memrm,memcat,memcp)は複数指定しても最初の1台にだけ作用する。 memflush 指定したmemcached内のデータをすべて削除する。 例) % memflush --servers=srv1,srv2 memslap 指定したmemcachedの負荷テストを行う。 デフォルトで10000回のテストを行うが、--execute-number=オプションで任意の回数を指定できる。その他いろいろなオプションがあるがここでは割愛する。 例) % memslap --servers=srv1,srv2 --exe

株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか、そしてメモリがどう管理されているのかをご紹介します。また、memcachedの内部構造の事情による弱点も紹介します。 メモリを整理して再利用するSlab Allocationメカニズム 昨今のmemcachedはデフォルトでSlab Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は、単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しがしながら、このアプローチではメモリにフラグメンテーション（断片化）を発生させてしまい、OSのメモリマネージャに負荷をかけ、最悪の場合だとmemcachedのプ

statsコマンドのサブコマンドのcachedump．これを使えば，キーのリストアップができます． telnetでやると，こんな感じです． memcachedをlocalhostで立ち上げたばかりだとします． # telnet localhost 11211 Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. stats items % カラなのを確認 END set 123 0 0 4 % set キー値 オプション・フラグ値 有効期間値 バイト数 abcde % わざと指定バイト数と違う文字数（5バイト）を入れてみる CLIENT_ERROR bad data chunk % ちゃんとエラーになった ERROR set 123 0 0 4 abcd % 今度はちゃんと4バイト入れてみる ST

repcached-2.0(memcached-1.2.5ベース) をリリースしましたのでお知らせします。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) 今回の目玉はマルチマスタ構成のサポートです。 以前のバージョンはマスタ/スレーブ構成だったので、必ずマスタへ書き込まなければいけませんでした。そのため、接続先のサーバがマスタなのかどうかをクライアントが判別しなければいけなかったり、keepalivedなどと併用するなどの工夫が必要でしたが、今回のバージョンではその必要がなくなります。両方のサーバに対してデータを書き込むことができるようになったので、かなり使いやすくなったと感じています。 repcachedはパフォーマンスを最重視している

森川です。 memcachedのスピードを調べたときにAPCのキャッシュの方が速いというコメントを頂いたので簡単な追加調査をしてみました。 まずは、APCをインストールしてみましょう。といってもpeclがあれば以下のコマンドでインストール可能です。

分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装

森川です。 複数台のWebサーバでセッション管理をする場合、NFS・DB・Memcachedなんかが一般的ですが、今回はMemcachedじゃなくてレプリケーションができるRepcachedを使ってみよう！というお話です。 まずは、Repcachedの話です。といってもMemcachedにレプリケーション機能が追加されたものというものです。 RepcachedはKLab株式会社さんのクラブラボで公開されています。インストール方法などについては、リンク先のページを見ればわかると思います。 今回のエントリで重要なのは、 ・高速であること （Memcachedと遜色ない） ・レプリケーションができること （１台が落ちてもデータが失われない） ・Memcachedのクライアントが使えること（設定を変更する必要がない） ということです。 ただし、割り当てたメモリを超えてデータを保存した場合には、デー

「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で

MySQLのUDFですが、個人的にちょっと気になります。ちなみに、バージョンはまだ0.1ですが。。。 This is a set of MySQL UDFs (user defined functions) to work with memcached using libmemcached. With these functions you get, set, append, prepend and delete objects in memcached. You can also use memcached as a global sequence generator. READMEを見てみると、MySQL5.0以降とmemcached（当然）、libmemcachedが必要、インストールはいつものconfigure・make・make installとCREATE FUNCTIONでU

Memcached is generally treated as a black box. But what if you really need to know what’s in there? Not for runtime purposes, but for optimization and capacity planning? demo $ sudo peep --pretty 2479 time | exptime | nbytes | clsid | key | exprd | flushd 8658 | 613458 | 272 | 5 | "c3RhdH:171:5" | false | false 8658 | 0 | 6 | 1 | "current_c3RhdH:3" | false | false 8658 | 613458 | 281 | 5 | "c3RhdH

先日、Brian Akerとミクシィの前坂氏によるmemcachedのセミナーがあった。 実践で使用する上での話や開発最前線の話が聴けたため、セミナーは非常に盛況であった。筆者にとっても非常に勉強になる内容だった。セミナーの資料はBrian Aker氏のサイトから入手できるのでセミナーに参加出来なかったひとはこの資料を読んで自習して頂きたい。 が、いかんせん氏のスライドはパッと見ただけではなんとなく分かりづらいように俺は思う。なぜだろうか？それはきっと図がないからだ・・・と勝手に想像する。オトコたるもの、時には勝手な憶測で突き進むのもアリだ。ちなみにBrianのスライドはほとんど要点の箇条書きになっている。これでは解説がないと、特に新規にmemcachedやMySQLを学習している人たちには分かりづらいだろう。 というわけで氏に代わり、memcachedがどのように既存の仕組みを置き換える

何？ オブジェクトをメモリにキャッシュするデーモン。 動的ページを持つウェブアプリケーションの裏側で動くデータベースへの負荷を軽減させることを目的にデザインされている。 - 公式サイト memcached: a distributed memory object caching system 特徴 オブジェクトをメモリ上にキャッシュ 複数ホスト間でキャッシュ共有可能（リモートからキャッシュにアクセス可能） 各言語用のインタフェースライブラリがそろってます 実績豊富 よくある用途 セッションストア DBへのクエリ結果のキャッシュ アプリケーションレベルのオブジェクト共有（静的インスタンス） セッションストア 複数サーバ間のセッション情報共有 DBを使う方法と比べて負荷がかからなくてうれしい セッションストアとしての問題点 レプリケーションの仕組みがない。 ので、アプリケーションの性質によって

Cache::Memcached を利用して Memcached を利用していますが、 容量を監視したいと思ったときに エラー(容量が一杯によりset失敗とか)をハンドリングする方法がないようでした。(知らないだけ？) どうにか容量を監視できないかなぁということで、memcachedサーバのソースに同梱しているスクリプトを見つけました。 監視スクリプト memcached/scripts/memcached-tool USAGE # ./memcached-tool Usage: memcached-tool [mode] memcached-tool 10.0.0.5:11211 display # shows slabs memcached-tool 10.0.0.5:11211 # same. (default is display) memcached-tool 10.0.0.5: