Google CloudのMemorystore for Memcachedがdeprecatedになり、最終的にサービス終了します（2029年1月31日終了、2027年2月1日以降は新規プロジェクトで新規作成できない、などの制限が入ります）。マネージドサービスから消えると「memcachedは古い」と思いやすいのですが、私はそう単純ではないと思っています。 memcachedは、用途が噛み合うと今でもかなり強いです。ここでは「memcachedのどこが良いのか」と「どこを割り切るべきか」をまとめます。 memcachedの良さ マルチスレッドで高スループット・機能がシンプル memcachedはマルチスレッドで高スループットを出せます。実績が多く、挙動が安定しているのも良いところです。 キャッシュ用途で必要な機能は揃っていますが、命令がシンプルで、基本的に状態を持たない操作しかありません

It supports MySQL, PostgreSQL, SQLite, Redis, Mongo, DynamoDB, Firestore, Memcached, and more

突如メールが・・・ セキュリティ案件 memcached のアクセス制御に関する注意喚起 https://www.jpcert.or.jp/at/2018/at180009.html memcahcedの設定をデフォルトで使用していたため、リッスンするIPに制限がかかっておらず外部からアクセス可能になってたみたい。 なぜ外部からアクセス可能だとDDoS攻撃発信の踏み台になるかはこちらが詳しいです。(2018/03/02追記) 簡単にいうと下記。 UDP通信を使用している場合送信元偽装が簡単 送信元をDDoS攻撃したいIPに偽装して大量のデータをGETする操作を実施 偽装したIPに大量のトラフィックが集中する 参考(2018/03/02追記) memcached を悪用したDDoS攻撃についてまとめてみた http://d.hatena.ne.jp/Kango/20180301/151993

JPCERT-AT-2018-0009 JPCERT/CC 2018-02-27(新規) 2018-02-28(更新) I. 概要JPCERT/CC では、2018年2月21日ごろから 11211/udp の通信ポートに対するアクセスが増加していることを、外部組織からの情報提供、およびインターネット定点観測システム (TSUBAME) の観測データから確認しています。TSUBAME にて観測されたスキャンは、当該通信ポートへのスキャンパケットから、memcachedに対して行われている可能性が考えられます。memcached の設定によっては、意図せずインターネットからアクセス可能な状態になっており、スキャンに応答している可能性があります。このような場合に攻撃の踏み台にされたり、memcached が保持する情報へアクセスされたりする可能性があります。JPCERT/CCでは、memcach

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は ex-mixi Advent Calendar 2017 19 日目のエントリーです。 こんにちは。@bonnu と申します。 株式会社ミクシィには2006年１月から2012年３月末までの間、６年と３ヶ月ほど在籍していました。その後株式会社FreakOut（現在はホールディングスとなっています）に転職。そこからさらに転職を重ね、現在は株式会社GameWithでサーバーサイドを主としたエンジニアをやっています。 ミクシィに入社した当時はまだ社名が株式会社イー・マーキュリーで、入った翌月に社名変更したタイミングでした。なので希少

はてなエンジニア Advent Calendar 2017の3日目です。 昨日は、id:y_uuki さんによるウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会でした。 さて、memcachedにはmemcached-toolというツールが同梱されています。 https://github.com/memcached/memcached/blob/master/scripts/memcached-tool これを、今回(実は大分前に書いていたのですが)、Goに移植しました。 https://github.com/Songmu/go-memcached-tool 以下のようにインストール可能ですが、GitHub Releasesにも置いてあります。 % go get github.com/Songmu/go-memcached-tool/cmd/go-memcached

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （当日はesaのプレゼンテーションモードで発表しました） （pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜！ - connpass の発表資料です） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒（2013/10入社） pixivの__技術的な改善__が主な業務（後で詳しく） 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング

今北産業 Memcachedではexpiration timeに絶対指定と相対指定をすることができる expiration timeに30日を超える秒数を指定すると絶対指定(epoch)として扱われる つまりexpiration timeに30日を超える秒数を相対指定のつもりで指定した場合、絶対指定として処理されて大抵の場合は死に至る Memcachedのexpiration Memcachedのexpirationには無効値とするまでの相対的な時間を秒数で指定する方法が一般的だ。 だが、実はMemcachedはepochによる絶対指定によるexpirationもサポートしている。 https://github.com/memcached/memcached/wiki/Commands#standard-protocol ドキュメントを引用: An expiration time, in

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

追記 MySQL 5.7.19か20あたりで取り込まれたパッチにより以下の問題は発生しなくなりました。つまりはバグでした。 InnoDB memcached pluginはMySQL 5.6から搭載された機能で、Memcacheプロトコルを使ってInnoDBにデータを読み書きできる便利機能です。 簡単なプロトコルなためSQLより高速に動作する点、InnoDBに記録できる点、MySQLのレプリケーションが利用できる点など、 うまく使えば便利な仕組みですが、結論を先に書いてしまうと使えなかったという話をします。 使えなかった理由 MySQL memcached pluginを使ったInnoDBへのインターフェイスが使えなかった理由はクラッシュが多発するためです。 高速な動作、レプリケーション機能などはうまく動作しているのですが、 しばらく動作させていると get 操作の際に SIGABRT と

This document discusses optimizations for TCP/IP networking performance on multicore systems. It describes several inefficiencies in the Linux kernel TCP/IP stack related to shared resources between cores, broken data locality, and per-packet processing overhead. It then introduces mTCP, a user-level TCP/IP stack that addresses these issues through a thread model with pairwise threading, batch pac

本部長や副本部長もプログラミングを（たまに）することで有名なサイボウズの運用本部長、山本泰宇です。 有名じゃないかもしれませんが、ブログに書いたので有名になるということでご了承ください。 今回は、先日発生した yrmcds に起因する障害の原因と対策を解説します。 yrmcds というのは、サイボウズが開発している memcached 互換のキーバリューストレージです。 問題の理解のため、まず TCP 通信で、通信先の相手の障害にどう対応するか解説します。 データの送信中に相手が落ちるケース このケースはさらに二つに分かれます。 相手の OS は生きているが、通信しているプログラムが落ちるケース 相手の OS ごと（あるいはネットワークごと）落ちるケース 1 と 2 の違いは、前者の場合 RST パケットが返ってくるのに対して、後者ではなにも返ってこない点です。後者の場合、ack されない

Redisの作者antirez氏自らによる、memcachedとRedisの長所短所の比較。特に、Redisを単なるキャッシュ用アプリケーションとしてmemcachedと比較することの間違いと、それぞれの向いている使用方法についての私見。 あなたが私と面識があるなら、私が競合製品があることが悪いと考える人間でないことはご存知でしょう。ユーザーに選択肢があることは本当にいいことだと思っていますし、だからこそ他の技術とRedisを比較するようなことはほとんどしませんでした。 しかし、最適なソリューションを選ぶためには、ユーザーは正しく情報を持たねばならないのも確かです。 この記事を書くのは、有名なライブラリであるSidekiqの作者として知られるMike Perhamが、Redisのバックエンドストレージとしての使い方を書いた記事を読んだのがきっかけです。従って、私はMikeがRedisに「反

php-memcached-dev/php-memcachedをforkしたmsgpack-and-snappyブランチで、シリアライズ方式にMessagePackを、圧縮方式にSnappyを選べるようにした。→GitHub MessagePackを使うにはPECL msgpackをインストールした上で、configureのオプションに --enable-memcached-msgpack を、Snappyを使うにはSnappyをインストールした上で --with-snappy-dir を付ければよい。 MacPortsでライブラリを入れている場合の例: phpize ./configure \ --enable-memcached \ --enable-memcached-msgpack \ --with-libmemcached-dir=/opt/local \ --with-snap

はじめに 先日9月15日、Facebookが開発した「mcrouter」がバージョン1.0として公開されました。mcrouterはmemcachedプロトコルをルーティングするソフトウェアで、クライアントとmemcachedサーバの間に立ってクエリをルーティングする仕組みになっています。このmcrouterを使うことで分散キャッシュシステムが構築出来ることになります。Facebookでは実際にインフラで導入しているそうです。 ElastiCache(memcached)では、Auto Discoveryを使ってノードをクラスタリングすることは出来ますが、キャッシュデータのレプリケーションは出来ません。しかしこのmcrouterのReplicated poolsを使うことで、ノード間でキャッシュデータを同期させることが出来ます。 そこでmcrouterを使って、分散配置したElastiCac

Introducing mcrouter: A memcached protocol router for scaling memcached deployments Most web-based services begin as a collection of front-end application servers paired with databases used to manage data storage. As they grow, the databases are augmented with caches to store frequently-read pieces of data and improve site performance. Often, the ability to quickly access data moves from being an

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで