Google CloudのMemorystore for Memcachedがdeprecatedになり、最終的にサービス終了します（2029年1月31日終了、2027年2月1日以降は新規プロジェクトで新規作成できない、などの制限が入ります）。マネージドサービスから消えると「memcachedは古い」と思いやすいのですが、私はそう単純ではないと思っています。 memcachedは、用途が噛み合うと今でもかなり強いです。ここでは「memcachedのどこが良いのか」と「どこを割り切るべきか」をまとめます。 memcachedの良さ マルチスレッドで高スループット・機能がシンプル memcachedはマルチスレッドで高スループットを出せます。実績が多く、挙動が安定しているのも良いところです。 キャッシュ用途で必要な機能は揃っていますが、命令がシンプルで、基本的に状態を持たない操作しかありません

インメモリデータストアRedisの開発元であるRedis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。 このライセンス変更により、同社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 下記はライセンス変更を発表した同社ブログ「Redis Adopts Dual Source-Available Licensing」からの引用です。 Under the new license, cloud service providers hosting Redis offerings will no longer be permi

Future Redis releases will continue to offer free and permissive use of the source code under dual RSALv2 and SSPLv1 licenses; these releases will combine advanced data types and processing engines previously only available in Redis Stack. Beginning today, all future versions of Redis will be released with source-available licenses. Starting with Redis 7.4, Redis will be dual-licensed under the Re

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Twitterの内部構造を読解してみる 前口上 Twitterのようなマイクロブログサービスでは短時間で書き込みも多く、特にタイムライン周りは単にRDBのデータを出し入れるするだけではスケールしなくなります。 インターネット上に断片ながらTwitterの中の人がアーキテクチャについて解説した記事や動画がいくつか落ちていたので、Twitterがタイムラインをどうやってキャッシュしているかについてまとめてみたいと思います(推測を含みます)。 Twitterのテーブル構造 単純なTwitterのテーブル定義をRDBで定義すると以下のようになる

GREE Tech Conference 2022で発表された資料です。 https://techcon.gree.jp/2022/session/TrackB-5

Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術

ログ基盤をCloudWatchLogからNewRelic Logs + S3に変えたら 利便性も上がってコストも下がった話

事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー

メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。 マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。 今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。 背景 従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと

Linux Conntrack: Why it breaks down and avoiding the problem By Alex Pollitt on Apr 26, 2019 • 6 min read Connection tracking (“conntrack”) is a core feature of the Linux kernel’s networking stack.  It allows the kernel to keep track of all logical network connections or flows, and thereby identify all of the packets which make up each flow so they can be handled consistently together. Conntrack i

「全アクセスがmemcachedに行ったら負け」超大量リクエストをさばくフリークアウトの技術哲学 アドテクノロジーの雄、フリークアウトのエンジニアは、日々圧倒的な量のリクエストと戦っています。こうしたシビアな世界での仕事は、若きエンジニアをどのように鍛えるのでしょうか。 株式会社フリークアウト。アドテクノロジーに携わる者ならば、その社名を1度は聞いたことがあるでしょう。DSP*1のシェア国内トップクラスである同社は、高い技術力に裏付けされた信頼性の高い広告配信サービスを提供しています。 その安定した技術基盤を生み出すには、メンバーの育成やカルチャーの醸成が必要不可欠です。フリークアウトはいかにして、“強いエンジニアチーム”を作り上げているのでしょうか。 広告配信インフラやデータ基盤などを担うAccelerator divのテックリード本間雅洋（ほんま・まさひろ／@hiratara）さんと、

久々登場、みなさんこんにちは nakamura です。今年こそはベイスターズの優勝を信じて疑いません！ぼちぼちマジック点灯しちゃいますよ！ さてさて今日は CakePHP のちょっとだけ深いお話し。キャッシュの保存先に memcached を使っている場合の問題と対処法についてです。 CakePHP を使っているとどうしてもキャッシュをクリアしたい場面が出てくると思いますが、そんな時みなさんはどうしていますか？ファイルにキャッシュしているのであれば直接削除する人が多いでしょうか 。memcached の場合はどうでしょう？Cake の Cache クラスには clear というメソッドがあるのでこれを使ってシェルを書くのが良いかもしれません。もしくはちょっと乱暴ですが、memcached を再起動しちゃうなんてのもあるかもですね。 大抵の場合これで問題はなさそうですが、実はキャッシュの保存

はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

by Michael Piatek Responsiveness is essential for web services. Speed drives user engagement, which drives revenue. To reduce response latency, modern web services are architected to serve as much as possible from in-memory caches. The structure is familiar: a database is split among servers with caches for scaling reads. Over time, caches tends to accumulate more responsibility in the storage sta

gumiという会社を今まで知らなかったのですが、memcached勉強会ということで見に行ってきました。 内容的には、memcachedの活用と運用 実践編：特集｜gihyo.jp … 技術評論社と、この前のYokohama.pmでの内容という感じ。 懇親会ではgumiの方と話をして、面白そうな会社だなぁという印象でした。 社長に魅力がありそうだとそれだけで惹かれますね。 以下、発表内容とメモ。 資料と動画も公開されてます。 kazeburoさんの資料 gumiStudy#2 で memcached の運用について喋ってきた - blog.nomadscafe.jp 動画 Ustream.tv: ユーザー gumilab: gumilab 09/14/10 03:31AM, gumilab 09/14/10 03:31AM. コンピュータ Ustream.tv: ユーザー gumilab:

GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠

はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28