RDSが朝のピーク時間帯にI/Oスパイクで応答不能になりました。前日夜にリリースしたdeleted_atへの単独インデックスが原因です。stagingのEXPLAINでは複合インデックスが正しく選択されていたので、レビューでは検出できていません。 根っこにあるのはMySQL 8.0 innodb_stats_methodのデフォルト値nulls_equalと、IS NULLに対するコスト計算の噛み合わせです。8.0系で現在も未修正のバグに類する挙動で、NULL多数カラムへの単独インデックスがトリガーになります。 テーブルとクエリ 問題が起きたのはチケット管理SaaSのticketsテーブルです。ソフトデリートでdeleted_atを持つよくある設計です。 CREATE TABLE tickets ( id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, w

レイヤードアーキテクチャのルールを守りつつ、RDBのトランザクションを管理する方法は悩みの種になるポイントだと思います。 本記事では「 口座の送金処理 *」を題材に、 Golang + GORM を使った4つのトランザクション管理パターンをまとめてみます *送金元口座から残高を引き出し、送金先口座に入金する処理の一貫性を保証する話です。失敗が発生した場合は操作をロールバックする必要があります 前提 本記事では、レイヤードアーキテクチャの構成を以下のように定義します。特に、Application, Domain, Infrastructure層についての実装を紹介していきます Presentation層 : UIやAPIレイヤー、ユーザー入力や出力を扱う層 Application層 : アプリケーション全体のビジネスロジックを統括する層 Domain層 : エンティティや集約、ドメインサービ

perfプロファイリングの結果、CPU時間の55%がPostgreSQLのユーザースペーススピンロック（s_lock）で消費されていることが判明した。PREEMPT_LAZY環境下で、ロック競合が劇的に悪化している。原因はプリエンプションモデルの制限問題の根源は、Linux 7.0のrc1で導入されたカーネルスケジューラの変更にある。Intelのカーネルエンジニア、ペーター・ジルストラが作成したコミットが、利用可能なプリエンプションモードを制限した。 従来、Linuxカーネルはサーバー向けに「PREEMPT_NONE」（プリエンプションなし）というモードを提供していた。スループット最大化を優先し、カーネルがタスクを途中で中断しない設計だ。データベースサーバーのように、CPUを長時間占有する処理には理想的なモードだった。 Linux 7.0では、x86やARM64などの主要アーキテクチャでP

Stop managing 7 databases. Stop paying for 7 services. Stop waking up at 3 AM for 7 reasons. PostgreSQL can replace Redis, Elasticsearch, MongoDB, Kafka, and more — with the same algorithms.

こんにちは。estieでデータクオリティーマネージャーをしているkageyuです。estieは不動産データをたくさん扱っており、その場所は住所を使って表すことが多いです。 不動産には「不動産登記番号」や最近国土交通省が整備しつつある「不動産ID」などが存在しますが、大抵の場合は住所と建物名を使って建物が指定されています。そのため、複数の不動産データを統合するとき、主に住所と建物名を使って突合します。 データクオリティーマネージャーとしては、突合処理で 住所が正しく正規化できているか？ 正規化の前後で情報が欠落していないか？ その住所は実在するのか？ などを確認しており、データを見ていると違和感があるのに正しい住所をよく見かけます。私はそんなとき「この地方にはこんな住所もあったなあ」と思うので、今回は都道府県別に特殊な住居表示を解説します。 特殊じゃない住所について 一般的には住所は「○○県

この記事は、PostgreSQL拡張によるBM25関連度スコアリング付き日本語全文検索を扱います。同じくPostgreSQL拡張を使った日本語全文検索として、PGroonga + MeCabを用いたアプローチを別の記事で解説しています。両者の主な違いは以下の通りです。 PGroonga + MeCabはGroongaベースの全文検索エンジンで、前方一致・後方一致・正規表現検索など多彩な検索手法を備えています。エンタープライズ用途で数百万から数千万レコードの検索に向いており、MeCab辞書のカスタマイズによる検索精度のチューニングが可能です。ただしBM25のような関連度スコアリングは標準では備えていません。 ParadeDB (pg_search) はTantivyベースの全文検索エンジンで、Elasticsearchと同じBM25アルゴリズムによる関連度スコアリングを備えています。「検索結

Think of your database like your home. Your home has a living room, bedroom, bathroom, kitchen, and garage. Each room serves a different purpose. But they're all under the same roof, connected by hallways and doors. You don't build a separate restaurant building just because you need to cook. You don't construct a commercial garage across town just to park your car. That's what Postgres is. One ho

外部キーナイトの登壇資料です。 https://connpass.com/event/380098/

今回は、OpenAIが2026年1月に公開した「8億人のユーザーを抱えるChatGPTが、どうやってPostgreSQL（ポスグレ）をスケールさせているか」という記事が非常に示唆に富んでおり、エンジニアにとって「基本の大切さ」を再確認できる内容だったので、その要点を分かりやすく解説します。 「世界トップクラスのAI企業だし、何か聞いたこともない特殊な分散データベースを使っているのでは？」 そう思う方も多いかもしれません。 しかし、彼らのコアシステムは驚くことに 単一のPostgreSQL（シングル構成） で動いています。 なぜそのような構成で、これほどの大規模トラフィックを捌けるのか？そのアーキテクチャと運用戦略を紐解いていきます。 3行でわかる要約 基本に忠実: 複雑な分散DBを使わず、「1台の書き込み用DB + 50台の読み込み用DB」というシンプルな構成を採用。 書き込みの工夫: 書

はじめに こんにちは。かろっく@calloc134 です。 巷では NewSQL が流行りを見せていますが、皆さんこう思ったことはありませんか？ 我々は、RDBMS ですら、十分に理解していないのではないか？ 今回は、PostgreSQL の内部実装に焦点を当てて、RDBMS 実装の解像度を上げていきたいと思います。 PostgreSQL の内部実装については、 インデックスの実装、追記型アーキテクチャ、MVCC、トランザクション分離モデルなどが 断片的に語られることはありますが、横断的な解説はあまり見かけないように思います。 この記事では、PostgreSQL における MVCC を用いた読み取り整合性の実装 トランザクション分離モデル インデックスの実装について、横断的に解説していきます。 今回割愛したもの ブログ執筆にあたり、以下の内容は割愛しました。 トランザクションのステータス管

MySQL 8.0 を使い、RDBMS のトランザクションとロックについてまとめます。 なんとなくや断片的に理解している用語を関係ごとに整理し、深く広く学べる状態になりたいと思いまとめました。 この Book は目次にある要素を 50 枚の図を使って、丁寧かつさらっと整理していきます。

こんにちは、株式会社 PKSHA Technology ソフトウェアエンジニアの中西です。 1. はじめに Go 言語で MySQL を利用する場合、標準ライブラリの database/sql と、ドライバである go-sql-driver/mysql を組み合わせるのが一般的です。この構成は、事実上のデファクトスタンダードとして定着しています。[1] また、セキュリティ対策も重要です。特に SQL インジェクションを防ぐため、プレースホルダ ? を用いた Prepared Statement の利用はベストプラクティスと言えます。[2] しかし、この標準的で安全な構成でも、パフォーマンスが著しく劣化するケースはあります。本稿では Prepared Statement の 2 方式を整理し、Go のデフォルト設定で性能が落ちる原因をベンチマーク結果と合わせて示します。解決策と採用時のトレー

この記事は hacomono Advent Calendar 2025 の12日目の記事です。 基盤本部で今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。 今年はマイクロサービス化に向けての社内共通のイベントバスの設計や基盤周りの設計/実装を行っていました。 以前にはこのような記事を書き、分散システムや分散データベース、分散ストレージなどが大好きです。 「Goで作って理解するRaftベースRedis互換KVS」という同人誌も書いています。 もし興味のある方はお手にとってみてください。 はじめに 今回は「クラウドネイティブデータベース」と言われる、昨今のデータベースにおけるコンピューティングとストレージの分離について、どのような動機でこの構成になったのか、利用者としてどのようなメリットがあるのか、そしてトレードオフは何かということについて記事を書かせていただ

はじめに 「Just use Postgres」という言葉を初めて聞いたのは、いつだったか覚えていません。Twitter か Hacker News か、あるいは社内の Slack か。どこで聞いたにせよ、私の反応は決まっていました。「また極端なことを言う人がいる」と。 「それ、〇〇でもできますよ」——この手のフレーズはもう100回は聞いてきました。そして大抵の場合、その〇〇は専用ツールに置き換えられていきます。技術が専門分化していくのは自然な流れです。 全文検索なら Elasticsearch。時系列データなら InfluxDB。メッセージキューなら RabbitMQ。それぞれの分野に専門家がいて、専用のソリューションがあって、ベストプラクティスがあります。「とりあえず Postgres で」なんて、それは思考停止ではないか、と。でも、心のどこかで気になっていたんです。 www.mann

MySQLのパフォーマンスを改善するうえで、「インデックス」は重要な要素の一つです。しかし、MySQLの内部でオプティマイザがどのようにインデックスを選択し、データを処理しているのかを正確に理解しているエンジニアは多くありません。どうすれば、インデックスを適切に使いこなせるのでしょうか。今回は、MySQL運用のスペシャリストとして知られるyoku0825さんに、インデックスの活用方法について解説していただきました。 B-treeインデックスの基本構造― 今回のインタビューでは、MySQLのインデックスの知見を詳細に伺っていきます。 インデックスを適切に活用するためには、その仕組みを理解することが重要です。そこでまずは、MySQLのInnoDBで最も基本となるB-treeインデックスの構造からお話しします。内部的にどのような構造になっているか、イメージを掴んでいきましょう。 今回は、MySQ

【AIとクラウドの文化祭！】DevelopersIO2025 TOKYO GRAND FINALE https://classmethod.connpass.com/event/366750/ 「[自由研究発表] クラスメソッド社員による怒涛のLT大会、11連発」

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

こんにちは、DBREの周東（X: @dev_kngnr）です。 DBRE では、freee の全プロダクトが利用するデータストア層の信頼性向上をミッションとしています。その活動の一環としてDB障害の原因の調査や、再発防止策の検討を行っています。この記事では、freee のとあるサービスで実際に起こった DB 障害と、その引き金となった MySQL のロック継承の仕組みについて紹介します。 概要 今回紹介するDB障害では、Aurora MySQL への接続失敗が頻発し、最終的には Web を開くこともできない状態にまで発展しました。原因を調査したところ、ROLLBACK TO SAVEPOINTによって引き起こされるロック継承が予期しないロックを発生させることが判明しました。この挙動とロングトランザクションが組み合わさることによって、たった一行のレコードロックのロールバックが Web サービ