Optimizing Straddled Joins in Readyset: From Hash Joins to Index Condition Pushdown Introduction Readyset is designed to serve queries from cached views with sub-millisecond latency. This post focuses on the cold path—cases where a cache miss forces execution against the base tables. In these scenarios, Readyset must evaluate the query from scratch, including materializing intermediate results. Th

はじめに 今回の記事では、BenchBase というベンチマークツールについて紹介してみたいと思います。 弊社では、データベースの性能評価やワークロードのシミュレーション、検証にベンチマークツールをよく使用しています。 主に MySQL 用のベンチマークツールとしてメジャーな以下の利用頻度が高いです。 mysqlslap sysbench もし TPC ベンチマーク(派生ワークロード)を実行したい場合は、以下のツールを個別で準備することになります。 sysbench-tpcc tpcc-mysql TPC-H tpce-mysql HammerDB 今回、これらのツールでは実装されていない(または実行できない)、とあるベンチマークを実行する要件があり、それが実現できる BenchBase にたどり着きました。 試用してみたところ、非常に使い易い便利なソフトウェアだったので、普及がてら紹介さ

Cloudflare Workers、フルスタックアプリの構築とホスティングが可能に。新たにNext.jsやAngularなどに対応、MySQLへの接続も Cloudflareは、同社が提供するグローバルなコンテンツデリバリーネットワーク（CDN）のエッジにおいてJavaScriptのランタイムを提供する「Cloudflare Workers」の新機能や機能強化を発表しました。 You can now deploy static sites and full-stack applications on Cloudflare Workers – the primitives are all here. https://t.co/lDgcd4kh9j #DeveloperWeek — Cloudflare (@Cloudflare) April 8, 2025 Next.jsサポート、MySQ

これはなに ども、LT開発部のもりたです。 今回はMySQLのスキーマ変更（DDL）について調べました。 DDLってなんとなく使うことは可能なんですが、データ量が増えていくにつれて障害の要因になったりもしますよね。もりたも障害が起きてDDLを調べたクチなんですが、調べれば調べるほどDDLに関する断片知識が絡まり合い、整理をつけるのが大変でした。今回はその断片を撚り合わせ、綺麗に縫合することで、この１記事だけで大体全てがわかるようにしました。もしDDLでお困りの方がいらっしゃいましたら、この記事（と、そこから辿れる諸記事）を足がかりに基礎と応用を身につけていただければと思います。 また、有識者の方々は是非まさかりを構えながら読んでください。技術的な間違いや現場的にはこうだよという事項がありましたら、コメント欄に記載いただけると幸いです。 構成 構成 まず構成ですが、以下の通り進めます。 前提

オープンソースで開発されているJavaScriptランタイム「Bun」の最新版となる「Bun 1.2」正式版が登場しました。 Bun v1.2 is herehttps://t.co/m3Q4xJ7l88 — Bun (@bunjavascript) January 22, 2025 BunはNode.js互換のJavaScriptランタイム機能に加えてTypeScriptのランタイム機能も備え、さらにトランスパイラ、バンドラ、タスクランナー、npm互換のパッケージマネージャなど、JavaScript/TypeScriptのツールチェーンを統合したソフトウェアです。 Windows版、Linux版、macOS版が提供されています。 PostgreSQLクライアント機能を搭載 Bun 1.2ではPostgreSQLのデータベースクライアント機能が搭載されました。ライブラリやSDKに依存するこ

この記事は CyberAgent Developers Advent Calendar 2024 9日目の記事です。 こんにちは、Serveice Reliability Group(SRG)の鬼海 雄太(@fat47)です。 SRGは主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事ではアメーバブログを中心としたサービスの大規模Aurora MySQLクラスタを、サービス無停止でアップグレードするためにどのような取り組みをおこなってきたかをお伝えします。 Amebaの大規模Aurora MySQLクラスタについて アメーバブログは2004年にオープンしたブログサービスであり、今年20周年を迎えた長期間運用されているサービスです。Amebaは、このアメーバブログを中心に様々なサービスで構成され

ビジネス向けメタバース構築プラットフォームのサーバーエンジニアを募集！ REALITY株式会社 @REALITY I want to hear a detailed 会社概要 REALITY株式会社（グリー100%子会社） 代表取締役　荒木 英士（グリー株式会社 取締役 上級執行役員） Vision「なりたい自分で、生きていく。」 誰もがアバターを持ち"なりたい自分で生きていく"ことのできるメタバースの世界の実現を目指しています。 REALITY Metaverse Trailer 2021（コンセプトムービー） 事業内容 ・バーチャルライブ配信アプリ「REALITY」の開発・運営（BtoC事業） ・バーチャルライブ/イベント制作プラットフォーム「REALITY XR cloud」の開発運営（BtoB事業） 参考リンク ・会社紹介資料 ・アート職お仕事紹介資料 ・REALITY note（

いろいろありますが、今後のことを考える前にまずは、バージョン8.0.xの現状を一旦整理・理解してから決めようと思います。 念を押しておきますが、このブログの「内容は個人の考えであって、所属組織とは方針が異なる」と考えてください。 MySQL内部の人は、クラウドとか最新のサーバーとかしか利用していないのかも知れず、MySQL 8.0 が日に日に遅くなっていることに気づいていない人しかいないのでしょう。しかし、数年前のローカルPCで動かすと年々動作が鈍くなっているのを感じます。マイナーバージョンアップで単スレッド性能が下がり続けるなんて商用システムではリスキーです。 証明が難しく、ずっと放置せざるを得なかったのですが、非常に重要な事柄ですので今一度、オープンになっているソースを基に分析をしてみます。 まず、測るモノサシを決めましょう。以前のエントリ「MySQLバージョンアップによるInnoDB

はじめに Data Strategyチーム（以下、DSチーム）でDWHやBIツールの運用をしている@shota.imazekiと不正検知やAWS基盤運用をしている@tawamuraです。 Aurora MySQL v2（MySQL5.7互換）が2024/10/31に標準サポート終了となるため、DSチームでは2024年6月にAurora MySQL v3（MySQL8.0互換）へのアップグレードを実施しました。 その際に得られた課題や知見について紹介していきます。主にAWS DMSやAmazon RDS ブルー/グリーンデプロイを用いたアップグレード方法の話になります。 DSチームのインフラ構成 DSチームはBASEの機械学習基盤を構築・運用しており、APIなどを介してプロダクト側へ機械学習モデルの推論結果などを返しています。学習・推論のために使うプロダクト側のデータはDMSを用いて、DS環

オラクルはリレーショナルデータベース「MySQL」の新バージョンとなる「MySQL 9.0」をリリースしました。 MySQLは現在、数カ月ごとにリリースされ積極的に新機能が追加されるイノベーションリリース（Innovation Release）と、長期で安定して利用されることを想定して2年ごとにリリースされる長期サポート（LTS：Long Term Support）版の2つに分かれてリリースされています。 現在のLTS版は今年（2024年）4月に登場したMySQL 8.4です。 そして今回リリースされたMySQL 9.0はイノベーションリリースに該当します。最新機能をいちはやく試したい開発者やユーザーのためのリリースです。 MySQL 9.0の主な新機能 MySQL 9.0のドキュメント「What Is New in MySQL 9.0」から、新機能「JavaScriptストアドプログラム

7月4日、MySQLはMySQL 9.0をリリースした。 MySQLは、人気のあるオープンソースのリレーショナルデータベース管理システムであり、この度公式にバージョン9.0を発表した。 MySQL 9.0は、前バージョンのMySQL 8.4から多くの新機能が追加され、いくつかの機能が廃止または削除された。 MySQL 9.0で追加または変更された機能 VECTOR型サポート MySQL 9.0では、VECTORカラムタイプがサポートされる。VECTORは、4バイトの浮動小数点値のリストとして表現されるデータ構造であり、バイナリ文字列またはリスト形式の文字列として表現可能である。VECTORカラムは、最大長またはエントリ数を指定して宣言する（デフォルトは2048、最大は16383）。 mysql> CREATE TABLE v1 (c1 VECTOR(5000)); Query OK, 0

MySQL/Aurora/TiDBロック入門 – 第２回ロックモニターの読み方【動画解説付】 MySQL とその互換 DB のロックやトランザクションの挙動を紹介する入門シリーズ、「第１回 トランザクション分離レベル」 では READ COMMITTED や REPEATABLE READ でどういう挙動になるか紹介しました。 第２回目の今回は MySQL InnoDB のロックモニターの読み方、使い方について解説します。MySQL のロック機構を理解するツールとして便利なのでぜひご一読ください！ ★ 第１回 トランザクション分離レベル ★ 第２回 ロックモニターの読み方 ★ 第３回 ロック読取りも SELECT は止められない ★ 第４回 INSERT を止めるインテンションロック ★ 第５回 WHERE 条件と違うロック読取り ★ 第６回 performance_schema ★ 第７

note ではメインデータベースとして Aurora MySQL を採用し、日々発生する膨大なトラフィックを処理しています。Aurora MySQL v2 (MySQL 5.7 互換) の標準サポートは2024/10/31 に終了するため、これを機に v3 (MySQL 8.0 互換) へのアップグレードを行いました。 アップグレードは無事に完了しましたが、いくつかの問題にも直面しました。これらを共有することで、これからアップグレードを検討している方へ参考になればと思います。 事前に検討した課題アップグレード後に致命的な問題が起きたらどうするかv3 へのアップグレード後に v2 へ切り戻すことは容易ではなく、スナップショットなどからの復元が必要になります。データをロールバックすることになるため、ユーザ影響が極めて大きく避けたい事態です。 そのため、基本的に切り戻しはできないという前提でアッ

前回MySQLのREPEATABLE READとREAD COMMITTEDの違いを知るために色々試した - $shibayu36->blog;という記事を書いたところ、yoku0825さんにMySQL 8.0以降だとperformance_schema.data_locksが使えると教えてもらったので試した。 ちなみに、後ろからロックがぶつかるクエリを実行しなくても、MySQL 8.0だとSELECT * FROM performance_schema.data_locksでロックの範囲を確かめることができます。 ギャップつきロックがInnoDBのスタンダードで、X lockがレコードとギャップのロック、X not gapが単なるレコードロックになります— yoku0825 (@yoku0825) February 27, 2024 テーブル定義 CREATE TABLE `posts`

メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？［PR］ 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

IT系コミュニティを不審者からどう守るか／GitHubが無停止でMySQLをアップグレード／開発中のヨドバシAPIが目指す機能、ほか。2023年12月の人気記事 年末に届いた今年のカレンダーをめくってみていたら、今年は閏年で2月29日まであることに気がつきました。ということは、今年はパリオリンピックの年なんですね。 東京オリンピックがついこの間だと思っていたのに、もう今年はオリンピックとは。やはり3年間の間隔はいつもよりずっと早く感じますね。 さて、2023年12月の人気記事ランキングを見ていきましょう。 1位から3位 1位　IT系コミュニティをタダ飯狙いの不審者からどう守るべきか。あるイベントで発生した深刻な事案と提言 2位　GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる 3位　ヨドバシの中の人が語る、開発中のヨドバシAPIが目指

GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上のMySQL 5.7を、GitHub.comのサービスレベルを維持したまま1年以上かけてMySQL 8.0にアップグレードしたことをブログで明らかにしました。 Up

こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約

こんにちは。CX事業本部Delivery部のakkyです。 以前、Amazon Linux 2023でMySQL Clientを使う記事を掲載しました。 多くの方にご覧いただいていますが、この方法で注意していただきたい点として、MySQLはAmazon Linux 2023のリポジトリ外のパッケージとなるため、AWSからのサポートが得られないということがあります。 AWSでは、RDS MySQLへの接続にはMariaDBを使用することをドキュメントで案内しています。 MariaDBは、クライアントプロトコルに関してはMySQLと互換性があることがドキュメントに記載されています。 また、認証プラグインに関しても、クライアント側でSHA-256がサポートされていますので、MySQL8.0への接続も問題ありません。 インストール方法 次のコマンドでインストールできます。