db.r6g.2xlarge の「DB インスタンスタイプ」を教えて、と言われたらどの部分を答えますか？ コンバンハ、千葉（幸）です。 先日、EC2 のインスタンスファミリーはどこのことを指すのかを調べました。「C5d.xlarge」で考えた場合、Cを指すこともあればC5dを指すこともありました。 では RDS における「インスタンスファミリー」はどういった考え方なんだろう、というのが気になってきたので、今回はそれを調べます。 まとめ イメージは以下です。 ドキュメントの定義に則れば、DBインスタンスクラスは以下から構成される DBインスタンスタイプ（DBインスタンスクラスタイプとも） サイズ DB インスタンスクラスのことを指して DB インスタンスタイプと表現されることもある DB インスタンスファミリーという言葉は厳密にはない db.r6g.2xlarge を例にとると、 db.r6

はじめまして。プロダクト開発部に所属しているエンジニアの姚です。 今回は「Reader Store（運営：株式会社ソニー・ミュージックエンタテインメント）」のDBをAurora1からAurora3へアップグレードしたときにアプリケーション側が対応したことを話していきます。 Aurora3導入の背景 Amazon Aurora MySQL 1 (MySQL 5.6 互換) は 2023 年 2 月 28 日にサポート終了となります。 サポート期間が終了する前にアップグレードしないといけません。 また、Aurora MySQL 2 (MySQL 5.7 互換) は 2024 年 10 月 31 日にサポート終了となります。 ＊2022年11月時点、最新の情報は下記公式ページにご参照ください。 Amazon Aurora メジャーバージョンが利用可能な期間 Aurora2にアップグレードしても、

こんにちは！ スターフェスティバルでインフラエンジニアをやっております @koonagiです。 早いことにもう1月も終わりますね。 1月のうちにブログを書こうと思っていたら、あっという間に終盤になってしまっていて急いでこの記事を書いていますｗ さて、先月のre:Inventでリリースされた Amazon RDS Blue/Green Deployments について、最近検証したのでそのことについて書いていこうと思います。 Aurora v1(MySQL 5.6)が2月末でサポート終了となるため、Aurora v2(MySQL 5.7)へのバージョンアップの際にAmazon RDS Blue/Green Deploymentsを活用しようと考えており、事前準備として検証を進めました。 Amazon RDS Blue/Green Deploymentsとは 公式からの引用です。 ブルー/グリ

こんにちは、最近ランニングをサボって体重が増えたANDPADのDBRE植木です。 秋にはフルマラソンに再チャレンジする予定なので改めて頑張ります。 今回はGW前にANDPADでAurora MySQL（以下、Aurora）をVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップした件について書かせていただきます。DBMSのバージョンアップで重要なのは９割以上準備作業ですが、スタートアップ企業などでは必要な準備ややっておいた方が良い事などがわからないことも多いかと思います。ANDPADに入社して約一年になりますが、その一年の間に実施した準備の話などにも重みを置いて記事を書いてみました。 ANDPAD及びそのシステムについて AuroraバージョンアップのEOLについて バージョンアップ前にやるべきおすすめ 1. DBのエンドポイント指定をCNAMEにする 2. イン

こんにちは、システム基盤部でソフトウェアエンジニアをしているshmokmtです。 READYFORでは主要のデータベースとしてAurora MySQLを採用しており、 エンジンバージョンは1系（MySQL 5.6 互換）で長年運用をしてきましたが、 先日のシステムメンテナンスで2系（MySQL 5.7 互換）に障害が発生することなくアップグレードすることができました。 今回はその一連のアップグレード作業について書きたいと思います。 corp.readyfor.jp なぜアップグレードするのか Aurora MySQL v1のEOL Amazon Aurora MySQL 互換エディション バージョン 1 (MySQL 5.6 互換) は 2023 年 2 月 28 日にサポートを終了する予定です。 Aurora MySQL v1はEOLが2023年2月28日と決まっており、 それまでにアッ

AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y

はじめに こんにちは。大阪オフィスの林です。 2020年6月10日（水）の公式アナウンスにて「Amazon Aurora スナップショットが AWS Backup 経由で管理可能に」と発表がありました。公式ページはこちら ちょうどAuroraのバックアップ設計をしていたので試してみました！ RDS標準のスナップショットじゃダメなの？ まず気になるのはこの疑問かと思います。僕自身はRDSのスナップショットでも構わないと思ってます。 ただし、取得したスナップショットの「リージョン退避要件」がある場合には今後AWS Backupをご利用いただく方が効率的になったりする場合があります。 過去、RDSのスナップショットのリージョン間コピーでバックアップを設計・実装していた時は少々手間な作りこみをしていたようです。（確かに世代管理とかとのあたりの作りこみも考えるとそれなりに大変そうですね。。。） ht

AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur

2020/03/03 実験条件を見直し、加筆修正を行いました。 こんにちは。AWS事業本部のKyoです。 AuroraのDB パラメータグループおよび DB クラスターパラメータグループについて、どちらが優先されるのかイメージしづらかったので、実験してみました。 Auroraのパラメータグループとは Auroraのパラメータグループには以下の二種類が存在します。 DB クラスターパラメータグループ DB パラメータグループ 公式ドキュメントによる定義は以下です。 DB クラスターパラメータグループ DB クラスターパラメータグループのパラメータは、DB クラスター内のすべての DB インスタンスに適用されます。データは、Aurora 共有ストレージサブシステムに保存されます。このため、テーブルデータの物理レイアウトに関連するすべてのパラメータは、Aurora クラスター内のすべての DB

何が起きていたのか クエリのTypeがrangeからフルインデックススキャンに変化していた 原因 range_optimizer_max_mem_sizeというパラメータが追加されていた 範囲オプティマイザで使用可能なメモリを制御するには、range_optimizer_max_mem_size システム変数を使用します。 ・値0は、「制限なし」を意味します。 ・0より大きい値を指定すると、オプティマイザは、範囲アクセス方法を検討する際に消費されるメモリを追跡します。指定された制限値を超えそうになると、範囲アクセス方法は放棄され、代わりにテーブルのフルスキャンを含む他の方法が検討されます。これは最適ではない可能性があります。このような場合、次のような警告が発生します（Nは現在のrange_optimizer_max_mem_sizeの値）。 Warning 3170 Memory capa

坂東です。 ついさっきたまたま知ったんですけれど、MySQLのパラメーターに「sql_mode」なんてものがあるんですね。 SQL実行時にエラーや挙動の制御をしてくれる結構重要そうなやつ。 MySQL5.7のデフォルトは、 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION ※マイナーバージョンでも変わるみたい・・・ MySQL5.6は sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION RDS Auroraは sql_mode=0 Auroraはデフォルト値「なし」です。 なしってのもあれだけどON

5.7のサポート状況＆予測 RDS5.6ののサポート終了アナウンスから推測するに、 5.7もコミュニティがメンテ終了する2023年10月前後にアナウンスがされる可能性が高いです(5.6のとき同様の猶予期間？猶予延長されるか？は未知数ですが)。 バージョンアップに関して Mysqlのメジャーバージョンアップは段階的に行う必要がある Auroraで5.6を使っているプロダクトは、タイムリミットに向けて動きだす頃合いですね。 Mysqlはメジャーバージョンアップをする際は1つ上のバージョンまでしか上げられません。 つまり、5.6から8.0へいきなり移行はできず、5.6 => 5.7 => 8.0 と段階を踏む必要があります。 5.7に上げ作業が終わり次第すぐに8へ移行することもできなくはないようですが、 その分、移行計画はしっかり立てる必要となります。 Auroraでバージョンアップ時のインフラ

Amazon Web Services ブログ Amazon Aurora MySQL データベース設定のベストプラクティス AWS クラウドで新しい Amazon Aurora MySQL インスタンスを移行または起動した後、以下の質問のうち 1 つ以上を自問したことはありますか? 「次のステップは? どうすれば、最適に動作させることができるでしょうか?」 「既存のパラメータを変更する方が良いでしょうか?」 「どのパラメータを変更すれば良いでしょうか?」 自問したことがあるなら、何をすべきか（そして、何をすべきでないか）について、このブログ記事がガイダンスを提供できることを願っています。 この記事では、MySQL との互換性を持つ Amazon Aurora の設定パラメータについて説明、明確化し、推奨事項を提供します。こうしたデータベースパラメータとその値は、AWS クラウドで新しく作

この記事は Akatsuki Advent Calendar 2017 の 11 日目の記事です。 対象読者 AWSでRDSを運用している人 はじめに 2017/11/17からAuroraでAutoScaling が設定できるようになりました。 AuroraではReader Endpointを容易にスケールできるため、読み取り負荷を分散させたいようなワークフローでお世話になっている人も多いと思います。今回このスケールが自動化できるようになったため、負荷をかけてScalingを検証してみました。 スケールインの設定で注意すべき点がいくつかありますが、EC2やECSのAutoScalingのように作り込みを必要とせず設定1つで実現できるところはとても魅力ですので、検証結果をまとめていきたいと思います。 設定方法 GUIの場合 Auroraのクラスタを選択し、「Auto Scalingポリシーの

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon Aurora Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適

クォーラムシステムは、いくつか優れた特性があります。(例えば、リブートのために発生するような)一時的な障害やクォーラム内の1つのノードの遅延に対処するのと同じくらい簡単に、ノードの長期的な障害に対処できます。 The Aurora quorum Aurora では、3 つの AZ にわたって、6 つのデータコピーを利用し、4 つの書き込みクォーラム、3 つの読み込みクォーラムを持っています。書き込みは 全 6つのデータコピーに対して発行され、6 つのコピーのうち4つから ACK が返ってきた時点で書き込みを完全に認めます。もし、そのうちの1つに遅延が発生していたとしても問題ありません。その他のノードが素早く返答し、遅れているノードは、可能な時に追いつきます。もし、ノードのうちの1つが少しの間、利用不能になった場合でも問題ありません。書き込み、読み込み能力が失われることはなく、そのノードも回