⚓ utf8の4バイト文字問題は突然に こんにちは、hachi8833です。 MySQLのデータベースでencoding=utf8が指定されていると、UTF-8の文字長が4バイトの文字をデータベースに保存できなくなる、いわゆるUTF-8の4バイト文字問題、またの名を「寿司ビール問題」が発生することがあります（「MySQLのutf8の4バイト文字問題とは」で後述）。 BPSWebチーム部長のmorimorihoge さんがこの問題に対応したときの手順をメモします。 ⚓ utf8からutf8mb4に移行する手順 MySQLのストレージエンジンはInnoDBが前提です。utf8mb4を指定するにはMySQLのバージョンが5.5以上である必要があります。 ⚓ 1. 以下のコマンドでdumpを取る mysqldump --no-create-info --ignore-table=mydata_st

はじめまして。プロダクト開発部に所属しているエンジニアの姚です。 今回は「Reader Store（運営：株式会社ソニー・ミュージックエンタテインメント）」のDBをAurora1からAurora3へアップグレードしたときにアプリケーション側が対応したことを話していきます。 Aurora3導入の背景 Amazon Aurora MySQL 1 (MySQL 5.6 互換) は 2023 年 2 月 28 日にサポート終了となります。 サポート期間が終了する前にアップグレードしないといけません。 また、Aurora MySQL 2 (MySQL 5.7 互換) は 2024 年 10 月 31 日にサポート終了となります。 ＊2022年11月時点、最新の情報は下記公式ページにご参照ください。 Amazon Aurora メジャーバージョンが利用可能な期間 Aurora2にアップグレードしても、

MySQL 5.6から、AWS Aurora MySQL へ移行後にクエリのパフォーマンスが低下したため原因を調査 色々メモリ関連のオプションなどを調整したが、解決できず以下の文言を発見 通常、デフォルト値が推奨されます。オプティマイザによるクエリプランが不適切な場合、または推定が誤っている場合は、これらのフラグを調整する必要があるかもしれません。たとえば、optimizer_switch フラグの condition_fanout_filter および derived_merge を無効化することで、5.6 から 5.7 へのアップグレード後の、クエリにおけるパフォーマンス低下を緩和できます。フラグはパフォーマンスに大きな影響を与える可能性があるため、これらのフラグを有効化する前にワークロードを入念にテストしてください。 https://aws.amazon.com/jp/blogs/n

こんにちは、最近ランニングをサボって体重が増えたANDPADのDBRE植木です。 秋にはフルマラソンに再チャレンジする予定なので改めて頑張ります。 今回はGW前にANDPADでAurora MySQL（以下、Aurora）をVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップした件について書かせていただきます。DBMSのバージョンアップで重要なのは９割以上準備作業ですが、スタートアップ企業などでは必要な準備ややっておいた方が良い事などがわからないことも多いかと思います。ANDPADに入社して約一年になりますが、その一年の間に実施した準備の話などにも重みを置いて記事を書いてみました。 ANDPAD及びそのシステムについて AuroraバージョンアップのEOLについて バージョンアップ前にやるべきおすすめ 1. DBのエンドポイント指定をCNAMEにする 2. イン

こんにちは、システム基盤部でソフトウェアエンジニアをしているshmokmtです。 READYFORでは主要のデータベースとしてAurora MySQLを採用しており、 エンジンバージョンは1系（MySQL 5.6 互換）で長年運用をしてきましたが、 先日のシステムメンテナンスで2系（MySQL 5.7 互換）に障害が発生することなくアップグレードすることができました。 今回はその一連のアップグレード作業について書きたいと思います。 corp.readyfor.jp なぜアップグレードするのか Aurora MySQL v1のEOL Amazon Aurora MySQL 互換エディション バージョン 1 (MySQL 5.6 互換) は 2023 年 2 月 28 日にサポートを終了する予定です。 Aurora MySQL v1はEOLが2023年2月28日と決まっており、 それまでにアッ

MySQLでNOT NULLかつデフォルト値を指定しているカラムへのNULLでのUPDATE時の挙動と厳格モードによる挙動の変化 ローカルのMySQLでは特定のカラムアップデート時にエラーが発生するが、他の環境ではエラーが発生しないということが起きました。原因が分かるまで少し手こずったので、その内容と再現方法を書き残しておきます。 エラーとその解決方法 状況 NOT NULLかつデフォルト値を設定したTINYINTカラム(カラムAとする)を含むテーブルに対して、カラムAに対応した値にNULLを設定して1行アップデートを実行。環境Aでは実行成功し、環境Bではエラーが出て実行に失敗。 環境A: Aurora MySQL 5.7.12互換 sql_mode: 0(モードの設定なし) 環境B: MySQL 5.7.30 (mysql: 5.7) sql_mode: STRICT_TRANS_TAB

AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y

AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB本体における１スレッドがクエリ処理を行います。 Aur

2020/03/03 実験条件を見直し、加筆修正を行いました。 こんにちは。AWS事業本部のKyoです。 AuroraのDB パラメータグループおよび DB クラスターパラメータグループについて、どちらが優先されるのかイメージしづらかったので、実験してみました。 Auroraのパラメータグループとは Auroraのパラメータグループには以下の二種類が存在します。 DB クラスターパラメータグループ DB パラメータグループ 公式ドキュメントによる定義は以下です。 DB クラスターパラメータグループ DB クラスターパラメータグループのパラメータは、DB クラスター内のすべての DB インスタンスに適用されます。データは、Aurora 共有ストレージサブシステムに保存されます。このため、テーブルデータの物理レイアウトに関連するすべてのパラメータは、Aurora クラスター内のすべての DB

何が起きていたのか クエリのTypeがrangeからフルインデックススキャンに変化していた 原因 range_optimizer_max_mem_sizeというパラメータが追加されていた 範囲オプティマイザで使用可能なメモリを制御するには、range_optimizer_max_mem_size システム変数を使用します。 ・値0は、「制限なし」を意味します。 ・0より大きい値を指定すると、オプティマイザは、範囲アクセス方法を検討する際に消費されるメモリを追跡します。指定された制限値を超えそうになると、範囲アクセス方法は放棄され、代わりにテーブルのフルスキャンを含む他の方法が検討されます。これは最適ではない可能性があります。このような場合、次のような警告が発生します（Nは現在のrange_optimizer_max_mem_sizeの値）。 Warning 3170 Memory capa

坂東です。 ついさっきたまたま知ったんですけれど、MySQLのパラメーターに「sql_mode」なんてものがあるんですね。 SQL実行時にエラーや挙動の制御をしてくれる結構重要そうなやつ。 MySQL5.7のデフォルトは、 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION ※マイナーバージョンでも変わるみたい・・・ MySQL5.6は sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION RDS Auroraは sql_mode=0 Auroraはデフォルト値「なし」です。 なしってのもあれだけどON

5.7のサポート状況＆予測 RDS5.6ののサポート終了アナウンスから推測するに、 5.7もコミュニティがメンテ終了する2023年10月前後にアナウンスがされる可能性が高いです(5.6のとき同様の猶予期間？猶予延長されるか？は未知数ですが)。 バージョンアップに関して Mysqlのメジャーバージョンアップは段階的に行う必要がある Auroraで5.6を使っているプロダクトは、タイムリミットに向けて動きだす頃合いですね。 Mysqlはメジャーバージョンアップをする際は1つ上のバージョンまでしか上げられません。 つまり、5.6から8.0へいきなり移行はできず、5.6 => 5.7 => 8.0 と段階を踏む必要があります。 5.7に上げ作業が終わり次第すぐに8へ移行することもできなくはないようですが、 その分、移行計画はしっかり立てる必要となります。 Auroraでバージョンアップ時のインフラ

はじめに こんにちは、福岡オフィス所属のAWS事業本部サービス部所属の井手です。 MySQL5.7のEOLが2023/10までの為（※Amazon Aurora MySQL バージョン2は現在 2024 年 2 月 29 日予定）、8.0へのバージョンアップを検討されている方も多くなってきているのではないでしょうか。 今回Amazon Aurora MySQLの5.7->8.0のバージョンアップについてインプレイスアップグレードがサポートされたのでご紹介します。 Amazon Aurora supports in-place upgrades from MySQL 5.7 to 8.0 これまで、Amazon Aurora MySQLのインプレイスアップグレードは以下の状況でしたが、今回のサポートされた事で8.0への移行方法の選択肢が増えました。 5.6->5.7（Amazon Auror

ボタンひとつでインプレースメジャーアップグレードに対応 Amazon Aurora MySQL のデータベースエンジンは 5.6 互換の1.x 系 5.7 互換の2.x 系 の2系統があります。 従来、1系から2系にメジャーアップグレードするには スナップショットからのリストア時に2系エンジンを指定 1系のプライマリから2系レプリカに同期してダウンタイム無しにスイッチオーバー といった方針が取られてきました。 今回のアップデートにより、Amazon Aurora MySQLをクリックひとつでインプレースにメジャーアップグレードできるようになりました。 Amazon Aurora supports in-place upgrades from MySQL 5.6 to 5.7 アップグレード手順が大幅に簡略化され、エンドポイントの変更もありません。 アップグレード中はデータベースを利用できな

こんにちは！QA (Quality Assurance) チームの まみー です。入社してもうすぐ3ヶ月。早いものです。 ところでみなさん急ですが… スロークエリ見てますか？ インデックス貼ってますか？ そのインデックス、本当に使われてる？ お話しすること 複合インデックスを作成したのに、別の複合インデックスが使われてしまう。 Why…なぜに… その理由を知ることができる オプティマイザトレースの使い方 をお話しいたします。 すぐに使い方を読みたいというかたは コチラ からご覧ください。 こんなことありませんか？ 実際に以下の現象が発生していました。 1テーブルだけの JOINが遅い 解決のために インデックス貼った インデックス貼ったのに 解決しなかった 実行計画（EXPLAIN）を見たら 違うインデックスが使われていた スライド紹介 2月に開催した Lancers x ROBOT PA

Amazon Web Services ブログ Amazon Aurora MySQL データベース設定のベストプラクティス AWS クラウドで新しい Amazon Aurora MySQL インスタンスを移行または起動した後、以下の質問のうち 1 つ以上を自問したことはありますか? 「次のステップは? どうすれば、最適に動作させることができるでしょうか?」 「既存のパラメータを変更する方が良いでしょうか?」 「どのパラメータを変更すれば良いでしょうか?」 自問したことがあるなら、何をすべきか（そして、何をすべきでないか）について、このブログ記事がガイダンスを提供できることを願っています。 この記事では、MySQL との互換性を持つ Amazon Aurora の設定パラメータについて説明、明確化し、推奨事項を提供します。こうしたデータベースパラメータとその値は、AWS クラウドで新しく作

SREチームの金澤です。 Lancers（ランサーズ） Advent Calendar 2018 5日目の記事になります。 昨日は、inamuuさんのElasticCloudからAmazon Elasticsearch Serviceへの移行して良かったこと大変だったことでした。 今年は、Lancers以外のAdvent Calendarも参加させていただいてます。(以下) PHP Advent Calendar 1日目 Visual Studio CodeでPHPのステップ実行 CakePHP Advent Calendar 5日目 CakePHP実装の隙をついてFORCE INDEXを書いていた話 SRE Advent Calendar 5日目 【SRE】成長するサービスとDB負荷との闘い PHP Advent Calendar 7日目（予定） CakePHP Advent Calen

MySQLの従来のレプリケーションでは、マスターからの更新があった場合、スレーブではシングルスレッドで処理されます。よって、マスターの並列での更新が多いと、スレーブで遅延が発生することがよくあります。最近のMySQLでは、スレーブでの実行を速くするために「マルチスレッドスレーブ」という機能が追加され、並列実行が可能になっています。 今回は、MySQL5.6から追加されたマルチスレッドスレーブ（MTS）について、MySQLのバージョンによる進化と共に紹介します。 MTSについて 前提として、MTSを有効化するには、スレーブでslave_parallel_workersオプションに0より大きい数値を設定します。デフォルトは0（無効）です。 このオプションは、並列で実行するためのスレーブワーカースレッドの数を指定します。SQLスレッドは従来であればスレーブにSQLを実行していましたが、MTSの場