AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの？〜 その１ - MNTSQ Techブログ
はじめに スキーマ分離と行分離 目的と結論 目的 結論のサマリ 試験内容 試験環境とツール 負荷の設計 本番環境でのクエリ傾向の分析 QPSの測定 進め方 試験結果 スキーマ分離のボトルネック スキーマ数を固定して負荷をあげてみる 結果まとめ なんとか延命したい はじめに 弊社が採用しているDB設計は、テナントごとに独立したスキーマを持つ「スキーマ分離」 のデータ構造に基づいています。このアーキテクチャは、高いデータ分離性とセキュリティを確保できる一方で、「スキーマ数の増加に伴ってパフォーマンスが劣化する」という性質が指摘されます。 サービスのスケールにおいてこの「性能劣化」が、いつ、どのように顕在化するのかは、設計上の大きな課題でした。この漠然としたリスクを定量的に評価し、将来的な「行分離」アーキテクチャへの移行の是非を判断することを目的に、負荷試験を実施しました。 本記事では、この試験
第160回 pt-show-grantsを使ってユーザアカウントを移行する | gihyo.jp
今回は本連載において何度か登場しているPercona Toolkitのツールの1つ、pt-show-grantsについて紹介したいと思います。Percona Toolkitのツールに関しては、過去に以下の記事があります。インストール方法などもそちらで説明していますので、併せてご確認ください。 第9回 pt-query-digestを使って遅いクエリーを発見する 第116回 pt-upgradeを使ってインデックスチューニングの成果を確認する 第156回 pt-archiverを使って部分的にテーブルから情報を取得する 今回使用するPercona Toolkitのバージョンは、2021年11月時点で最新の3.3.1です。MySQLは8.0.26を使用しています。 pt-show-grantsを使ってみる pt-show-grantsは指定したMySQLに登録させているユーザアカウント一覧を出
AWS RDSにmysqldump: Couldn't execute 'FLUSH TABLES WITH READ LOCK': Access denied for userが出て接続できなくなった - mattintosh note
mysqldump のバージョンを上げたせいか AWS RDS で運用してるデータベースのダンプを取ろうとすると下記のメッセージが出てダンプが取れなくなった。尚、mysql コマンドでは接続できる。 mysqldump: Couldn't execute 'FLUSH TABLES WITH READ LOCK': Access denied for user 'admin'@'%' (using password: YES) (1045) 使用中のバージョンはこれ。 mysqldump Ver 8.0.32 for macos11.7 on x86_64 (Homebrew) 前々から MySQL 8.x 系のクライアントから 5.7 系とかのダンプを取るには --skip-column-statistics と --single-transaction を付けていて問題なかったけど最近
MySQL 8.0のクライアントでMySQL 5.7のサーバーに接続するとcharsetが設定されないかもしれない - かみぽわーる
mysql_options(mysql, MYSQL_SET_CHARSET_NAME, cs_name) だけして mysql_real_connect(mysql, ...) した後SHOW VARIABLESしてみたら接続のcharsetが設定済みの挙動をするんやけどmysql_real_connectからの一連のコード読んでもどこでそれが起きるのかわからん誰かたすけて🥲https://t.co/ZScoD3tIQ8— Ryuta Kamizono (@kamipo) February 20, 2021 MySQLのハンドシェイクパケットにcollation_idを1バイトだけ入れられるところがあって、charset name のデフォルトの collation_id を送っています。 クライアントとサーバーのバージョンが違うとデフォルトのcollation_idが違うことがあって
DATE PartitionにTO_DAYS()を使うのはやめよう - Qiita
CREATE TABLE `presents` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `user_id` int(10) unsigned NOT NULL, `present_id` int(10) unsigned DEFAULT NULL, `created_at` datetime NOT NULL, PRIMARY KEY (`id`,`created_at`), ) ENGINE=InnoDB DEFAULT CHARSET=utf8 PARTITION BY RANGE (TO_DAYS(created_at)) (PARTITION p201402 VALUES LESS THAN (735658) ENGINE = InnoDB, -- 省略 PARTITION p201409 VALUES LESS THAN
「MySQL徹底入門 第4版」が出るよ - tmtms のメモ
「MySQL徹底入門 第4版」が 7/6 に発売される。🎉 www.shoeisha.co.jp 電子書籍は翔泳社の直販がDRMフリー(たぶん)だからオススメ。 著者用見本誌も届いたので、さすがにこれからやっぱり発売できませんでした！ってことにはならないと思う。 長かった。 本当は去年出る予定だったんだが、なんやかんやで今年になった（よくある）。 第3版が出たのが 2011年だから、実に9年ぶり！ 偶然にも第3版と同じ 544ページなんだけど、1ページ辺りの文字数は増えているので情報密度は増しているはず（そしてその分価格も上がってる）。 (ただしくは552ページらしい。) 「MySQL徹底入門」は第n版が出るたびに、毎回ほとんどを書き下ろしてるし、複数人で書いてるんだけど、書いてる人も入れ替わるし担当する章も変わる面白い本。 自分は、今回は第5章「ユーザー管理」、第10章「データベースプ
MySQL のチューニング (ボトルネックの検出) - onk.ninja
MySQL のチューニング (ボトルネックの検出) こんにちは！ onk です。 SAPさんが各社とも「ソーシャルアプリは負荷対策が大事」って言っていますね。 弊社でも mixi アプリ(PC)，mixi アプリモバイルをリリースしたときはお祭り状態だったので， ふりかえりも兼ねて MySQL のボトルネックを調べる方法を書いてみました。 (幸い，モバゲーオープンゲームのリリース時はこれらの経験が役に立ったので何ともなかったです) といっても 9 割方 そもそもサーバの設定がおかしい 更新が多いテーブルなのに MyISAM エンジン for 文の中でクエリを発行 INDEX 張ってない データ量がえらいことになってる 辺りなんですけどねー。 基本は下から まず，ボトルネックを調べるときは下の層から上がっていくのが基本です。たぶん。 なので ssh でサーバに入って (LoadAverage
mysql locahost の接続では、unix socket かTCPかを明示しないとsock エラーで混乱した - それマグで！
ローカルホストのmysql に接続するときに、次のようにすることが多かった。 mysql -h localhost 正直、これでつながってるから、TCPだと思ってた。 でも、繋がらないので驚いた。エラーをよく見るとmysql.sockって書いてある。 あれれTCP/IP接続じゃなーい？ ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 衝撃の事実。いままでTCPだと思ってたものは unix socketでした。 今日ね、mysql をポート別にdocker で３つ起動てlocalhost側にdocker から公開したんですよ。 つながらないんです。 アレレと思って調べてたら。mysql は localhost には明示しない限りUNIX ドメインソケットで
MySQL開発陣にあらためて聞く、 DX時代におけるバージョン 8.0のポイント
MySQL開発陣にあらためて聞く、 DX時代におけるバージョン 8.0のポイント：MySQLはデジタルビジネスに何をもたらすか グローバルで高いシェアを誇るオープンソースソフトウェアのMySQL。2018年4月、バージョン8.0が提供されてから、多数の情報が各種メディアで公開されてきたが、DX（デジタルトランスフォーメーション）の文脈では何がポイントになるのか、今あらためて、開発陣にアップデートの意図を聞いた。 MySQL 8.0はどこに向かうのか、開発部隊に聞く 2018年4月にOracleから正式にリリースされたMySQLの最新バージョン8.0。従来の5.7から大幅な機能強化／追加が行われ、バージョン番号も大きく飛躍した。商用版のMySQL Enterprise Editionの公式ページには8.0について次のような紹介文が並ぶ。 「MySQL 5.7よりも最大2倍高速」「最も要求の厳
MySQLをAWS RDSで使うときに注意すること - なからなLife
MySQL Casual Advent Calendar 2018 - Qiita 14日目の記事です。 MySQLネタで書くと、Casualといいつつ、わりとCasualじゃない話になりがちなので、Casualレベルのお話を。 いや、あんまり優しくない制限の話なんだけど。。。 AWS Relatioal Database Service（以降、AWS RDS）でのMySQLのお話。 OS層に触れない AWS RDSの基本中の基本。DB as a Serviceということもあり、SSHでサーバOSにログインできません。 MySQLプロトコルをおしゃべりできるクライアントでMySQLユーザーとして接続してください。 NWの疎通確認用にtelnetやvcコマンドでの接続は一応許されてます。 OS層に触れないので、この辺も必然的に使えません。 トランスポータブル表領域 標準提供以外のプラグインの
非公式なmysql-upgrade-checkerをMySQL5.5で試してみる - 41から始めました
このエントリーは MySQL Casual Advent Calendar 2018 の5日目の記事です。 そもそもMySQL Upgrade Checkerって？ 今まではリリースノートを読んで、つぶさに問題点を洗い出して、現行のDB環境に問題が無いかを人手にチェックしていました。 それをMySQL5.7の場合にMySQL8.0にアップグレードする場合に限って、Oracle社が公式にアップグレード時のチェックツールを作りました。 (Oracleデータベースとかだと昔からあるんで、その文化がMySQLにも入ってきた感じですね) 現在のUpgrade Checkerでは以下のようなことがチェックできる 古い temporal type の使用 DBのオブジェクト名と予約語の競合 utf8mb3キャラクタセットの使用 mysqlスキーマの予約されたテーブル名 64文字を超える外部キーの名前 廃
MySQLの文字コード事情 2017春版
Документ обсуждает проблемы и особенности кодировок в MySQL, включая различия между character set и encoding. Он детализирует различные кодировки, такие как utf-8 и utf-8mb4, и разбирает, как правильно настраивать кодировки для серверов и клиентских соединений. Также рассматриваются проблемы, связанные с использованием японских символов и многобайтовыми символами, включая emoji.
MySQL 5.7のmysqld --initializeと鶏卵問題 - （ひ）メモ
MySQLのデータディレクトリの初期化にはこれまで mysql_install_db が使われてきましたが、MySQL 5.7からは mysqld --initialize を使うことが推奨されています。 mysqld --initialize は datadir 配下にファイルやサブディレクトリがあるとエラー終了します。 # mysqld --initialize --user=mysql 2016-10-04T11:39:01.313174Z 0 [ERROR] --initialize specified but the data directory has files in it. Aborting. 2016-10-04T11:39:01.313222Z 0 [ERROR] Abortingなので datadir をスッカラカンにして再度実行してみます。my.cnf はこんな内容
MySQL 5.7 をインストールしたら最初に行うセットアップ |
前稿では「MySQL 5.7 を CentOS 7 に yum インストールする手順」について解説しました。 本稿では、MySQL 5.7 をインストール後に行うべきセットアップについて解説します。 MySQL 5.7 の root ユーザーの初期パスワードを知る MySQL 5.7 では、初回起動と同時に root ユーザーにランダムな文字列がパスワードとして設定されます。 設定されるパスワードはインストールを行う度に全く違うものです。 それでは設定されたパスワードは何なのでしょうか？ 初期パスワードは MySQL のログファイルに出力されています。 ログファイルは、CentOS だと /var/log/mysqld.log です。 ログを開くと次のようにパスワードが記載されています。 [Note] A temporary password is generated for root@l
#MANABIYA に行ってきました
2026 ( 1 ) 2月 ( 1 ) 2025 ( 26 ) 12月 ( 5 ) 9月 ( 1 ) 7月 ( 3 ) 6月 ( 4 ) 5月 ( 1 ) 4月 ( 6 ) 3月 ( 4 ) 2月 ( 2 ) 2024 ( 30 ) 12月 ( 5 ) 11月 ( 1 ) 9月 ( 4 ) 8月 ( 2 ) 5月 ( 1 ) 4月 ( 3 ) 3月 ( 6 ) 2月 ( 1 ) 1月 ( 7 ) 2023 ( 20 ) 12月 ( 3 ) 11月 ( 3 ) 10月 ( 1 ) 8月 ( 1 ) 5月 ( 2 ) 4月 ( 2 ) 3月 ( 3 ) 2月 ( 5 ) 2022 ( 27 ) 12月 ( 5 ) 10月 ( 1 ) 9月 ( 1 ) 8月 ( 5 ) 7月 ( 4 ) 6月 ( 3 ) 4月 ( 1 ) 3月 ( 3 ) 2月 ( 2 ) 1月 ( 2 ) 2021 ( 22
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL range partition VS range columns partition
https://developer.hatenastaff.com/entry/2019/01/15/120431
日々の覚書: マイエスキューエルにはPerl Mongerが必要かもしれないはなし
文字コードの違うDBの移行（latin1からUTF8へ） | Harder, Better, Faster, Stronger
MySQL <= 5.7.10からMySQL >= 5.7.11に乗り換えるだけでdefault_password_lifetimeの呪縛から逃れられる理由
{{#tags}}- {{label}}
{{/tags}}