バルクインサートと比較すると要件が複雑なため、バルクアップデートの実現方法はいくつかあります。 この記事では3つの方法に対して実行速度の違いを比較します。 UPDATE ~ ELT + FIELD UPDATE ~ CASE INSERT ~ ON DUPLICATE KEY UPDATE 要件によっては上記以外の方法でも十分なケースもあるため、以下の条件を設定しています。 レコード毎に違う内容で更新 更新前の値を使用 特定のカラムのみを更新し、他のカラムは変更しない 実際にありそうなケースとしては、ユーザごとにポイントを保持するテーブルがあり定期的に集計処理を走らせてその内容に応じてポイントを加算するようなのを想定してます。 使用するテーブル CREATE TABLE `users` ( `user_id` int(11) NOT NULL AUTO_INCREMENT, `field1

MySQLを使ったアプリ開発や運用に関しての情報は、WebサイトやMySQLに詳しい方が書いたブログ、書籍など様々なところから手に入れることができます。MySQLの新しいバージョンの機能から、APIの仕様やコマンドのオプションの意味、実運用時に役立つTipsなど幅広い情報のありかをご紹介していきます。 日本MySQLユーザ会による日本語での情報発信 1998年にメーリングリストでの情報交換を開始し、2000年には現在の名称である日本MySQLユーザ会（略称：MyNA＝MySQL Nippon Association）として、日本でのMySQLの普及やユーザ間のコミュニケーションを図るための活動を行っています。技術情報の交換や質問、イベントのお知らせなどが行われているメーリングリストに登録することで入会となります。MySQLサーバのマイナーバージョンアップのお知らせが掲載されているほか、国内

MySQLには一時テーブルを利用するのに便利なCREATE TEMPORARY TABLE構文があります。これは利用しているセッション内だけで有効なテーブルを作成し、セッションが閉じたときに自動的にテーブルが削除される構文になります。 今回はCREATE TEMPORARY TABLE構文の挙動を確認していきましょう。なお、一時テーブルはInnoDB, MEMORY, MyISAM, MERGEストレージエンジンで利用可能ですが、今回は前提としてMySQL 8.0.17のInnoDBでの利用となります。 CREATE TEMPORARY TABLEを使って一時テーブルを作成する 一時テーブルを利用するには、CREATE TEMPORARY TABLES権限を持つユーザーがCREATE TEMPORARY TABLE構文を実施する必要があります。CREATE TEMPORARY TABLES

MySQL で max_allowed_packet を超過した場合にどうなるんだっけ…と思って試してみた結果。 サーバーの max_allowed_packet をクエリが超過した場合 MySQL 5.6 サーバー起動 % docker run --name mysql56 -e MYSQL_ALLOW_EMPTY_PASSWORD=yes -d mysql:5.6 --max-allowed-packet=100000 クライアントは原因がわからないけど切断される % ruby -e 'puts "set @a="+"1"*1000000' | docker exec -i mysql56 mysql ERROR 2006 (HY000) at line 1: MySQL server has gone away サーバー側はログ出力なし % docker logs mysql56 .

はじめに こんにちはこんにちは！ KMC の魔法少女nona7(nonamea774) です. 最近はクッキーを増やして過ごしています. この記事はKMCアドベントカレンダー2013の9日目の記事です. 昨日の記事はpossumさんの指紋の話でした. さらにこの記事は, KMCアドベントカレンダー2013のサブカレンダーであるSSHアドベントカレンダー2013の2日目の記事でもあります. 日頃SSHに親しんでいる部員による、SSHの基礎知識、ツール、Tips等を紹介して参りますので、初心者の方から上級者の方までご笑覧いただければ幸いです. KMCアドベントカレンダー9日目, SSHアドベントカレンダー2日目の今回は, 楽しいトンネルの掘り方についてのお話をします. トンネル掘ってあっちこっち(Lオプション) 例えば のような, インターネット側からはSSH サーバしか見えなく, SSH サ

せっかくのGWなので、おもちゃを作りました。 Query Review Helperです。 github.com 背景 最近MySQLで実行されるクエリをレビューするタスクが異常に多くなってきました。 開発者の全員がindexやjoin, partition, limit offsetなどなどのハマりどころを知っているというのが理想ではありますが、そうも行きません。 大体EXPLAINをかけてtable scanになっていないか、sortやlimit offsetで劇的に重いクエリがないか確認すれば、すぐに問題になるようなことはありませんがいくつか問題があります。 複数のサービスを横串に見ていると各サービスのテーブル設計の詳細を知らない 大きいサービスだとテーブル数やカラム数が異常に多い(数百テーブル, 各テーブルに数十カラムとFKが、、、とか) tableやcolumn, subquer

MySQL Weeklyでは1週間ごとにMySQLのrelease-note, bug, official blog, organizationによるblog, 個人のblogをまとめ紹介しています。 更新は月曜 10時(AM)です。先週一週間のMySQL関連の更新を再確認するのにご活用ください。 また、このブログ記事はGitHub上で管理されていますMySQL-weekly repository。Issue, pull-request歓迎です。(完全に同期できているわけではありません) お知らせ 本日の記事をもってMySQL Weeklyは最後の記事になります。 理由はメンテナンスコストが高いように感じるので、今後は読んだ記事で理解したことや実験したことだけを中心にアウトプットしたいためです。 そういった今後の内容はtom__bo's blogの方にまとめる予定なので、こちらを見ていただ

【外部サーバからデータベースサーバにアクセスするイメージ】 ですが、別のサーバにある MySQLにアクセスをする場合は、アクセスを受ける側のサーバの データベース・テーブルへのアクセス権限設定 MySQLへのアクセス制限設定 MySQLが利用するポートの開放設定 ファイアウォールの制限設定 が適切に行われている必要があります。 いずれか一つでも設定できていなければ、アクセスができません。 別サーバからアクセスして接続を確認 まず最初に、別サーバからアクセスできるか確認をしてみます。 また、MySQLコマンドを実行するには、アクセスをする側（外部サーバ側）にも MySQLが入っている必要があります。

福岡オフィスの梶原です。Amazon Linux2にMySQLクライアントを入れる機会があったのですが Amazon Linux2標準のリポジトリはMariaDBを参照していたりして、ちょと癖があり MariaDB 5.5 MariaDB 10.2 MySQL 5.7 MySQL 8.0 のMySQLクライアントをインストールする際のそれぞれのコマンドと、勢いでAnsibleのプレイブックを作ったので公開します。 ※注意 MySQLの標準リポジトリ利用は無保証となります。使用する際は検証等は十分にされてください。 前提条件 2019/05/20 時点の情報です。リポジトリの更新タイミング等でインストールされるバージョンは変わる可能性があります MariaDB 5.5 コマンドライン #Extras Libraryをdisableに(有効にしたことがなければ不要です) $ sudo amaz

information_schemaを利用した権限リスト作成 MySQLで、存在するユーザーと権限の一覧が欲しいとき、 rootユーザーで以下のコマンドを実行すると簡単に確認できます。 シンプルなクエリ SELECT * FROM information_schema.user_privileges; -- グローバルレベル権限のリスト SELECT * FROM information_schema.schema_privileges; -- データベースレベル権限のリスト SELECT * FROM information_schema.table_privileges; -- テーブルレベル権限のリスト SELECT * FROM information_schema.column_privileges; -- カラムレベル権限のリスト -- グローバルレベル権限のリスト SELEC

mysqlのselectの結果をcsvで出したい場合。 よく、 MySQL CSVファイル出力 - 雑想空間 SELECT * FROM table_name INTO OUTFILE "/tmp/sample.csv" FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"';こんな事やってたんですが、結果が数行とかの時は、remote上からscpなんかでfile移動するのが面倒でした。 コマンドライン上でカンマ区切りとかに mysql -uuser database -p -e 'SELECT id,a_id FROM test limit 10' -B | sed -e 's/\t/,/g' id,a_id 1,2 3,4 2,16 7,17 5,24 4,25 6,26 8,28 20,29こんな感じで、コマンドライン上でカンマ区切りで

この記事はMySQL Casual Advent Calendar 2013 3日目の記事です。 はじめに 以前にSELECT ... FOR UPDATEとロックの挙動 - walf443's blogの記事にTwitterで少し言及したんですが、それの補足というか、InnoDBのロックの範囲について僕はこう理解していますよという話です。 MySQLといえば、InnoDBをネットワークサーバとして使うためのフレームワークであり、SQLはInnoDBのインデックスにアクセスするためのDSLといっても過言ではないでしょう。 InnoDBのロックとはつまるところインデックス行のロックなので、InnoDBのロックの範囲を理解するためにInnoDBのインデックスについて少し前置きしておきます(だいぶ端折ったけど長くなった…)。 クラスタインデックスとセカンダリインデックス すでにInnoDBのイン

I often need to install a certain version of MySQL, MariaDB, or Percona Server for MySQL to run some experiments, whether to check for behavior differences or to provide tested instructions. In this blog series, I will look into how you can install MySQL, MariaDB, or Percona Server for MySQL with Docker.  This post, part one, is focused on MySQL Server. Docker is actually not my most preferred way

どうも、今日も今日とて野毛で飲みながらブログを書いている@0kawaraです。 今日は、普段あまり意識してこなかったMySQLのInnoDBでのロックの振る舞いについて色々実験してみました。（もちろん、きっかは自分がドツボにはまったから） ちゃんと理解するためには「共有・排他的ロックとは」って話や、「行ロックってつまりインデックスレコードロックだよね」などの話とか理解する必要があるんですが、それは github.com をちゃんと一読してもらえれば十分かと思います。 （というか、これが問題なく読めて理解できる人はこの記事読む必要ない….） 以下は上のドキュメント含め関連する記事などを読んで自分でInnoDBの行ロック周りについて、というかSELECT FOR UPDATEについて理解を深めるために手元で実験したことのまとめです。 技術的にちゃんとした理解を深めたい人は最後にまとめた参考サイ

MySQL Weeklyでは1週間ごとにMySQLのrelease-note, bug, official blog, organizationによるblog, 個人のblogをまとめ紹介しています。 更新は月曜 10時(AM)です。先週一週間のMySQL関連の更新を再確認するのにご活用ください。 また、このブログ記事はGitHub上で管理されていますMySQL-weekly repository。Issue, pull-request歓迎です。(完全に同期できているわけではありません) お知らせ 本日の記事をもってMySQL Weeklyは最後の記事になります。 理由はメンテナンスコストが高いように感じるので、今後は読んだ記事で理解したことや実験したことだけを中心にアウトプットしたいためです。 そういった今後の内容はtom__bo's blogの方にまとめる予定なので、こちらを見ていただ