MySQLではcharacter set（以後、charset）やcollationをグローバル、データベース、テーブルやカラムレベルで設定することができます。今回はMySQLのデフォルトcollationの注意点を紹介したいと思います。使用するMySQLのバージョンは8.0.26です。 charsetやcollationとはなにかについては説明はしません。よって、charsetやcollationについてご存知ない方は、先にマニュアル「第10章 文字セット、照合順序、Unicode」をご確認ください。 charsetやcollationの各レベルの設定方法 グローバル 以下のシステム変数を設定します。 character_set_server… サーバーのデフォルトのcharset collation_server… サーバーのデフォルトのcollation データベース CREATE

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

課題 brew --cask でMySQL Workbench 8.0.32にアップデートした際、以下の問題が発生 データベースには接続できる テーブルは見えている SQLで問い合わせすると結果を表示する異常終了する 結論 ダウングレードする 手順 ダウングレードのバージョンのハッシュ値を探す cd /opt/homebrew/Library/Taps/homebrew/homebrew-cask/Casks git log mysqlworkbench.rb

この記事ははてなデベロッパーアドベントカレンダー2015の12月24日の記事です。 昨日は id:stefafafan さんのエンジニアと英語でした。 こんにちは、こんばんは。 クリスマス・イヴですね、皆さんはどのような一日を過ごされる(た)のでしょうか。 僕は一人です。 改めまして、先日初めての合コンを経験/失敗して二度と行かないと誓った はてなの id:ichirin2501 です。今回は小ネタとしてMySQL(InnoDB)のBULK INSERTにおけるデッドロックの話をしようと思います。ただ、外部キー制約が絡むと複雑になるので今回は触れません。それについてはこちらを参照ください。 あ、タイトルはオマージュです*1。 Topic 検証環境 INSERTのデッドロック 避けられないケース もしくはロックする リトライ処理に注意 初期データ Duplicateの場合 Deadlockの

起こったこと transactionモードで作業途中、セッションが切れた。 そのとき特定tableにinsertをしたがcommitしていない状態だった。 後ほど再度そのtableをselectしたが、当然commitしていないのでデータがなかった。 しかしinsertしようとすると、 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction というエラーが表示され失敗した。 原因 transactionがロックを取得したまま放置状態になっていたために発生した。 対処 基本方針は show processlist; と show innodb status; の結果を見比べてそれっぽいthread見つけて kill [thread id] する。 show processlist; してみると、今回

前置き MySQL 5.1で、InnoDBなデータベースを使って何かを開発している最中には、トランザクションがコミット(またはロールバック)される前にプログラム側の処理が(Fatal errorなどで)異常終了したりして、トランザクションがロックを取得したまま放置状態になってしまうことがよくあるらしい(謎)。 そんな時、MySQLのコマンドラインから更新クエリを発行すると、しばらく後に次のようなエラーが返ってくることがある。 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 一応参考までに書いておくと、このエラーが返ってくるまでの時間は、次のコマンドで知ることができる。 mysql> show global variables like 'innodb_lock_wait_timeout';

こんにちは。 開発チームのフリー素材担当、まんだいです。 かなり出遅れてますが mysqldump の後継ツールとなる mysqlpump を使ってみたので、まだ使ったことがない人向けにオススメポイントをまとめてみました。 さすが後継というべきか、基本的なオプションの使い方はそのままで mysqldump から移行してきた人にも優しい設計になっていましたので、ぜひ使ってみてほしいと思いました。 MySQL に同梱されているのがポイント高いですよね。 これだけでも乗り換える価値がある、進捗表示 今回試したデータベースはせいぜい 200MB 程度のものなのであまり恩恵はなかったですが、 mysqlpump はダンプの進行具合を逐一表示してくれます。 mysqlpump -uroot -p --databases xxxxx > xxxxx_20XX0X0X.sql Enter password

問題 今、10GBぐらいあるダンプファイルをMySQLのデータベースにリストアしているんだけど、 いったいいつ頃終わるんでしょうね？ 答え１ 私がよく触るある環境では1GBあたり2分ぐらいかかります。 そんな感じで、いつも作業するときに、時間を気にする癖をつけておくとよいです。 SSDとHDD、物理サーバーとクラウド環境などで違うと思うので、日ごろから気にしておくのが良いです。 答え２ ダンプを投入するMySQLが、バイナリログが出力される設定になっていたら、バイナリログの容量が目安になります。 MySQLのダンプファイルはSQLのテキストデータで、バイナリログも実行されたSQLが書かれていくので、投入が終わるころには、バイナリログがだいたいダンプファイルの容量分増えます。 15分でバイナリログが5GB増えていたら、10GBのダンプが入り終わるのはあと15分、トータルで30分ぐらいかなと予

この記事は「MySQL Casual Advent Calendar 2018」21日目の記事です。 qiita.com 9日目の記事としてこちらも書きました。 masayuki14.hatenablog.com 今回は mysqlpump に関する記事です。 mysqlpump って？ mysqldump の typo じゃないよ mysqlpump は MySQL5.7.8から追加された新しい論理バックアップツールです。 複数のMySQLデータベースをダンプすることができます。 mysqldump の拡張ツールではなく1から新しく設計・開発されたもので、高速化のためにデータベース、テーブルなどのを並列処理でダンプすることができます。 また出力を圧縮したり、進捗を表示するなどの機能もあります。 MySQL5.7で導入された機能を使用しているので、MySQL5.7以上で利用することを前提と

SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet

MySQLには mysqldumpというダンプツールがあります。 基本的な使い方は以下のようになります。 出力形式はSQLのCREATE文とINSERT文になりますが、オプションを指定することで、 csvや tsv形式にすることが可能です。 csv,tsv出力のオプション csv(tsv)で出力するには、 --tabと --fields-terminated-by の2つのオプションを使用します。 --tabオプション ファイルの出力先ディレクトリを指定するオプションです。 --tab=/tmpと指定すれば、/tmp以下にファイルが出力されます。 このオプションは、csv(tsv)形式で出力する場合は必須です。 --fields-terminated-byオプション 区切り文字を指定するオプションです。 デフォルトはタブになりますので、tsvファイルで出力する場合はこのオプションは不要です

MySQLでテーブルをコピーします。 以下の2つのパターンのそれぞれの特徴についてメモします。 パターン1 CREATE TABLE newtable LIKE oldtable; INSERT INTO newtable SELECT * FROM oldtable; パターン2 CREATE TABLE newtable SELECT * FROM oldtable; テーブルをコピー CREATE TABLE ... LIKE 構文 構文 試してみる CREATE TABLE ... SELECT 構文 構文 試してみる 参考ページ テーブルをコピー MySQLでは大きく2つの方法があり、それぞれ特徴があります。 １つずつ試してみたいと思います。 今回はコピー元のテーブルとして以下のテーブルを用意しました。 /*-- コピー元のテーブル --*/ CREATE TABLE foo(

１．１　インデックスとは インデックスとは、データベース内から特定のデータを検索しやすくするための仕組みです。 インデックスにはいくつか方式がありますが、MySQLで使われているのはB-Treeという方式です。B-Treeの仕組みをざっくりと説明すると、インデックスを貼られたカラムは検索しやすいようツリー構造に加工され、テーブル本体とは別の場所に保存されます。検索する際にはその加工したデータの方を見に行くことで、高速化を図っているのです。 １．２　インデックスを貼るメリット インデックスを貼るメリットは、先ほど述べたとおり検索の高速化です。適切なカラムにインデックスを貼っておくことにより、インデックスなしの状態よりかなり高速化することができる場合があります。ただしインデックスを貼る対象はなんでもいいというものではなく、どんなSQL文を多用する予定であるかを考え、実行計画を確認しながらきちん

Lookup: where col = 1 のような等価比較 VISUAL EXPLAIN でインデックスの挙動を確かめる（本題） 本題です。青→赤の順にコストが大きいことだけ分かっていれば、詳細に見方を覚えなくても使えます。 今回使うのは下の2つのテーブルです。どのユーザがコンバージョンしたかを持っておく cv テーブルと、それが紐付く広告の ad テーブルです。 今回実験のためにざっくり作成したデータについて下に列挙します。 インデックスは簡単のためこの時点で PRIMARY KEY のみ cv は約100万件、 ad は約4000件 cv の status と ad の type はそれぞれ10種類で偏りなし 時刻を保存するカラムは UNIX TIME でここ一ヶ月のデータを格納 ER 図はせっかくなので MySQL Workbench で出力しました。 Workbench は外部キ

MySQL ワークベンチで、時間かかるプロシジャなどを実行していると Error Code: 2013 Lost connection to MySQL server during query 600.135 sec となってしまうことがある。 こういう場合、設定でSQLEditer の中のMySQL Session のDBMS connection keep-alive が 600 になっているのでこれを大きくする。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?