例えば次のようなテーブルがあったとする。 -- PostgreSQL CREATE TABLE history ( id SERIAL PRIMARY KEY, user_id INTEGER NOT NULL, data TEXT, created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ); -- MySQL CREATE TABLE history ( id INT AUTO_INCREMENT PRIMARY KEY, user_id INT NOT NULL, data TEXT, created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ); INSERT INTO history (user_id, data, created_at) VALUES (1, 'First

これは Livesense Advent Calendar 2024 DAY 21 の記事です。 転職会議の池田です。MySQL を 8.0.19 以上のバージョンにアップグレードした際に時間差で発生した Rails アプリケーションの不具合とその対応について書きます。 TL;DR なにがおきたか MySQL 8.0.19 と ActiveRecord の Boolean キャスト 実際に問題となるタイミング どのように対応したか 再発防止のために おわりに TL;DR MySQL 8.0.19 から 整数型の表示幅が表示されなくなることで、 ActiveRecord が tinyint(1) のカラムに対して行っている Boolean キャストが行われなくなる 整数型の表示幅は MySQL をアップグレードしただけでは表示されたままで、ALTER TABLE を実行したタイミングで表示さ

AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です

目次 目次 とある日 環境 検証内容 いざ検証 DATA テーブル構造 データ生成 NULLデータ生成 INDEX作成 INDEX検索 検索速度 否定検索 否定検索速度 検索結果 CHAR テーブル構造 データ生成 INDEX作成 INDEX検索 検索速度 FALSE検索 否定検索 FALSE検索速度 否定検索速度 検索結果 BOOLEAN テーブル構造 データ生成 INDEX作成 INDEX検索 検索速度 FALSE検索 否定検索 FALSE検索速度 否定検索速度 検索結果 検証結果 DATA型 CHAR型 BOOLEAN型 まとめ 〆 とある日 mita2db.hateblo.jp この記事を見てて。 論理削除に使用するフラグ列deleted_atの型をTIMESTAMP型で定義してた。 そしてis NULLで判定していた。 論理削除をそうやって使用するんだと関心を持った。 論理削除を

SQLの仕様上SELECTで取得できる列の並びが保証されているのはORDER BYが指定されている場合のみです。指定されていない場合の挙動は仕様には定義されていないので、実装依存となります。 そこで実装側を考えると、一定の並びを保証するということはその通りに並び替えるコストが生じることになりますので、ORDER BYを指定しないというのは利用者からすれば余計な処理はするなという意思表示でもあります。従って多くの実装ではORDER BYが指定されない場合は特別に並び替えをしません。 したがって、 指定しない場合は、どういう基準で、並び順を決定しているのでしょうか？ という疑問への答えは、「並び順を決定していない」となります。 実際に列の順番がどうなるかはストレージ上の並びかもしれませんしインデックス順かもしれません。実行計画によっても変わるでしょうからエンジンのバージョンにって変わるのも当然

背景などは https://wrsn0.hatenablog.com/entry/2024/02/22/092703 へ

今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します（同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります）。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています（それはそう）。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを

Installing mysql2 0.5.3 with native extensions Gem::Ext::BuildError: ERROR: Failed to build gem native extension. current directory: /Users/myname/.rbenv/versions/3.0.0/lib/ruby/gems/3.0.0/gems/mysql2-0.5.3/ext/mysql2 /Users/myname/.rbenv/versions/3.0.0/bin/ruby -I /Users/myname/.rbenv/versions/3.0.0/lib/ruby/3.0.0 -r ./siteconf20210305-36402-x7wk07.rb extconf.rb checking for rb_absint_size()... y

Firebird 徹底入門 作者: 木村明治,はやしつとむ,坂井恵出版社/メーカー: 翔泳社発売日: 2009/12/10メディア: 大型本 クリック: 19回この商品を含むブログ (11件) を見るこの本の著者の木村さんのブログを読んでいて気になった記事のメモ。 Firebird SQLの人だそうだが、MｙSQLや他のデータベースにも詳しく、ブログで様々なデータベースの話が取り上げられている。 MySQLの複合UNIQUE制約をNULLはすり抜けるが空文字列はすり抜けない キムラデービーブログ MySQLでの一意インデックス(Unique index)の実装について つまり、Firebird(Oracle, PostgreSQL)からMySQLに移行する場合、 エラーとしてはじかれていた(1,null)がはじかれなくなります。 逆に、MySQLからFirebird(Oracle, Pos

こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/

リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者

世の中のデータベースを見ていると、格納するデータの文字数に「191文字以内」という制限が課されている場合があります。一体なぜ191文字という中途半端な数字で制限が行われるのかについて、オープンソースのデータ同期ツールを展開するGrouparooのCTOを務めるエヴァン・ターラーさんが解説しています。 Grouparoo Blog: Why do database columns have a character length of 191? https://www.grouparoo.com/blog/varchar-191 ターラーさんはまず、現代のデータベースシステムでは無制限に文字を格納する設定も可能だとした上で、文字数の制限で検索速度が向上すると説明しています。例えば、メールアドレスの行が「[email protected]」となっているユーザーを見つけたい場合、なんの工夫も無い状

今まで つい最近までは，MySQLの公式DockerイメージはプラットフォームがAMD64のみで，ARM64には対応していませんでした。 そのため，普通にイメージをpullしようとしても，ARM64版のイメージが存在しないよ！とエラーが出てきていました。実際，そのような記事がたくさん…！ ゆえに，MySQLの公式イメージをM1 macで使用したい時は，例えばこちらの記事などのように， のようにしてplatformを明記する（これによりRosetta2を介して起動していたのかな？）か，mysql serverなどの他のイメージを使用する必要がありました。 最近になって… 個人的に，最近コミュニティメンバーとISUCONに参戦したのもあって，DBにPostgreSQLではなくチューニングに慣れたMySQLを使ってみたいなと思ってふと調べてみたら，MySQLの公式イメージがARM64に対応してい

はじめに docker-composeで複数のコンテナを管理するとき、ほぼWebアプリとDBを一緒に使います。 大抵はWebアプリ側にdepends_onでDBのコンテナを指定して起動順序を制御しますが、あくまで起動順序だけなのでDBの起動完了前にWebアプリがDBにアクセスしてしまい起動失敗する事があります。 せっかくdocker-composeで1つにまとめて管理しているのに便利さが半減してしまうとモヤモヤしていたら、公式ではWebアプリ側でチェックせよと解説していました。 depends_on/condition 2021/07/21追記 depends_onで指定したサービスのhealthcheckが通ってから起動できるconditionが追加されました。これを使えばチェック用スクリプトを使わずにすみます。詳しくはDocker Compose の depends_on の使い方まと

version: '3' services: db: image: mysql:8.0.14 restart: always ports: - "13306:3306" volumes: - ./.data/db:/var/lib/mysql environment: MYSQL_ROOT_PASSWORD: root MYSQL_USER: test MYSQL_PASSWORD: test $ docker-compose up -d Creating network "mysql8_default" with the default driver Pulling db (mysql:8.0.14)... 8.0.14: Pulling from library/mysql (省略) Creating mysql8_db_1 ... done $ $ $ docker-compose

Amazon Aurora MySQL 互換エディションが、MySQL メジャーバージョン 8.0 をサポートするようになりました。MySQL 8.0 には、テーブルの作成とロードの全体的なプロセスをスピードアップするためのインスタント DDL などの拡張による改善したパフォーマンス機能とその関連インデックス、および行ロックを解除するその他のトランザクションの待機を避けるための SKIP LOCKED と NOWAIT オプションが含まれています。MySQL 8.0 は、より簡単にクエリの問題を解決するためのウィンドウ機能などのデベロッパー生産性機能、および名前付き一時結果セットの使用を可能にする一般的なテーブル式を追加しています。それには、新しいセキュリティ機能である JSON 機能の追加なども含まれています。Aurora MySQL 互換エディションの MySQL 8.0 は、Glob