はじめに Postgres には JSON/JSONB というデータ型がありますが，JSONB はデータをバイナリ形式で格納するためインサート時に変換のオーバーヘッドがあるものの，その後の処理が非常に高速である上に，インデックスを貼ることができるため，実用上は JSONB を使うのが一般的です． 一方で，そもそも RDB のようなスキーマの厳格な型付けをしているシステムで半構造化データである JSON を扱うこと自体がアンチパターンであるという指摘もあります． しかしながら，適切に設計，運用することで厳格な RDB で柔軟なデータを扱うことができ，アプリケーションの表現の幅を広げることができます． 本記事では，JSONB を可能な限り安全に扱うための実践的な工夫を紹介します． JSON Schema を使ったバリデーションを Check Constraint にする Postgres では

InexedDB は組み込みのデータベースで、localStorage よりも遥かに強力です。 key/value ストレージ: 値は何でもよく、複数のキーの型があります。 信頼性のためのトランザクションをサポートします。 キー範囲のクエリ、インデックスをサポートします。 localStorage よりもずっと多くのデータを格納することができます。 通常、この機能は伝統的なクライアント-サーバアプリケーションには過大です。IndexedDB は、ServiceWorkers や他のテクノロジーと組み合わせるオフラインアプリケーションを想定しています。 仕様 に記載されている IndexedDB のネイティブインターフェースは、イベントベースです。 idb のように、promise ベースのラッパーを使って async/await を使うこともできます。これは非常に便利ですが、ラッパーは完璧

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全

PostgreSQLのソースコードをWebAssemblyバイナリとしてビルドしたことで、Node.jsなどのJavaScriptランタイムやWebブラウザ上で（ほぼ）フル機能のPostgreSQLを実行可能にした「PGlite」が公開されました。 PGliteはPostgreSQLのCのソースをEmscriptenでコンパイル PostgreSQLはオープンソースの代表的なリレーショナルデータベースであり、C言語で開発されています。 PGliteはこのPostgreSQLのCのソースコードのビルドにEmscriptenコンパイラを使用してWebAssemblyバイナリとして出力、JavaScript/TypeScriptからライブラリとして呼び出せるようにしたものです。 ただしEmscriptenでコンパイルされたプログラムは新しいプロセスをフォークできないため、PGliteはPostg

Do You Really Need Redis? How to Get Away with Just PostgreSQL There’s a tried-and-true architecture that I’ve seen many times for supporting your web services and applications: PostgreSQL for data storage Redis for coordinating background job queues (and some limited atomic operations) Redis is fantastic, but what if I told you that its most common use cases for this stack could actually be achie

新バージョン（Ver.3.0.0）公開！ SQLを使ったデータベースの操作、作成、管理について、実習形式で基礎から学習できる教科書です オープンソースデータベース標準教科書は、データベース初心者を対象にSQLを使ったデータベースの基本的な操作から一歩進んだ使い方までを実習形式で解説している学習テキストです。 PostgreSQLの基本操作から体系的に解説をしているので、教育機関はもとより企業でのPostgreSQLの研修用テキストとして多く利用されているほか、「OSS-DB技術者認定試験 Silver」の学習にも役立てることができます。 （注：出題範囲の全てを網羅しているわけではありません。OSS-DBの受験対策は、LPI-Japan OSS-DB認定教材をご利用ください。） 今回のVer3.0.0へのバージョンアップでは基準となるデータベースをPostgreSQL 13にアップデートし、

-------------------------------------------------------- -- users テーブルについて、部署・役職・作成日ごとに件数を集計する -- (MySQL用) -------------------------------------------------------- SELECT u.department_code `部署コード`, u.role_code `役職コード`, DATE_FORMAT(u.created_at, '%Y-%m-%d') `作成日`, COUNT(*) `人数` FROM users u GROUP BY u.department_code, u.role_code, DATE_FORMAT(u.created_at, '%Y-%m-%d') ORDER BY u.department_code ASC

本番環境ではDBはコンテナ化することは少いと思いますが、諸事情によりメモ。 前知識 Docker環境でPostgreSQLを扱う場合に事前に知っておいたほうが良い知識。 /docker-entrypoint-initdb.d/ PostgreSQLのイメージ(MySQLも）では、/docker-entrypoint-initdb.d/以下に置かれたファイルを起動時に実行する仕組みがあり、これらを利用してDBの初期設定・初期データの作成などを行うことができる。 サーポートされている拡張子は.sh, .sql, .sql.gzみたい。 /var/lib/postgresql/data PostgreSQLのデータ保存場所のパスは/var/lib/postgresql/dataとなる。これをローカルにマウントしてデータの永続化を行う。 基本 起動 まずはシンプルにPostgreSQLをDocke

sailで作ったpostgresのデータベースに接続する sailでのlaravelのインストール 終わっている方は飛ばしてください。

pg_stat_activityとは？ サーバプロセスあたり1行の形式で、状態や現在の問い合わせなどのプロセスの現在の活動状況に関連した情報を表示する。 pg_stat_activityはシステムの現在の状態を表示するための定義済みのビューの一つであり、その中でも動的統計情報ビューです。 動的統計情報ビューはセキュリティ制限があり、一般ユーザーは自身のセッションに関する全情報だけを参照できる。他セッションに関する行では多くの列がNULLになる。 pg_stat_activityの実行結果 pg_stat_activityの実行結果は以下のとおり それぞれのカラムの詳細については「pg_stat_activityのカラム」を確認して下さい。 postgres=# select * from pg_stat_activity where datname = 'postgres'; -[ REC

SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre

米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）は2023年11月27日（米国時間）、年次イベント「AWS re:Invent 2023」の初日の基調講演で、サーバーレスのデータベース（DB）に関する新機能を3種類発表した。独自開発の新しいハイパーバイザー「Caspian」が使われている。 27日に講演したのは、AWSのPeter DeSantis（ピーター・ディサンティス）シニア・バイス・プレジデント（SVP）だ。ディサンティスSVPは例年、独自ハードウエアについて講演しているが、今年はサーバーレスのDBに関連する新機能と、それを実現するためにAWSが独自に開発した新技術について多くの時間を割いて解説した。

※この投稿は米国時間 2023 年 9 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび Google は、Firestore の新しい 2 つの障害復旧機能としてポイントインタイム リカバリ（PITR）とスケジュール バックアップをリリースいたしました。これらの機能は、人的エラーや障害からデータを保護します。 これは、Firestore の自動化された冗長なデータ レプリケーションに加えて、RPO と RTO が 0 であることを示すレプリカのフェイルオーバーにより、サービスで最高 99.999% の SLA 可用性を保証できるようにします。 ポイントインタイム リカバリでは、過去 7 日分のデータのバージョン管理やクエリを行い、必要なデータをデータベースに書き戻せるようにすることで、誤った削除や書き込みからデータを保護します。 スケジュール バッ

trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ

更新日: 2023年9月29日 2023年秋にリリース予定となっている PostgreSQL 16 の新機能や性能向上、非互換変更点の主要なものについて動作検証を行った結果を報告します。 本検証レポートは実施手順をコマンドレベルで記載しているため、PostgreSQL 16 の新機能を実際に動作させて確認したい方のガイドブックとしても活用できます。 PostgreSQL 16 の主要な強化点は以下の通りです。 性能向上 パラレルクエリ対応追加 ウィンドウ関数の最適化 同時データ投入の性能向上 SIMD CPUアクセラレータ対応 SQL機能 SQL/JSON 対応 整数リテラル表現の追加 ICU照合順序の拡張 ロジカルレプリケーション機能追加 スタンバイ上でのパブリケーション トランザクションの並列適用 双方向ロジカルレプリケーション クライアント機能 libpqロードバランス psqlで拡

背景 ER図の作成にはMySQL Workbenchを使っていたのですが，モデルファイルをgitで管理するには不向きでした．MySQL Workbenchで作成されたモデルファイルではコミットログを見ても差分が分からなかったためです． そこで，自動生成できると噂があったtblsを使ってみました． 今回できたものはこちら 環境 OS: MacOS DB: MySQL8.0 インストール 公式にある通りにすればOKです．僕はMacなのでbrewでインストールしました． DBとテーブルを準備 ER図は立ち上がっているDBから情報をとってきて作成されます． まずはmysql8.0のデータベースを起動して，サンプルのDBとテーブルを作成しておきます． mysql8.0自体は↓のものを使います（色々な場面で流用できるので，よく使うものはリポジトリ作っておくと便利だと感じました） $ docker im