こんにちは！Nstockのじゃがです。 NstockではマルチテナントSaaSを開発しており、テナント間のデータ分離にRow-Level Security（RLS）を利用しています。本記事ではRLSの基本から、Nstockでの利用イメージまで、SQL文やアプリケーションコードを交えて解説します。 備考 アプリケーションの実装イメージはSpring Bootですが、多くのフレームワークに存在する機能を利用しています PostgreSQLのRLSについて話しています マルチテナントアーキテクチャとRLS Nstockは初期フェーズであり、人的リソースや金銭的リソースに余裕がありません。テナントごとに異なるDBサーバーやスキーマを用意するアーキテクチャは、リソース的に厳しいです。そのため、複数のテナントでDBサーバーを共有しつつ、 tenant_id カラムを用いてテナント間のデータを分離するこ

はじめに 先日、この記事（世の中のエンジニアのalias設定）読んで、PostgreSQLエンジニアの私はbashだけでなくpsqlの設定はどうなっているんだと気になったので、GitHubのリポジトリを調査してみました。 psqlrc psqlとはPostgreSQLのターミナル型フロントエンドで、psqlからSQLを実行したりすることができます。そして、その設定ファイルがpsqlrcになり、以下の特徴があります。 システム全体の設定を行うpsqlrcファイルは、PostgreSQLの実行ファイルを含むディレクトリからの相対パスで../etc/に格納します。このディレクトリは環境変数PGSYSCONFDIRを使って明示的に設定することができます。 ユーザ固有の設定を行う.psqlrcファイルは、実行しているユーザのホームディレクトリに格納します。このファイルは環境変数PSQLRCで明示的に

PostgreSQLクエリプロトコルの実証 / Demonstration of PostgreSQL Query Protocol

I’ve recently seen some really broad tables (hundreds of columns) in a somewhat inefficiently structured database. Our PostgreSQL support customer complained about strange runtime behavior which could not be easily explained. To help other PostgreSQL users in this same situation, I decided to reveal the secrets of a fairly common performance problem many people don’t understand: Column order and c

PostgreSQL では複数のデータベースを管理することができます。インストールした直後などはテンプレート用のデータベースである template0 と template1 、そして postgres という名前のデータベースが作成されます。(これらデータベースが集まったものもデータベースクラスタと呼んでいます)。 データベースは作成する権限があれば新規で追加することができます。 PostgreSQLにおいて実際のデータはテーブルに格納されます。テーブルは目的に応じて複数作成することができ、それをまとめているのがデータベースですが、さらに PostgreSQL ではデータベースの中にスキーマと呼ばれるものがあります。 スキーマはデータベースに作成されるテーブルや関数といったオブジェクトをグループ化するものです。スキーマが異なれば同じデータベース内であっても同じテーブル名でテーブルを作成す

はじめに SlideShareの広告対策です。 更新履歴 2023/12/13 CloudNative Days Tokyo 2023の資料を追加しました。 2023/12/07 PostgreSQL Conference Japan 2023の資料を追加しました。 2023/11/16 NTTデータで以前使われていたSlideShareのスライドを追加しました。 2024/03/08 第45回PostgreSQLアンカンファレンス@オンライン、DEIM2024の資料を追加しました。 2024/07/09 OCHaCafe Season 8 #4、DSS Asia 2024、TiUG Meetup #2、第47回PostgreSQLアンカンファレンス@オンラインの資料を追加しました。 2024 pg_stat_activityの不可解な観測結果の謎 (第47回 PostgreSQLアンカン

はじめに ＜ にゃーん　趣味でポスグレをやっている者だ みなさんこんにちは。NTTテクノクロス 原田です（いつもはnuko_yokohama名義でQiitaに書いてます。最近サボってましたが・・・）。 これはNTTテクノクロス Advent Calendar 2019の16日目の記事です。昨年に引き続き、今年もNTTテクノクロス社員としてアドベントカレンダーを書くことになりました。 私は普段はPostgreSQLに関する検証・調査や、社内でのPostgreSQL支援、OSSクラウド基盤トータルサービス、PGECons活動に関わってますが、趣味としてもPostgreSQLはちょこちょこ使っています。 今回の記事もそういうわけでPostgreSQLに関するものになります。 弊社の他のアドベントカレンダーの記事と比べると小粒で地味な感じですが、よろしくおねがいします。 サマリ PostgreSQ

読者対象 ある程度データベースに関する知識を持っている，経験年数 1 年以上のバックエンドエンジニア 特定のプログラミング言語に依存する部分は含めないため，すべての SQL 使用者を対象とする また，ゼロからの丁寧な説明というよりは，リファレンス感覚で使える記事という形にまとめる。 RDBMS の対象バージョン PostgreSQL: 9.4 以降 MySQL: 8.0.28 以降 id （データ型と INSERT 時のデフォルト埋め） 導入 一般的に採用されやすいプライマリキー用の値として，以下を考える。 連番整数 MySQL では AUTO_INCREMENT， Postgres では IDENTITY や SERIAL と呼ばれるもの UUID v1: ハードウェアごとにユニークな単調増加値 UUID v4: ランダム値 UUID v7（ドラフト）: 単調増加であるタイムスタンプとラ

今回の記事は、パフォーマンスチューニングの観点と仕組みを理解することに主眼を置いています。具体的な対処方法についてはシステムによって異なるため、マニュアルの確認や、各種チューニングサービスのご利用をご検討ください。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 本記事の構成 本記事「パフォーマンスチューニング9つの技」は以下4つの記事から構成されています。他の記事も併せてご覧ください。 パフォーマンスチューニング9つの技 ～はじめに～ パフォーマンスチューニング9つの技 ～「書き」について～（本記事） パフォーマンスチューニング9つの技 ～「探し」について～ パフォーマンスチューニング9つの技 ～「基盤」について～ 1. パフォーマンスチューニングの「書き」とは 一般的にデータベースは、大量データを扱い、大量の問い合わせや更新を高速に処理し、さらに障害発生

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ

文脈、背景や問題点の説明 マルチテナントを実装するうえで企業情報（以下company）単位で最小限の情報を扱うようにしたいがcompany単位にTableを作ったりDatabaseを作るのはALTERなどの運用が大変。 そこでRLSを採用するために実際の技術検証をした上での注意点と実際の運用について必要な情報をまとめる。 PostgreSQL 14を前提としている 公式ドキュメント CREATE POLICY 必ず一読はすること。 困ったとき、わからないときはまずは公式ドキュメントを都度見ること。 このドキュメントのゴール RLSの概要をつかめる RLSの最低限の注意点を理解し、実装時に罠を踏まない 自分たちでRLSのポリシー自体をメンテナンスすることができ、デバッグできる テーブル構成 create table if not exists company ( id uuid defaul

このエントリーは Classi developers Advent Calendar 2022の18日目。 ネタはなんでもいいよ！とのことなので、Claasiに全く関係なく、MysqlからPostgreSQLに移行する際の注意点を書く。 なお、まだRDSにPostgreSQLがなかった頃のような昔の記事だがこちらに無いことを書いていく。 soudai1025.blogspot.com soudai1025.blogspot.com MySQL から PostgreSQLにデータ移行する際の注意点 MySQLとPostgreSQLは互換性がもちろんありませんので、細かいところで違いが発生します。 よく踏むデータ移行の注意点は以下の通り。 timestampやdatetimeを移行する先はtimestamp型になるが、timestamp型はタイムゾーン付きと無しがある timestamp wi

2022年10月1日(土) に開催される オープンソースカンファレンス2022 Hiroshimaでのセッションスライドです。 1年に一回のペースで メジャーバージョンをリリースしているRDBMSであるPostgreSQL。 今年も PostgreSQL15 のバージョンの開発が行われており、2022/08 に PostgreSQL15 Beta3のバージョンがリリースされています。今セミナーでは、PostgreSQL15 で含まれる事が予定されてる新機能についてアプリケーションエンジニアの観点から触れ、ご紹介させていただきます。

あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre

本機能のリリース当初はIAMロールベースのIAM認証には対応していませんでした。2019/06/01時点では対応しています。 Amazon RDS の PostgreSQL 系サービス Amazon RDS for PostgreSQL Amazon Aurora PostgreSQL は IAM データベース認証を使用して、DB インスタンスを認証できます。 アプリケーションから DB にアクセスする際、クレデンシャルは アプリケーション内にべた書き メタデータ(タグ、環境変数)で管理 AWS Systems Manager パラメータストア で管理 AWS Secrets Manager で管理 Hashicorp Vault のようなミドルウェア などで管理します。これらはすべて永続的な認証情報を利用します。 一方で、IAM データベース認証は一時的な認証情報を利用します。さらに、こ

トランザクションのACID特性のうち、Isolation(隔離性)について整理する。 検証環境検証には、PostgreSQL 10.5を独自ビルドしたものを利用する。 (gdbでデバッグできるように最適化オプションを無効にした) 参考 PostgreSQL 9.4.4をソースコードからインストールする # select version(); version --------------------------------------------------------------------------------------------------------- PostgreSQL 10.5 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-28), 64-bit (1 row) #

Amazon Web Services ブログ PostgreSQL ユーザーとロールの管理 PostgreSQL は最も人気のあるオープンソースのリレーショナルデータベースシステムの 1 つです。30 年以上の開発作業を経て、PostgreSQL は、多数の複雑なデータワークロードを処理できる、信頼性が高く堅牢なデータベースであることが証明されています。Oracle などの商用データベースから移行する場合、PostgreSQL はオープンソースデータベースの主要な選択肢と見なされています。アマゾン ウェブ サービス（AWS）は、管理された 2 つの　PostgreSQL オプションを提供します：PostgreSQL および Amazon Aurora PostgreSQL 用の Amazon Relational Database Service（Amazon RDS）。この記事では、P

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?