こんにちは！ 今回はSupabaseでバックアップを取る方法についてまとめます。 課金すればSupabase側でバックアップとってくれるみたいですが、できるなら無料でやりたいというモチベーションで行いました。 方針 postgresにcliで接続できるpsqlを用いる。 コード postgresqlのバージョンに柔軟に対応できるようにdockerコンテナで行います。 環境変数は.envに作ってください。 パスワードの環境変数をPGPASSWORDにしとくとpsqlの接続時に自動で読み込んでくれます。 version: '3' services: pg_dump: image: postgres:${POSTGRES_VERSION} environment: POSTGRES_HOST: $POSTGRES_HOST POSTGRES_PORT: $POSTGRES_PORT POSTGR

概要 PostgreSQLにおいて、複数のデータベース、複数のスキーマ、複数のユーザーを作って適切なスコープや権限管理をしたくてもよくわからず、結局ユーザーにスーパーユーザー権限を与えて全部見れるようにしてしまったり、システム用ユーザーとしてデフォルトのpostgresユーザーを使ってしまっている人もいるのではないでしょうか。 この記事では、PostgreSQLに複数のスキーマを作り、ユーザーAはスキーマAのみアクセスできるように、ユーザーBはスキーマBとスキーマAの一部のテーブルにのみアクセスできるように設定する方法をまとめます。 あくまでも自分用にまとめたもので、間違っている箇所もあるかもしれませんので、コメントでご指摘頂ければ幸いです。 また、ロールを階層化してユーザー権限を管理する方法についてはこの記事では触れていません。直接ユーザーに対して権限を付与しています。 要件 システムA

OtterTuneが2023年に公開したブログ記事「PostgreSQLで最も嫌いな部分」が、2024/10/21にまた人気を博している。この記事では、PostgreSQLのマルチバージョン並行性制御（MVCC）実装の問題点について詳しく紹介されている。 以下に、その内容をかいつまんで紹介する。 はじめに データベースの選択肢は数多く存在し、2023年4月時点で897種類にのぼる。これだけ多くのシステムがある中で、どれを選ぶべきか迷うのは当然だ。2000年代には、GoogleやFacebookといった新進気鋭のテック企業が使用していたことから、MySQLが一般的な選択肢となっていた。その後、2010年代には、NoSQLストレージとしてMongoDBが人気を博した。そしてここ5年ほどで、PostgreSQLがインターネット上で最も愛されるDBMSとなった。その理由は、信頼性が高く、機能が豊富

PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能 PostgreSQLは今年（2024年）に発表されたStack Overflowの調査でMySQLを抜いて最も使われているデータベースとなっているなど、人気が高まっているデータベースです。 参考：Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey WALの改善で書き込み性能が最大で2倍に PostgreSQL 17では、先行書き込みログ（WAL）処理の改善が行われました。 WALとは、トランザクション処理が確実に行われるためにトランザクション処理に先立ってつねに記録

PostgRESTではPostgreSQLをREST形式で扱うことができます. これを用いることでDBをREST形式で扱えるほか, 言語によっては組み込み関数でDBを扱うことができます. 近年注目を集めているServerlessDBのSupabaseはPostgRESTを使うことができます. しかし, Documentを見たときにJOINの文法をDocumentから見つけることができなかった他, 日本語記事が少なかったため対応表を記します. Read SELECT文は以下のように書くことができます. SELECT name, score FROM table_name WHERE id > 10 ORDER BY score DESC // GET /table_name?select=name,score&id=gt.10&order=score.desc 注意点 SELECTの部分につ

UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P

PostgreSQLのマネージドサービスなどを提供しているTimescaleは、PostgreSQLで高速なベクトルデータベース機能を実現する拡張機能「Pgvectorcale」をオープンソースとして公開したことを発表しました。 大規模言語モデルを用いた生成AIの注目度が高まる中で、文章や画像、音声といったデータの特徴を数値で表現するベクトル化（もしくはエンベディング）により、大規模言語モデルで扱えるようにすることへの注目も高まってきています。 ベクトルデータベースは、このベクトル化された膨大なデータの保存や類似度の検索などが可能です。 例えば、RAG（Retrieval Augmented Generation）と呼ばれる手法により大規模言語モデルの回答に外部のデータベースから取得したデータを組み込むことができます。こうした場面でベクトルデータベースが活用されます。 高速ベクトルデータベ

Docker の公式 PostgreSQL イメージを使うときの の指定方法についてまとめました。 各種バージョン・イメージが違うとあてはまらなくなることがあるので、参考にされる際はその点留意してください。 確認時の環境 対象イメージ （タグ: ） macOS Doc…

PostgreSQLでbulk insert/update/upsertしたいときのメモ 0.確認用の環境 0.1.前提：PostgreSQLのバージョン 0.2.確認用のテーブル 1.bulk insert 1.1.クエリ 1.2.実行後の状態 1.3.実際にSQL Fiddleで実行した結果のリンク 2.bulk update 2.1.クエリ 2.1.1.パターン1 case式で分岐させる 2.1.2.パターン2 各値をパラメータとして渡す 2.1.3.パターン3 配列をパラメータとして渡す 2.2.実行後の状態 2.3.実際にSQL Fiddleで実行した結果のリンク 3.bulk upsert 3.1.クエリ 3.2.実行後の状態 3.3.実際にSQL Fiddleで実行した結果のリンク 3.4.補足 3.4.1.補足1 どう動いてるのか 3.4.2.補足2 注意点？ 4.参考UR

General: French language support was added (thanks to matthieukhl) Added the ability to close editor tabs with the middle mouse button Added right-click support to open the context menu in the Metadata Editor The list of forbidden characters for naming and renaming resource manager files has been updated, and now it includes the following characters: / : " \ ' <> | ? * Application cookies security

こんにちは！ぬこすけです！ 個人開発をしていると「データベースはどこで立てようか...」というのは悩みの種です。 「無料でデータベース使いたい」「あんまりデータベースの構築に時間をかけたくない」などアレコレ考えてしまいます。 そんなあなたに、無料かつ楽にRDBを作れる「PlanetScale」をお勧めしたい！と言いたいところですが、 なんと2024年4月8日に無料枠が廃止されてしまいます 。 かくいう私も技術書をランキング形式で紹介するサイトを昔作っていたのですが、データベースはPlanetScaleを使っていたため打撃をくらってしまいました...。 このような事態を受け、私のサイトではPlanetScaleの代替として Neon というサーバーレスなデータベースを提供しているサービスに乗り換えてみました。 みなさんの参考になるように、PlanetScaleと比較しながら体験談を共有できれ

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が後述の資料を参考にまとめたのだろうなと思われる記事。 非常によくまとまっているのでわかりやすい。 www.fujitsu.com もっと細かく知りたいならPostgreSQL Internalsがおすすめ。 富士通の資料と重複するところがあるがこっちが本家。 Githubで管理されているので誤字脱字などあったら気軽にPRを出してほしい。 www.postgresqlinternals.org PostgreSQL Internalsが少し古いので最新事情で知りたい場

中国地方DB勉強会 in 岡山の登壇資料です。 そのうちここで登壇動画が公開されることでしょう。 肝心なチートシートは以下のとおり。 PostgreSQL gist.github.com MySQL gist.github.com チートシートだけじゃわからない！困ってる！ Have Fun Techがバージョンアップのサポートしますのでお気軽にご相談ください。 have-fun.tech まとめ やっぱ中国地方DB勉強会は最高だぜ！

オープンソースのデータベース「PostgreSQL」のバージョン16がリリースされました。パフォーマンスの改善や論理レプリケーション機能の強化をはじめ、開発者のQOL向上やセキュリティ関連の更新など開発開始から35年経過しているとは思えない盛りだくさんな内容となっています。 PostgreSQL: PostgreSQL 16 Released! https://www.postgresql.org/about/news/postgresql-16-released-2715/ ◆クエリプランナーが改良される ・FULLおよびRIGHTのJOINを並列化可能に ・「DISTINCT」「ORDER BY」節と同時に集計関数を使用したクエリに対してより効率的なプランを生成 ・「SELECT DISTINCT」クエリに対してインクリメンタルソートを使用 ・ウィンドウ関数を最適化 ・RIGHTおよび

September 14, 2023 - The PostgreSQL Global Development Group today announced the release of PostgreSQL 16, the latest version of the world's most advanced open source database. PostgreSQL 16 raises its performance, with notable improvements to query parallelism, bulk data loading, and logical replication. There are many features in this release for developers and administrators alike, including mo

【Unit4 ブログリレー7日目】 こんにちは、エムスリーエンジニアリンググループの堺澤です。 エムスリーではクラウド移行（＝脱オンプレ）の活動が盛んに行われています。 www.m3tech.blog www.m3tech.blog 今回は私が担当していたサービスで DB をクラウド移行したときに起きた問題について紹介したいと思います。 本文に関係のない画像 起きたこと 原因 子テーブルを利用する運用背景 トリガーが移行されなかった理由 対応と今後 まとめ We're hiring! 起きたこと 題名の通り、DB をクラウド移行したらレコードが見えなくなってしまいました。具体的には、INHERITS*1 を利用して作成された子テーブルで親テーブルにあるデータが見えなくなりました。問題発生時は検証環境では見えていて、本番環境だけこの現象が発生していました。 原因 そのサービスでは月毎に IN

PostgreSQL の無難なロケールは “なし” (C) だと思うが、 Docker コンテナを使いたいときにロケールをなし (C) に設定する簡単な方法 まとめ 起動時の環境変数 POSTGRES_INITDB_ARGS で設定することで、ロケールをなし (C) に設定可能 - POSTGRES_INITDB_ARGS=--encoding=UTF-8 --locale=C POSTGRES_INITDB_ARGS: "--encoding=UTF-8 --locale=C" <= 注意。コッチっは試していない。 ちなみに、 docker run の場合は docker run --rm -it -e POSTGRES_PASSWORD=secret -e POSTGRES_INITDB_ARGS="--encoding=UTF-8 --locale=C" postgres:12.2