こんにちは！ 今回はSupabaseでバックアップを取る方法についてまとめます。 課金すればSupabase側でバックアップとってくれるみたいですが、できるなら無料でやりたいというモチベーションで行いました。 方針 postgresにcliで接続できるpsqlを用いる。 コード postgresqlのバージョンに柔軟に対応できるようにdockerコンテナで行います。 環境変数は.envに作ってください。 パスワードの環境変数をPGPASSWORDにしとくとpsqlの接続時に自動で読み込んでくれます。 version: '3' services: pg_dump: image: postgres:${POSTGRES_VERSION} environment: POSTGRES_HOST: $POSTGRES_HOST POSTGRES_PORT: $POSTGRES_PORT POSTGR

概要 PostgreSQLにおいて、複数のデータベース、複数のスキーマ、複数のユーザーを作って適切なスコープや権限管理をしたくてもよくわからず、結局ユーザーにスーパーユーザー権限を与えて全部見れるようにしてしまったり、システム用ユーザーとしてデフォルトのpostgresユーザーを使ってしまっている人もいるのではないでしょうか。 この記事では、PostgreSQLに複数のスキーマを作り、ユーザーAはスキーマAのみアクセスできるように、ユーザーBはスキーマBとスキーマAの一部のテーブルにのみアクセスできるように設定する方法をまとめます。 あくまでも自分用にまとめたもので、間違っている箇所もあるかもしれませんので、コメントでご指摘頂ければ幸いです。 また、ロールを階層化してユーザー権限を管理する方法についてはこの記事では触れていません。直接ユーザーに対して権限を付与しています。 要件 システムA

Amazon Aurora Serverless v2が最小キャパシティ0に対応し、自動停止･再開が可能になりました Amazon Aurora Serverless v2 はAurora Capacity Unit(ACU)という単位でリソース管理され、0.5 ACU単位でワークロードに応じてスケールアップするサーバーレスデータベースです。従来は最小ACUが0.5でしたが、0キャパシティに対応したことにより、アクティビティのないインスタンスが自動的に停止・再開するようになりました。 例えば、本番･開発環境に同じAurora Serverless v2を導入しているケースにおいて、夜間や週末はアイドル状態を伴う開発環境の最小ACUを0にしておけば、利用がなくなるとインスタンスは自動停止し、コスト削減に繋がります。 対応DBエンジン 以下のAuroraエンジンに対応しています Postgre

OtterTuneが2023年に公開したブログ記事「PostgreSQLで最も嫌いな部分」が、2024/10/21にまた人気を博している。この記事では、PostgreSQLのマルチバージョン並行性制御（MVCC）実装の問題点について詳しく紹介されている。 以下に、その内容をかいつまんで紹介する。 はじめに データベースの選択肢は数多く存在し、2023年4月時点で897種類にのぼる。これだけ多くのシステムがある中で、どれを選ぶべきか迷うのは当然だ。2000年代には、GoogleやFacebookといった新進気鋭のテック企業が使用していたことから、MySQLが一般的な選択肢となっていた。その後、2010年代には、NoSQLストレージとしてMongoDBが人気を博した。そしてここ5年ほどで、PostgreSQLがインターネット上で最も愛されるDBMSとなった。その理由は、信頼性が高く、機能が豊富

PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能 PostgreSQLは今年（2024年）に発表されたStack Overflowの調査でMySQLを抜いて最も使われているデータベースとなっているなど、人気が高まっているデータベースです。 参考：Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey WALの改善で書き込み性能が最大で2倍に PostgreSQL 17では、先行書き込みログ（WAL）処理の改善が行われました。 WALとは、トランザクション処理が確実に行われるためにトランザクション処理に先立ってつねに記録

PostgRESTではPostgreSQLをREST形式で扱うことができます. これを用いることでDBをREST形式で扱えるほか, 言語によっては組み込み関数でDBを扱うことができます. 近年注目を集めているServerlessDBのSupabaseはPostgRESTを使うことができます. しかし, Documentを見たときにJOINの文法をDocumentから見つけることができなかった他, 日本語記事が少なかったため対応表を記します. Read SELECT文は以下のように書くことができます. SELECT name, score FROM table_name WHERE id > 10 ORDER BY score DESC // GET /table_name?select=name,score&id=gt.10&order=score.desc 注意点 SELECTの部分につ

UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P

PostgreSQLのマネージドサービスなどを提供しているTimescaleは、PostgreSQLで高速なベクトルデータベース機能を実現する拡張機能「Pgvectorcale」をオープンソースとして公開したことを発表しました。 大規模言語モデルを用いた生成AIの注目度が高まる中で、文章や画像、音声といったデータの特徴を数値で表現するベクトル化（もしくはエンベディング）により、大規模言語モデルで扱えるようにすることへの注目も高まってきています。 ベクトルデータベースは、このベクトル化された膨大なデータの保存や類似度の検索などが可能です。 例えば、RAG（Retrieval Augmented Generation）と呼ばれる手法により大規模言語モデルの回答に外部のデータベースから取得したデータを組み込むことができます。こうした場面でベクトルデータベースが活用されます。 高速ベクトルデータベ

Docker の公式 PostgreSQL イメージを使うときの の指定方法についてまとめました。 各種バージョン・イメージが違うとあてはまらなくなることがあるので、参考にされる際はその点留意してください。 確認時の環境 対象イメージ （タグ: ） macOS Doc…

PostgreSQLでbulk insert/update/upsertしたいときのメモ 0.確認用の環境 0.1.前提：PostgreSQLのバージョン 0.2.確認用のテーブル 1.bulk insert 1.1.クエリ 1.2.実行後の状態 1.3.実際にSQL Fiddleで実行した結果のリンク 2.bulk update 2.1.クエリ 2.1.1.パターン1 case式で分岐させる 2.1.2.パターン2 各値をパラメータとして渡す 2.1.3.パターン3 配列をパラメータとして渡す 2.2.実行後の状態 2.3.実際にSQL Fiddleで実行した結果のリンク 3.bulk upsert 3.1.クエリ 3.2.実行後の状態 3.3.実際にSQL Fiddleで実行した結果のリンク 3.4.補足 3.4.1.補足1 どう動いてるのか 3.4.2.補足2 注意点？ 4.参考UR

General: French language support was added (thanks to matthieukhl) Added the ability to close editor tabs with the middle mouse button Added right-click support to open the context menu in the Metadata Editor The list of forbidden characters for naming and renaming resource manager files has been updated, and now it includes the following characters: / : " \ ' <> | ? * Application cookies security

こんにちは！ぬこすけです！ 個人開発をしていると「データベースはどこで立てようか...」というのは悩みの種です。 「無料でデータベース使いたい」「あんまりデータベースの構築に時間をかけたくない」などアレコレ考えてしまいます。 そんなあなたに、無料かつ楽にRDBを作れる「PlanetScale」をお勧めしたい！と言いたいところですが、 なんと2024年4月8日に無料枠が廃止されてしまいます 。 かくいう私も技術書をランキング形式で紹介するサイトを昔作っていたのですが、データベースはPlanetScaleを使っていたため打撃をくらってしまいました...。 このような事態を受け、私のサイトではPlanetScaleの代替として Neon というサーバーレスなデータベースを提供しているサービスに乗り換えてみました。 みなさんの参考になるように、PlanetScaleと比較しながら体験談を共有できれ

歴史 かつて、分散システムのデータ複製における唯一無二の理想は「更新されたデータは即座に反映される」というものだった。 70年台の分散システム技術において試みられているものの多くは、いくら背後にたくさんのシステムが控えているとしても「使う人間からはひとつのシステムを使っている」ように見せることで、その観点から主に議論されていたものの多くはデータの一貫性（Consistency）をいかにして獲得するかという部分に主眼が置かれたものだった。 90年台中頃からインターネット・システムの規模が大型化してくると、開発者の多くはデータの一貫性を犠牲にしてもスケーラビリティを担保することが重要なのではないかと考えはじめた。 AWSは世界規模で利用されるシステムを開発するにあたってあらゆる場所でレプリケーション技術を活用してきたが、その中で結果整合性モデルはレプリケーションにおいてデータの一貫性を担保する

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が後述の資料を参考にまとめたのだろうなと思われる記事。 非常によくまとまっているのでわかりやすい。 www.fujitsu.com もっと細かく知りたいならPostgreSQL Internalsがおすすめ。 富士通の資料と重複するところがあるがこっちが本家。 Githubで管理されているので誤字脱字などあったら気軽にPRを出してほしい。 www.postgresqlinternals.org PostgreSQL Internalsが少し古いので最新事情で知りたい場

中国地方DB勉強会 in 岡山の登壇資料です。 そのうちここで登壇動画が公開されることでしょう。 肝心なチートシートは以下のとおり。 PostgreSQL gist.github.com MySQL gist.github.com チートシートだけじゃわからない！困ってる！ Have Fun Techがバージョンアップのサポートしますのでお気軽にご相談ください。 have-fun.tech まとめ やっぱ中国地方DB勉強会は最高だぜ！

オープンソースのデータベース「PostgreSQL」のバージョン16がリリースされました。パフォーマンスの改善や論理レプリケーション機能の強化をはじめ、開発者のQOL向上やセキュリティ関連の更新など開発開始から35年経過しているとは思えない盛りだくさんな内容となっています。 PostgreSQL: PostgreSQL 16 Released! https://www.postgresql.org/about/news/postgresql-16-released-2715/ ◆クエリプランナーが改良される ・FULLおよびRIGHTのJOINを並列化可能に ・「DISTINCT」「ORDER BY」節と同時に集計関数を使用したクエリに対してより効率的なプランを生成 ・「SELECT DISTINCT」クエリに対してインクリメンタルソートを使用 ・ウィンドウ関数を最適化 ・RIGHTおよび