(これはHTAPデータベース アドカレ2024 の1日目の記事です。) HTAPとは HTAPとは、 『Hybrid Transactional and Analytical Processing』 の略語であり、オンライントランザクション処理（OLTP）と分析処理（OLAP）を同時に実行すべく考えられた方式や、それを実装したデータベースを指します。 現在のデータベース利用においても、技術的理由やコスト・リソース面など様々な点に課題があり、2つのワークロードを同時に捌くことは容易ではありません。そのため、OLTP用データベースとOLAP用データベースは分割されることが多くなっています。 そもそも、用途別にデータベースを使い分けようという考え方を掲げるクラウドもあります。 では、HTAPとはそうした課題をクリアした「なんでもこなせる夢のデータベース」なのでしょうか。 本日の投稿の趣旨としては

October 29, 2024 Prisma Postgres®: Building a Modern PostgreSQL Service Using Unikernels & MicroVMs At Prisma, we believe that deploying a database should be as simple as adding a new page in Notion. Today, we are excited to share the first milestone towards this vision: Prisma Postgres® gives developers an always-on database with pay-as-you-go pricing — thanks to our unique architecture design. T

本記事の概要 pg_duckdb は、PostgreSQL のプロセス上でインプロセス OLAP クエリエンジンである DuckDB を実行するための拡張です。 DuckDB を利用することで、以下のようなメリットがあります。 PostgreSQL のネイティブクエリエンジンと比べ、OLAP ワークロードをより高速に処理できる。 DuckDB の拡張を利用し、 Iceberg や Delta lake といったオープンテーブルフォーマットでオブジェクトストレージ上に構築したデータレイクのデータを分析できる。 本記事では、 PostgreSQL 拡張の pg_duckdb の概要、私が pg_duckgb に注目した背景、および簡単な使い方などを紹介します。 pg_duckdb の概要 pg_duckdb は、スタートアップの Hydra、DuckDB 開発元の DuckDB Labs、Sa

本記事はRettyアドベントカレンダー2024の9日目の記事です。 Rettyでエンジニアリングマネージャを務めている山田です。 2022年の年末頃にChatGPTが登場してから早2年となります。 当初は革新的なAIという印象でしたが、時間の経過によりLLMを普段の生活や業務に活かしたり、これを応用したアプリケーションの開発を検討するなど、こうした発明もある程度浸透してきている頃合いではないかと思います。 特に、LLMは任意の自然言語形式のデータの取り扱いに優れ、これまで実現が難しかったアイデアを形にすることができるため、LLMを応用して新しい体験を提供する機能の開発に取り組んでいる方や、すでにリリースされている方も多いでしょう。 一方で、LLMの活用を考える上で、コストの問題や長いレスポンスタイム、特にクローズドなモデルの場合挙動が時間経過で微妙に変わってしまうなど、特有の困りごとに直面

こんにちは、ウォンテッドリーでインフラエンジニアをしている加藤健です。 この記事は Wantedly Advent Calendar 2024 の10日目の記事です。昨日は佐藤祐亮さんの「バックエンドエンジニアがFUZE2024に参加して感じた顧客接点をつくりプロダクト開発に活かしていくということ」でした。 この記事では、先週参加した PostgreSQL Conference Japan 2024 について紹介します。このカンファレンスは、PostgreSQLに関わるさまざまな知見を共有する場であり、私自身は当日スタッフとして運営をサポートしつつ、小講演枠にも登壇しました。 登壇の背景やスタッフとしての体験、講演の準備・発表を通じて感じたことを振り返りながら、カンファレンス参加が個人や会社にとってどのような価値をもたらすのかを考えます。ウォンテッドリーでは、外部登壇を積極的に推奨しており

例えば次のようなテーブルがあったとする。 -- PostgreSQL CREATE TABLE history ( id SERIAL PRIMARY KEY, user_id INTEGER NOT NULL, data TEXT, created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ); -- MySQL CREATE TABLE history ( id INT AUTO_INCREMENT PRIMARY KEY, user_id INT NOT NULL, data TEXT, created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ); INSERT INTO history (user_id, data, created_at) VALUES (1, 'First

とにかくAWS GameDay！AWSは世界の共通言語！ / Anyway, AWS GameDay! AWS is the world's lingua franca!

最小のテーブル構成は何でしょうか？理論上は0行0列のテーブルが最小のテーブル構成となります。この場合の0は、プログラミング言語でいう配列の一番目[0]ではなく、長さが0の配列[]のようなものです。 行0のテーブル 行が0のテーブルは、ごく普通に存在します。通常の検索で、検索条件にヒットしなければ、0行の結果テーブルが返されますし、CREATE TABLEで作成しただけのテーブルは、行が0のテーブルです。 列0のテーブル 列が0のテーブルは、通常見ることはありません。列が0のテーブルは、値を持てないので、わざわざ作る必要がないからです。 標準のSQLでは、列が0のテーブルを作ることはできないらしく、大抵のRDBでも列が0のテーブルは作れません。 しかしPostgreSQLでは、列が0のテーブルを作ることができます。 PostgreSQL 7.4から列が0のテーブルを作成できることが明示されて

Vercel KV, Vercel Postgres, Vercel Blob, and Vercel Edge Config are now available. Data is an integral part of the web. As JavaScript and TypeScript frameworks make it easier than ever to server-render just-in-time data, it's time to make databases a first-class part of Vercel's frontend cloud. Today, we’re excited to announce a suite of serverless storage solutions now available on Vercel, powere

こちらのサイトを参考にしました。 WAL-GでオブジェクトストレージにPostgreSQLをバックアップしよう MastodonのPostgreSQLのDatabaseをWAL-Gでオブジェクトストレージにバックアップ WAL-G で PostgreSQL の Backup や Replica 作成 環境OracleCloudのA1インスタンス Ubuntu20.04LTS PostgreSQL12 Misskeyのデータベースをバックアップします 1. WAL-Gをインストールするここ からバイナリをダウンロードして/usr/local/binに配置 ARM64向けはないのでここ を参考にビルドする 実行権限を付与する 2. 環境変数の設定上記のサイトを参考に/usr/local/binにwal-g.shを配置 オブジェクトストレージを使用するので次のように書き込む #!/bin/bas

Mastodon管理者のためのWAL-Gバックアップ WAL-Gのススメ Mastodonサーバ管理者（鯖缶）のみなさん、オブジェクトストレージ、使ってますか？ 使っているなら、PostgreSQLのバックアップ、オブジェクトストレージにとるという手がありますよ。 ざっくり言うと、 PostgreSQLの設定にarchive_mode=onとarchive_command='wal-g wal-push'を追加し、自動で差分バックアップをとる cronで、毎日wal-g backup-pushで自動でフルバックアップをとる cronで、毎週wal-g delete retain 7で7回分だけ残して自動で残りを削除する という感じです。簡単でしょ？ なお、WAL-Gはgoで書かれていて、バイナリ1個配置すれば動きます。 保管場所がオブジェクトストレージなので、 安価で、容量の心配不要 復元

October 13, 2022 - The PostgreSQL Global Development Group today announced the release of PostgreSQL 15, the latest version of the world’s most advanced open source database. PostgreSQL 15 builds on the performance improvements of recent releases with noticeable gains for managing workloads in both local and distributed deployments, including improved sorting. This release improves the developer e

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程 RDS の新しい高可用性オプションである Multi-AZ DB Cluster が一般提供となったためレポートします。Multi-AZ DB Cluster は従来の高可用性オプションの Multi-AZ DB Instance と比較して書き込み性能の向上とフェイルオーバーの高速化が期待できるオプションです。 New Amazon RDS for MySQL & PostgreSQL Multi-AZ Deployment Option: Improved Write Performance & Faster Failover なおプレビュー時の紹介はこちらのエントリーです。 Multi-AZ DB Cluster RDS には従来高可用性のためのオプションとして Multi-AZ Instance がありました。従来の Mu

つらくないマルチテナンシーを求めて: 全て見せます！ SmartHR データベース移行プロジェクトの裏側 / builderscon 2018

customer_data_1002 この分散テーブルを2つ以上のWorker Nodeに格納し、「何をシャーディングのキーにするか」「どのシャーディングキーを持つレコードをいずれのWorker Nodeに格納するか」をCoordinator Nodeが「調停」するようにすることで、PostgreSQLをスケールアウトします。 psqlやアプリケーションなどのPostgreSQLのクライアントはCoordinator Nodeに接続し、通常のPostgreSQLと同じようにクエリを実行することになります。シャーディングの管理はCoordinatorにお任せです。 なお、OSSで開発されているCitusと関連するいくつかの機能拡張がインストールされている点を除けば、Coordinator / Workerは通常のPostgreSQLと全く同じなので、 LinuxをインストールするPostgr

The PostgreSQL Global Development Group today announced the release of PostgreSQL 14, the latest version of the world’s most advanced open source database. PostgreSQL 14 brings a variety of features that help developers and administrators deploy their data-backed applications. PostgreSQL continues to add innovations on complex data types, including more convenient access for JSON and support for n

スケールアウトするPostgreSQLを目指して！その第一歩！ ▼講演者 NTTデータ 技術開発本部 データベーステクニカルリード 藤井 雅雄 ▼講演概要 スケールアウトは、今、PostgreSQLで最もユーザが実現を期待している機能のひとつです。 NTTデータでは、スケールアウトするPostgreSQLを目指し、その第１弾として複数台のPostgreSQLをまたがる 分散トランザクション(グローバルトランザクション)機能の実現に取り組んでいます。 本セッションでは、PostgreSQLコミュニティで提案・議論されているスケールアウト機能を紹介するとともに、 NTTデータのスケールアウト実現に向けたビジョンについてPostgreSQLコミッタが語ります。 ▼イベントページ NTTデータ テクノロジーカンファレンス 2020 https://oss.nttdata.com/techco

よく知らないアプリケーションの性能と戦う、という状況(再掲) 私が設計したわけでもなく開発したわけでもなく、レビュー参加とかで辛うじて全体はわけるけど、いまからソース見る時間もないし、開発した方は性能面の対処が覚束ない。突然性能面で火を噴いてなぜか自分が召喚されて2~3時間でどうにかしたい、という闇な状況にどういうふうに対応していたっけ自分、というのを経験則100%で書いてみようと思います。 前編・中編はこちら。 よく知らないアプリケーションの性能と戦わないといけないときの防衛術（前編） https://qiita.com/nfujita55a/items/3760cd099ca890f5a4d4 よく知らないアプリケーションの性能と戦わないといけないときの防衛術（中編） https://qiita.com/nfujita55a/items/555350e61b73db3a2b8c この後

本記事は「PostgreSQL Advent Calendar 2020」の 14日目です。 はじめに マテリアライズド・ビューを定義すると、クエリの実行結果をデータベース内に保存することでビューに対するレスポンスタイムを向上させることができます。その一方で、実テーブルが更新されると保存されている結果が古くなってしまうため、その都度マテリアライズド・ビューを最新化する必要が出てきます。 現在のPostgreSQLでは、マテリアライズド・ビューを最新化する方法としてREFRESH MATERIALIZED VIEWコマンドが提供されています。このコマンドを実行するとクエリが再実行され、マテリアライズド・ビューが最新の状態に更新されます。 しかし、この方法ではすべてのデータが再計算されてしまうため、あまり効率的とは言えません。もしテーブルの更新がごく一部で、マテリアライズド・ビューの一部分のみ