PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史 世界中で使用されるRDBMSであるPostgreSQLの長い歴史には、どのような変遷があったのでしょうか。長く、PostgreSQLに関わり続ける石井達夫さんに、同ソフトウェアの進化歴史の中にあるキーワードをもとに振り返ってもらいました。 オープンソースのRDBMSであるPostgreSQLは、いまや世界中の人々が利用するソフトウェアとなりました。その歴史は長く、ルーツは30年以上も前にさかのぼります。 PostgreSQLの前身は、カリフォルニア大学バークレー校で1986年に始まったPOSTGRESプロジェクトです。その後、1994年にAndrew Yu氏とJolly Chen氏がPOSTGRESにSQL言語インタプリタを追加し、翌年にPostgres95をリリース。1996年にようやくPostgreSQLとい

TimescaleDB とは TimescaleDB とは、PostgreSQL の拡張 (EXTENSION) として実装されている、時系列データの扱いやすくする OSS です。 日時によって変動する CPU 使用率や温度などの監視データや金額のようなデータについて、複雑な処理を高速に行なうことができます。 2017 年 5 月から beta が公開され始め、ライセンスは Apache Licens V2.0 です。 メリット Architecture & Concepts: https://docs.timescale.com/v1.2/introduction/architecture Why Use TimescaleDB over Relational DBs?: https://docs.timescale.com/v1.2/introduction/timescaledb-v

PostgreSQL 11が正式リリース。ハッシュパーティショニングやJITコンパイルによる高速化、ストアドプロシージャでのトランザクションサポートなど 発表文ではPostgreSQL 11の主な新機能を次のように説明しています。 PostgreSQL 11 provides users with improvements to overall performance of the database system, with specific enhancements associated with very large databases and high computational workloads. Further, PostgreSQL 11 makes significant improvements to the table partitioning system, adds

はじめに 突然ですが、皆さんはアプリケーションで扱うBLOBデータをどこに保存しているでしょうか？大きく分けると、以下のいずれかになると思います。 ファイルストレージ データベース オブジェクトストレージ いずれも一長一短ありますが『SQLアンチパターン』という書籍では、データベースに格納することも検討せよ、としています。 では、データベースで管理するメリットとデメリットは何でしょうか。 メリット RDBMSのトランザクション内で操作が完結する(データだけ消えた、ファイルだけ消えたという不整合な状態にならない) データと同時にファイルのバックアップも取得できる バックアップ復元時にファイルも戻せる デメリット バックアップのサイズや取得時間が増加する バックアップの復元時間が増加する リソースを圧迫する ちなみに『SQLアンチパターン』には、オブジェクトストレージに関する記述はなかったと記

PostgreSQLの“仕様”による、運用者にとって悩み深い脆弱性とは：OSS脆弱性ウォッチ（6） 連載「OSS脆弱性ウォッチ」では、さまざまなオープンソースソフトウェアの脆弱性に関する情報を取り上げ、解説していく。今回は、2018年3月1日に公開されたPostgreSQLの脆弱性情報（CVE-2018-1058）を取り上げる。 「OSSセキュリティ技術の会」の面和毅です。本連載「OSS脆弱性ウォッチ」では、さまざまなオープンソースソフトウェア（OSS）の脆弱（ぜいじゃく）性に関する情報を取り上げ、解説しています。 今回は、2018年3月1日に公開されたPostgreSQLの脆弱性情報（CVE-2018-1058）を取り上げます。 脆弱性概要 脆弱性の概要は、「A Guide to CVE-2018-1058: Protect Your Search Path」（英語）に詳しく載っています

2017.10.07 の OSC 2017 Fukuoka において、PostgreSQLの概要と PostgreSQL 10 の新機能について発表した際に使用した資料です(日本PostgreSQLユーザ会:JPUG枠)。 #osc17fkRead less

本エントリは PostgreSQL Advent Calendar 2016 の Day24 のエントリです。昨日は @mazudakz さんの「pg_stats_reporter をしくじった話」でした。読み応えあって面白かった。 さて、先日（と言っても結構前）、地理情報をPostgreSQLで扱う例として、巡回セールスマン問題をPostgreSQLで解きつつGoogle Mapsで可視化するエントリを書きました。 巡回セールスマン問題における最短経路をpgRoutingで探索する http://pgsqldeepdive.blogspot.jp/2016/09/pgrouting.html 今回は、もう少し進んでPostgreSQLにおける地理情報の検索とGoogle Mapsの動的な可視化を連動させてみましたので、その内容を紹介します。 実現したいことは、 観光に関連する情報をPos

本日、Postgres ToolkitというPostgreSQLのDBA向けツールキットをリリースしました。 http://www.github.com/uptimejp/postgres-toolkit/ https://postgres-toolkit-ja.readthedocs.org/ ■「Postgres Toolkit」とは何か Postgres Toolkitは、PostgreSQLの運用管理を楽にするためのスクリプトやツールのコレクションで、DBA業務の品質や生産性を高めることを目的としたツールキットです。 Postgres Toolkitを使うことで、複雑なSQLを実行したり、自前のスクリプトをメンテする必要性が減少します。コンセプトとしては、「PostgreSQL DBA向けのVictorinox（スイスアーミーナイフ）」のようなイメージです。 もともとは、私がトラブ

2015-03-24 今風にPostgreSQLの開発環境をつくってみた 最近ホットすぎるPostgreSQL界隈ですが、せっかくなので今風に開発環境を作ってみました。 PostgreSQLおさらい 近年のPostgreSQLの進歩は目覚しいものがあって、高いスケーラビリティはもちろん、アプリとの親和性の高さもあって注目度を増しています。 9.4系からはJSONBサポートに加えGINインデックスの性能強化等があって、RDBの特性を持ちながらドキュメントDBのような使い勝手を実現しています。MongoDBもびっくりですね。 ちなみにAmazon RDSにもつい最近9.4.1がサポートされましたね。 Amazon RDS for PostgreSQL support for major version 9.4.1 というわけでこんな今風なPostgreSQLを今風に環境構築してみようと思います

WordpressをHerokuで運営すると何かと楽だなぁと思ってやってみた。タダだし。 でも実際はけっこうハマったりもした。書いておかないと確実に忘れる。 2015/06/01 Herokuの新プラン発表で18時間だけ無料になってしまいました。 Herokuが無料でなくなる日 | Workabroad.jp 24時間稼働は$7かかります。 2015/02/20追記 パーマリンクを変更しても、しばらくするとまた元に戻るという現象が起こりました。 mod rewriteの設定をすれば直るようです。 http://blog.mah-lab.com/2013/05/01/wordpress-on-heroku/ 2015/02/02追記 wp-configの設定が足りなかったので修正 最初は自力でやろうかなと思ったけど、途中でハマりだしたので他の人の力を借りようということに。 2015年1月現在

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが

1. GPGPUがPostgreSQLを加速する ～“超”メニーコアによる検索高速化～ NEC OSS推進センター The PG-Strom Project 海外 浩平 <kaigai@ak.jp.nec.com> (Tw: @kkaigai) 2. 自己紹介 ▌名前: 海外 浩平 ▌所属： NEC OSS推進センター ▌好きなもの： コアの多いプロセッサ ▌嫌いなもの： コアの少ないプロセッサ ▌経歴: HPC  OSS/Linux  SAP  GPU/PostgreSQL ▌Tw: @kkaigai ▌主な仕事 SELinux周り諸々 (2004~) •Lockless AVC、JFFS2 XATTRなど PostgreSQL周り諸々 (2008~) •SE-PostgreSQL、Security Barrier View、Writable FDWなど PG-Strom

データベースの運用管理にログの情報は不可欠ですが、オープンソースのDBMSであるPostgreSQLが出力するログは、直接取り扱うのに適した形式とは言えません。そこで本記事では、オープンソースのログ収集ツールであるFluentdを使って、PostgreSQLのログを運用管理に活用しやすい形に加工する方法を紹介します。 PostgreSQLの運用管理に使う稼働統計情報とログ データベースを安定稼働させるには、データベースを健全な状態に保つ運用管理が必要不可欠です。データベースの運用管理には一般的に死活監視、リソース監視、性能分析、チューニング、バックアップといった項目が挙げられますが、まずは監視によって正しく現状を把握することが、運用管理の第一歩と言えるでしょう。PostgreSQLで監視に使える機能には、稼働統計情報とログがあります。稼働統計情報はPostgreSQLの様々な稼働情報を蓄積

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

SRA OSSとTISは、オープンソースデータベース「PostgreSQL」の稼働情報および性能監視を、オープンソースの統合監視ツール「Zabbix」から行えるテンプレート「PostgreSQL monitoring template for Zabbix（pg_monz）」を共同で開発し、オープンソースソフトウェア（OSS）として5日に公開した。 「pg_monz」は、PostgreSQLの運用管理者がチェックしたい、死活監視（接続確認、プロセス確認）、ログ監視（エラーレベルによる監視）、リソース監視（ディスク容量、CPU利用状況、メモリ利用状況、ディスク容量など）、データベース監視（データベースサイズ、接続数）、性能監視（チェックポイント発生状況、キャッシュヒット率、デッドロックなど）の監視に対応している。 Zabbixの機能によって、閾値によるアラート設定や、監視データの蓄積によるヒ

PostgreSQLデータベースのスキーマやインデックスの管理、SQLの実行などをWebブラウザから行えるツール「PostgreSQL Studio」が、オープンソースで公開されました。 PostgreSQL Studioは、データベース内のテーブルのスキーマを参照し、また列やインデックス、ビューや制約、トリガーなどの作成や変更、SQL文の実行などを行う機能としてSchema Brwoser、Detail Browser、SQL Worksheet、Object Wizardsなどを備えています。 Webブラウザから利用できるため、PostgreSQL StudioをPostgreSQLと同じファイアウォールの背後に置いておき、HTTP経由でアクセスすることにより、安全にデータベースを管理できると説明されています。 Javaで記述され、複数のPostgreSQLバージョンに対応 対応するP

オンライン決済システムを提供する米stripeが、MongoDBとPostgreSQLをリアルタイムで同期させるツール「MoSQL」を公開している。これを利用することで、リアルタイム性が必要な処理はMongoDBに行わせ、複雑なSQLクエリが必要な分析処理はSQLデータベースで行う、といった構成が可能になる。 MoSQLは「MongoDB→SQLストリーミングトランスレータ」をうたうツール。MongoDBクラスタに格納されているコンテンツをリアルタイムでPostgreSQLにインポートできるという。これにより、MongoDBでサービスを運用し、オフラインでのデータ解析やレポートはSQLを使って実行する、といった分業が行える。 MongoDBにはスキーマがないため、実行時にはMongoDBに格納されるデータをSQLで扱える行形式のデータに変換する定義ファイルが必要となる。定義ファイルはYAM