はてなブックマーク

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

このページでは PostgreSQL のエクステンション(extension)を開発する人向けに、プログラム中で用いるメモリ管理関数を紹介する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2017.03.26) 作成。 (2017.04.02) 共有メモリの利用方法を追加。 目次 1. はじめに 2. MemoryContext を使ったメモリ・アロケーター 2.1 Memory Context API 2.1.1 AllocSetContextCreate 2.1.2 MemoryContext からのメモリ割り当て・解放 2.1.3 MemoryContext の解放・削除 2.2 Out-of-memory エラーの捕捉 2.3 既定のメモリ・コンテキスト 3. 共有メモリの利用方法 コメント 1. はじめに PostgreSQL の C 言語で記述するユ

このページでは PostgreSQL のエクステンション(extension)を開発する人向けに、PostgreSQL のテーブルやインデックスを構成するブロックまたはページの内部構造について紹介する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2017.03.01) 作成。 (2017.03.04) ヒープ操作、システムカタログ、Relation cache entry の説明を追加。 目次 1. はじめに 1.1 PostgreSQL データの構成要素 1.2 Object Identifier (OID) 1.3 データディレクトリ 2. リレーション(Relation) 2.1 リレーションの概要 2.2 データディレクトリ中のリレーションの実体 2.3 リレーションの構造 2.4 API を使った操作 2.4.1 Relation Cache Entr

PostgreSQL の内部構造の解説 基本データ型とタプルの扱い テーブルとブロックのデータ構造 メモリ管理関数の解説 排他制御の概要 プランツリーの概要 プラン最適化の解説 クエリー実行の解説 トランザクション & MVCC & スナップショットの仕組み エクステンションの開発方法 エクステンションの作成方法(Makefile、テスト、リグレッション) 集合を返すユーザー定義関数の書き方 バックグラウンドワーカー(Background Worker)の使い方 外部データラッパー(Foreign Data Wrapper)を作成する カスタムスキャン(Custom Scan)を作成する 独自の手続き言語を作成する 独自のインデックスを作成する コーディングスタイル

PostgreSQL で C 言語を使ったエクステンション(Extension)を作成する際に必要なコーディングスタイルのメモを残す。 ここで述べているコーディングスタイルは PostgreSQL のソースコードをサンプリングしてこういうルールだろうと類推したものである。 PostgreSQL ソースコード自体にもブレがあり、このルールに沿っていない箇所も多いので、参考までにして欲しい。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2017.01.26) 作成。 目次 1. 公式のコーディング規約 2. 構文 2.1 .c ファイルのヘッダー 2.2 .h ファイルのヘッダー 2.3 コメント 3. 構文 3.1 関数の定義 3.2 ローカル変数の定義 3.3 ステートメント 3.4 if 文のぶら下がり構文 3.5 スペーシング 3.6 可変長構造体 3.7 そ

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

このページでは PostgreSQL をハックしたりエクステンション(extension)を開発する人向けに、PostgreSQL の扱っているデータ型の内部とタプルの内部構造について紹介する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2016.09.18) 作成。 (2017.04.01) attisdropped の情報を追記。 目次 1. はじめに 2. 基本的なデータ型 2.1 Datum の操作 2.2 データ長の取得 2.3 コピー操作 2.4 入出力変換操作 3. varlena 型 4. Heap Tuple と Minimal Tuple 4.1 Heap Tuple 4.1.1 t_infomask、t_infomask2 4.2 Minimal Tuple 5. Tuple Descriptor 6. TupleTableSlot 6.1

このページでは PostgreSQL のトランザクション(Transaction)、Multi Version Concurrency Control(MVCC)、スナップショット(Snapshot)の仕組みを説明する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2016.04.30) 作成。 (2016.09.16) データ定義言語(DDL)のトランザクションを追加。 (2016.09.28) データ定義言語(DDL)の MVCC アンセーフ動作を追加。 (2017.04.07) Combo Command ID の説明が間違っているのを修正。 目次 1. はじめに 2. トランザクション分離レベル(Transaction Isolation Level) 3. Serializable 以外の分離レベルの実現方法 3.1 トランザクションとと可視性(Visi

このページでは Teiid または Teiid Data Virtualization と呼ばれるミドルウェアの簡単な紹介を行う。 Teiid に関する他のページはTeiid Data Virtualization の覚え書きのインデックスからたどれる。 更新履歴 (2016.05.02) 作成。 目次 1. データ仮想統合とは 2. Teiid とは 3. Federated Planning 3.1 Pushdown 3.2 Depedent Joins 4. Embedded Teiid コメント 1. データ仮想統合とは データ仮想統合(Data Virtualization) とは、複数の異なる情報を単一のフォーマットに見せる技術全般を指す。 例えば、 Oracle、MySQL、PostgreSQL のような様々なデータベースが運用されているが相互アクセスしたい。 Active

このページでは InfiniBand のソフトウェアスタックの位置づけを紹介する。 以下は関連ページ。 InfiniBand プログラムの覚え書きのインデックス 更新履歴 (2014.04.25) 作成。 (2014.04.26) RDMA CM の説明を追加 (2014.05.11) API にリンクを貼る 目次 1. 概要 2. Upper Level Protocol (ULP) 2.1 User Verbs 2.2 IP over InfiniBand (IPoIB) 2.3 RDMA Communication Manager(CM) コメント 1. 概要 InfiniBand のネイティブ API は InfiniBand Verbs と呼ばれる。 Verbs は動詞を意味する verb から来ている。 InfiniBand 仕様の中で、API のようにガッチリした規約を作らず

このページでは PostgreSQL のプラン情報を保持するノード・ツリーの概略を解説する。 また PostgreSQL の生成するプランのノード・ツリー情報を可視化するために、Graphviz の dot ファイルとして書き出すエクステンション pg_plan_tree_dot を紹介する。 PostgreSQL 本体の改造やエクステンションを作成するために、プランを変更しようとする人向けの記事である。 現在は pg_plan_tree_dot は Linux の PostgreSQL 9.x 上でだけ動作する。 PostgreSQL の他の記事へのインデックスはここ。 更新履歴 (2014.11.30) 作成。 (2015.12.13) エクスプレッション・ノードとプラン・ノードを追加 (2016.09.24) Join と TargetEntry の説明を追加 (2017.01.07

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

メモ InfiniBand プログラム InfiniBand プログラムに必要な基本的な概念 ソフトスタックの位置づけ まず InfiniBand Verbs プログラムを作成してみよう QP ステートの遷移を理解する 各オペレーションを使ってみる 再送制御を理解する エラーハンドリングのモデルを理解する API リファレンス x86-64/Linux で動作するソフトウェアベースの InfiniBand ドライバ Pseudo InfiniBand HCA driver(pib) リンク 参考になるリンクをリストアップしておく。 InfiniBand Trade Association … Specification Download のページから仕様書が手に入る(フォームに入力が必要)。 以下は手に入る主な仕様書名。 InfiniBand Architecture Specificat

このページでは InfiniBand Verbs プログラムをはじめるのに必要な基本的な概念を説明する。 この文書の情報は RDMA_CM API を使ったプログラムをする場合にも有効だと思われる。 以下は関連ページ。 InfiniBand プログラムの覚え書きのインデックス 更新履歴 (2014.03.29) 作成。 (2014.04.04) 6.2 QP番号とマルチキャストと 8 章以降を追加 (2014.04.16) 12.3 Partition を追加 (2014.05.11) API にリンクを貼る 目次 1. イーサーネットを振り返ってみる 2. では InfiniBand Architecture は？ 3. InfiniBand Fabric 3.1 LID Routed Network 3.2 構成部品 3.3 Subnet Management 4. メモリモデル：ゼロ

作成日：2014.03.13 更新履歴 (2014.0313) 2013年6月27日の日記と2014年3月3日の日記から作成。 目次 はじめに strcoll 関数 strxfrm 関数 疑問 UTF-8 の話 文字列照合順序(Collation) L1 Base Characters L2 Accents L3 Case/Variants L4 Punctuation Llast Identical ライブラリ実装 参考文献 コメント はじめに C 言語の文字列の比較は strcmp() を用いるのが一般的である。 この関数は 2 つの NULL 終端文字列を先頭から符号なしバイトとして比較し大小関係を決める。 一方、文字列が各国のロケール(locale)を持つ場合、言語・国固有の文字列の照合順序(collation)が存在する。 Collation に基づいて文字比較を行うには str

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

ここでは分散ファイルシステム Cephファイルのインストール方法や解説を行う。 Ceph は Linux 上で動作する分散ファイルシステム(Distributed File System; DFS)の一つ。 UCSC の Sage Weil の博士論文が元となり、ペタバイト級の高性能な DFS を実現することを目標としている。 オープンソースとして開発されており、Linux カーネル 2.6.34 から取り込まれている。 リスト Ceph を使ってみる … Ceph のインストール方法と cephfs の基本的な使い方 Rados Block Device(RBD) を使ってみる … RBD の基本的な使いかた CRUSH マップの書き方 … Ceph の CRUSHマップの書き方を解説 RADOS の概略 (RADOS と CRUSH と Placement Group の関係) … 論

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

作成日：2012.11.17 更新履歴 (2012.11.17) 作成。 (2017.12.24) Equal Ordered の疑似プログラムが誤っていたのを修正。 目次 命令の解説 要素の型(Byte or Word / Signed or Unsigned) 比較操作(Aggregation Operation) 文字列の終わり以降の扱い ビット反転(Polarity) Output Selection フラグ変化 余談 コメント 命令の解説 PCMPESTRI、PCMPESTRM、PCMPISTRI、PCMPISTRM の 4 命令は SSE 4.2 からサポートされた文字列比較のための命令だ。 この命令グループには String and Text Processing Instructions という名前がついているが、この文章ではまとめて PCMPxSTRx 命令と呼ぶことにす

2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1

DFS: A File System for Virtualized Flash Storage FAST10 にプリンストン大学の William K. Josephson らの DFS: A File System for Virtualized Flash Storage という論文が投稿されている。 NAND flash 上に構築するファイルシステムの理想形はこうなると考えたプロトタイプである。 DFS という名前だが分散ファイルシステム(Distributed File System)ではなく、 Direct File System の略である。 ZFS、btrfs、ext4 などと同じローカル用のファイルシステムだ。 ただし Fusion-io 社が噛んでいて ioDrive に実装している。 ioDrive 固有の機能も利用していると推測される。 逆に最近 Fusion-io