現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 レプリケーションされるのはトランザクションログ

「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前………　へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必

ここ最近、何やらデータベースの相談をされることが何やら多くなってきたmasamikiです。 今、とあるプロダクトの開発をしようと、要件まとめたり設計したりたりしてるのですが、この仕組みをやるためには…version管理いるなぁ…gitが欲しいなぁ……となってます。 そして、調べてみたところ、2年も前のものですがこんな記事を見つけました。 「DoltとDoltHubが我々の結論だ」とおっしゃってます。 Doltとは Doltは、Gitリポジトリと同じように、フォーク、クローン作成、ブランチ、マージ、プッシュ、プルできる最初で唯一のSQLデータベースです。（← by Google翻訳） おぉ、まさしく、そのままんま、これだ。 他にも、GitRows とかも使えそうかな…と思ってみていたものの、どうやら今の要件にあうのあはDoltっぽそう。 上記事だと、他にもdata.world（Microso

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます MongoDBは米国時間4月24日、モバイル機器向けに最適化した軽量の埋め込み型データベースを手がけるRealmを買収することで合意したと発表した。2010～2014年にかけて開発され、2017年に商用版がリリースされた「Realm」は、オブジェクトベースの埋め込み型データベースであり、およそ20年という歴史を持つ「SQLite」の代替としてしばしば位置付けられている。 今回の買収の背景として、「MongoDB」はモバイルアプリケーションのバックエンドとして用いられることが多い一方、モバイル機器への組み込みに適したコンパクトなバージョンがないという点がある。Realmは、10万人以上の開発者が活発に利用している人気のプラットフォームとな

※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

6. Step1 エンティティの抽出 発送担当者が受注リストをもとに、商品の在庫を確認し、在庫が あれば商品を発送する。 ① 要求仕様の「動詞」を抜き出しエンティティとする。 ② ①に関わる「名詞」を抜き出しエンティティとする。 ③ エンティティ間の関連に線を引く ④ 属性や候補キーも分かる範囲で書いておきます。 間違い！ この段階で実装をプロパティファイルにするとか、Enum にするとか決め打ちでエンティティとして表さないのはや めましょう。 まず、はじめにエンティティを抽出します。

Facebook、Key-Valueストア「RocksDB」をオープンソース化：C++ライブラリとして構築 米Facebookは、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 米Facebookは2013年11月22日、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 Facebookによると、これまでのアプリケーションでは、ネットワークを介したリモートプロシージャコールによって各アプリケーションが管理しているデータにアクセスするのが一般的だった。しかし12億人のユーザーごとにリアルタイムで動的なページを生成しているFacebookのようなアプリケーションの場合、それでは時間が掛かり過ぎるという難点が

2010年9月3日、key-valueストア「Redis」のバージョン2.0系となる2.0.0がリリースされました。Redisは昨今流行りのNoSQLデータベースに分類されるもので、memcachedなどと同様にキーとそれに対する値をメモリ上に保持しますが、値は文字列だけでなくListやSetなどのデータ型もサポートしていたり、終了させてもデータが消えないよう、非同期でディスク書き出しが行えるなど永続性を持っていることが特徴です。今回のバージョンアップにより主に変更された点は以下のとおりです。 複数のコマンドをアトミックに実行できる「MULTI/EXEC」 複数キーから値を取得する「BLPOP/BRPOP」コマンドの追加 非同期メッセージング（PUBLISH/SUBSCRIBE）の導入 1つのキー上に複数のkey/valueを持てるハッシュデータ型の追加 実メモリ以上のデータを扱える仮想メ

2010.12.23 追記 本エントリの続編となる「実装編」のブログを書きました。 こちらも合わせて読んでみてください。 O/Rマッピングツールに対する誤解をときたい -実装編 Part1- - give IT a try 本文にコメントすると泥沼に巻き込まれそうなので、ここに書いておきます。。。 http://el.jibun.atmarkit.co.jp/g1sys/2010/05/post-2d1b.html なんかこのコラムのコメントを読んでいると、「O/Rマッピングツール(ORM)はSQLを書きたくない開発者のためのツールだ」と思われているような感じを受けます。 おいらはこれまでORMを使った開発プロジェクトに3回参加しました。 確かに最初のプロジェクトでは「SQLを書かなくてもいいんだよ」とリーダーから説明されたような記憶があります。 しかしその発想は大きな誤解です。 ORMを

Excelで作ったデータをデータベースに取り込む、なんて要件はよくある。面倒だがExcelデータをCSVに変換して、1番目のカラムが名称、2番目のカラムが価格…なんて定義したりした経験はないだろうか。 ビジュアル的にデータのインポートを定義する それがさらに関連しているテーブルに渡って処理しないといけないなんてなったらパニックだ。そこで使ってみたいのがdbTubeだ。 今回紹介するフリーウェアはdbTube、ビジュアル的にモデル定義ができるインポートプログラムだ。ソースコードは公開されているがライセンスは明記されていなかったのでご注意いただきたい。 dbTubeの良さは何と言ってもビジュアル的にデータの定義ができることだ。Open-jACOB Draw2Dを使って元になるExcelデータとテーブルのマッピングがドラッグアンドドロップでできる。さらにExcelデータは何行目から読み出すかと言

以前に読んだGoogleに関する本にも同じような技術に関する記述があった（タブレット辺りだろうか）。Googleで使われている技術はGoogleだからこそ（圧倒的台数のコンピュータ、ネットワーク、その需要など）できることだが、その論文を元に同様の技術を一般のサービスでも利用できるレベルに落とし込んでくれる人たちがいる。 サーバを起動した所 オンメモリのKey-Valueデータベースと言えばmemcachedが有名だ。だがmemcachedは再起動すればその内容が消えてしまう。逆に常にHDDに書き込めば内容は保持されるが、ディスクアクセスが多くなってしまい利点が活かせなくなる。その中間を担うのがRedisだ。 今回紹介するオープンソース・ソフトウェアはRedis、永続化にも対応したオンメモリKey-Valueデータベースシステムだ。 RedisはKey-Valueのデータベースではあるが、一

オフィスの現場でよく使われるMS Officeの製品と言えばExcelが代表になるだろう。そして小さめの業務アプリケーションはAccessを使って構築されることが多い。この二つが便利すぎるために、MS Officeからの離脱が図れないというケースは良くある。 MS Access対抗ソフトウェアだ いきなりでは難しいかも知れないが、これから作るアプリケーションはKexiを使ってみてはどうだろう。これならばLinuxやMac OSXでも利用できる。 今回紹介するオープンソース・ソフトウェアはKexi、MS Access対抗というべきソフトウェアだ。 KexiはMS Accessライクなソフトウェアで、テーブルを作成し、クエリーを作ったりフォームを作成することができる。データはビジュアル的に編集が可能で、フォームもオブジェクトをドラッグアンドドロップで配置できる。 フォームの作成もドラッグアンド

プログラミングのソースコードに対してはCVSやSubversionが使われてバージョン管理が行われるようになっている。だがデータベースの構造管理は煩雑で、そのためにRailsのMigrationという仕組みは非常にウケが良かった。 管理画面。ユーザ管理などもここで行う。 ソースコードに手が加われば、データベースの構造だって変化する可能性はある。その刻々とした変化を追うにはバージョン管理システムが必要だ。 今回紹介するオープンソース・ソフトウェアはDeltasql、データベースの履歴管理ソフトウェアだ。 DeltasqlはPHPで作られたWebベースのソフトウェアで、MySQL/PostgreSQL/SQL Sever/Oracle/Sybaseに対応したデータベース構造の管理を行うことができる。実際のデータベースをそのまま管理するのではなく、スキーマ情報だけを管理するというイメージだ。その