2020/5/20、Infra Study Meetup#2のLT資料です。

厳格なOLTPと高速なOLAPを両立 新RDBの特徴は厳格なOLTP（オンライントランザクション処理）が可能でありながら、ビッグデータ分析にも使用できる高いOLAP（オンライン分析処理）性能を有していることだ。OLTPとOLAPの両立はHTAP（Hybrid Transaction／Analytical Processing）と呼ぶ。OLTPで用いる行方向のデータは不揮発性メモリーを採用する主記憶（メインメモリー）に格納し、OLAP用の列方向のデータを2次記憶装置に格納する。2次記憶装置にも不揮発性メモリーを使用する。 OLTPに関しては、トランザクション処理の分野で一般的なベンチマークである「TPC-C」において1ノードで1000万トランザクション／秒（TPS）の達成を当面の目標とする。そしてトランザクション処理においては、一貫性と隔離性のレベルを示す「トランザクション分離レベル」が最も

Red HatでOpenShiftのサポートをしているid:nekopです。OpenShift 全部俺 Advent Calendar 2018 - Qiitaの6日目のエントリです。 JapanContainerDays v18.12でも何度か話題になったのですが、データベースをKubernetes上で動かすのは良くないであるとかアンチパターンである、というようなお話が何度かありました。直接聞いたわけではなく伝聞であるケースが多いので、きちんと理由まで説明されていたかどうか、というところは少し不安です。 まず、このような使い方はKubernetesの公式ドキュメントにも普通に載っています。OpenShiftのユーザの方は普通にMySQLやPostgreSQLデータベースをOpenShift上で動かしていますし、デフォルトでカタログに入っているので数クリックで利用可能です。 Kuberne

The benefits of modeling data as events as a mechanism to evolve our software systems. For as long as we’ve been talking about microservices, we’ve been talking about data. In fact, before we even had the word microservices in our lexicon, back when it was just good old-fashioned service-oriented architecture, we were talking about data: how to access it, where it lives, who “owns” it. Data is all

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong. Try our tutorial Stream changes from your database

テストを流したらデータベースを起動していなくて、テストが全部コケさせることがよくあり、悩んでましたが、 @making さんに testcontainers を教えてもらったので試してみました(経緯は若干違う)。 github.com testcontainersはテスト時にのみ使う使い捨てのデータベースなどをテスト時だけにDockerを用いて起動するライブラリーです。コンテナの設定値などをプログラムで記述できるため、うまく使えば設定を誤っていたがためにテストが落ちるなどのトラブルを回避できるかもしれません。 概要 この記事で書く内容は次のとおり。 testcontainers をtest compileスコープで用いる JUnit4の ClassRule の Container オブジェクトにてコンテナを起動する ClassRule の Container から接続するデータベースの接続

About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)

昨日、分散DB本読書会のあとに品川のラーメン屋でリアルタイムとは何ぞや〜みたいな話になった。自分の思いついたポエムをここに書いておこう。現場の問題とはあまり関係がない。 Stream Data Processing: A Quality of Service Perspective (Advances in Database Systems)という本によれば、DSMS (Data Steram Management System) とDBMS (Database Management System)の違いは、クエリを発行するデータ集合の性質にある。つまり、DBMSは今ある有限のデータに対して操作を行うための仕組みで、DSMSはこれからやってくる無限のデータに対して操作を行うための仕組みと定義されていた。このDSMSというやつは、古式ゆかしいストリーム処理システムのことで、まあいわゆるCEP

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 70歳を超えたMichael Stonebraker氏は気楽になってもよさそうなものだが、どうやらそうではないようだ。データベース研究のパイオニアである同氏は、いまだに週の大半をマサチューセッツ工科大学（MIT）で過ごし、残りの時間は自身で立ち上げたスタートアップ企業の仕事をしている。 その上、同氏は最近、「現代のデータベースシステムの基盤となる概念や慣行に対して基礎的な貢献をした」として、毎年計算機科学に貢献した人物に与えられるチューリング賞を受賞したところだ。 現在この賞はGoogleの協賛を受けており、受賞者には100万ドルの賞金が与えられる。過去の受賞者には、Alan Kay氏（オブジェクト指向プログラミングとSmalltalk

今やシステムとデータベースの関係はN：Nが当たり前だ。アーキテクトが外せないデータベースの関連知識の筆頭がトランザクションの整合性に欠かせない「ツーフェーズ」という考え方だ。非常に強力な半面、使いすぎるとシステム運用が硬直化する恐れがある。適切に使うコツをつかみたい。 一般的なオープン系のトランザクションはデータベースを中心に考えられており、その排他制御はRDBMSのRM（Resource Manager）機能が担っている。現在のICTシステムでは特定のデータベースを多様な処理形態で共有したり、複数のデータベースを同時に扱ったり、データベースとメッセージキューのトランザクション同期が必要になるケースがある。ここで必要なのが、データベースなどの特定のリソースに対する排他制御である「ツーフェーズロック」と、その上位で複数のリソースを対象に整合性を制御する「ツーフェーズコミット」である。 トラン

This is the November 2024 issue of the monthly DB-Engines Ranking of database management systems. You can find the complete and most up-to-date ranking at DB-Engines.com. RankDBMSScoreChanges1.Oracle1317.01+ 7.572.MySQL1017.80-4.953.Microsoft SQL Server799.81-2.284.PostgreSQL654.34+ 2.185.MongoDB400.93-4.286.Redis148.64-0.996.Redis148.64-0.997.Snowflake142.50+ 1.908.Elasticsearch131.64-0.208.Elast

DELETE_FLAG という思考停止フラグ DELETE_FLAG という boolean の列が DB 設計でよく話題になります。 論理削除という言葉で上手に論理武装し、スキを見せるとすぐに入れたがる人がおり、 一方でそれにつよく反対する人もいます。 自分の経験としては、広義の論理削除はありえると思いますが、実現方法が DELETE_FLAG だとなった時、それはあまり考えてないでなんとなくパターンとして盛り込んでる場合が多いと感じます。 ただし、設計に唯一の答えは無いので、もしかしたらそれが妥当な設計である場合があるかもしれません。 今回は「DELETE フラグがなぜダメなのか？」などという話をするつもりも、アンチパターンだと断言するつもりもありません。 問題は、仕様をきちんと把握すると、「最適な設計は DELETE_FLAG ではない」という場合が有って、その場合は、その最適な設計

横断的にDB操作の類似コマンドを探すためのサイト 例えば MySQL を知っている人が 新しく他のデータベース、例えば Oracle を学習する際に MySQL でいうところのアレは Oracle ではどういうコマンドなんだろう という感じに情報を探す場面が多くあります。 そういう類の情報を探すときに役に立ちそうなリファレンスサイトを作りました。 xref.jp xref.jp - Database 追記: コンテンツ増やしました yum, apt-get, rpm 等々の横断比較リファレンス - clock-up-blog ソースコード GitHub に上げてあるので興味ある人は見てみると良いです。 kobake/xref.jp · GitHub PHP で書いてます。すんごい汚いです。謙遜じゃなくて本当に。 プルリク歓迎。 機能 マトリクス方向の切替 比較表の見出しの向きって、その組み

WEB+DB PRESS の Vol.84 で、データベースマイグレーションの記事を書いたので是非読んでくださし。 2014/12/23 発売ですので、既に購入頂いてる方も多いと思います。 電子書籍版もありますので物理的な媒体に興味がない方は PDF を買って下さい。 WEB+DB PRESS Vol.84@Gihyo Digital Publishing今回の記事における対象読者について#データベースの構成管理はちゃんと自動化してるますか？そして、データベースの構成管理を自動化するのは恐ろしく面倒なんですなぁ。 テクノロジの話じゃなくて、開発プロセスの話であり、運用の話でもあるので凄く面倒なんですよね。 それにしたって、Rails の rake db:migrate マジ便利だし、それで上手くいってる人達だって沢山いるでよ。と、まぁそういう訳でデータベースマイグレーション頑張りましょうと

1. O/R Mapper による トラブルを未然に防ぐ Makoto Kuwata <[email protected]> http://www.kuwata-lab.com/ PostgreSQLカンファレンス 2014 ver 1.1.0 2. copyright © 2014 kuwata-lab.com all rights reserved まえがき 現在、アプリケーション開発の現場では O/R Mapper (ORM) が普及しています。今後 ã‚‚ ORM を使った開発は、増えることはあっても減ることはないでしょう。 しかし ORM は、アプリケーション開発者にとっては便利でも、DB 管理者 (DBA) か らみたらトラブルの種でもあります。それが特にパフォーマンスに関する問題であるこ とが多いため、開発者と DBA が対立することも珍しくありません。 とはいえ、ORM によ

11月の19,20日に開催されたWebDB Forumに参加してきた。カンファレンスそのものは、いろんな人に久しぶりに会えたり、ネット上でなんとなく知っていても話したことなかった人と話したり、意外な人の意外な一面をみることができたりと、とても楽しむことができた。立場としては所属している会社のスポンサー枠で参加して目的もあって発表もしてきたわけだが、いくつか思うところがあるのでここにまとめておきたい。 現実にアカデミックで起きていること WebDB Forumと銘打ってはいるものの、データベースに関する研究発表は非常に少ない。OSやネットワーク、システム系の研究と併せても、機械学習やNLP、Webなどの技術に感心を持つ人は多く数で圧倒されている。体感では 90% だ。それをいえば別に VLDB や SIGMOD などのトップカンファレンスもデータベースの技術を直接扱うことは少ないし、データベ