ランキング参加中プログラミング はじめに この記事では、Immutable Data Modelと呼ばれる設計手法をもとに、リレーショナル・データベースにおける、テーブル設計の話を書いています。また、今回の実践で利用する、別の考え方の背景を理解するために、Out of the tar pitという小論文の内容にも言及します。 「状態とは何か？」というややこしい話がたくさん出てきますし、データベースのテーブル設計についての話であることから、たくさんのSQLが出てきます。なので、データモデリングとか状態管理とか、特にSQLとかに興味がない人には面白くないと思います。 そのあたりに興味ある方は、読んでみて欲しいです。 Immutable Data Modelを、実際のアプリケーションで使うデータベースに採用するにあたり、どういう考え方で、どのようにテーブルを構成したか、自分なりの経験を書いていま

ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］ 日常的に多数の同時アクセスが発生し、大量のデータが蓄積されるオンラインゲームのバックエンドは、データベースにとってもっとも過酷な環境の1つだといえます。 このバックエンドデータベースとしてよく使われているのがMySQLデータベースです。しかしその使われ方は一般的なMySQLとは異なり、データベースを細かく分割して多数のサーバに負荷を分散するシャーディングと呼ばれる仕組みを構築するなど、複雑なシステム構築と運用が行われているのが現実です。 そこで急速に注目度を高めているのが、MySQL互換でありつつ分散データベースの機能を備え、シンプルなクラスタ構成で高い負荷に耐える、いわゆる「NewSQL」と呼ばれる分野の代表的なデータベースの1

UUIDは「Universally Unique Identifier」の略称で、世界中のどこにも重複が存在しない唯一のIDという特徴があります。UUIDには歴史的な経緯によっていくつかのバージョンが存在していますが、2023年10月時点で標準化の作業が進行中のv7についてCI/CDサービスを提供する企業のBuildkiteが解説しています。 Goodbye to sequential integers, hello UUIDv7! https://buildkite.com/blog/goodbye-integers-hello-uuids UUIDは128ビットの数字で、大部分をランダムに作成することで重複する確率を限りなくゼロに近づけており、実質的に世界中のどこにも存在しない唯一のIDとみなせるようになっています。しかし、完全に数値がランダムのためプライマリキーとして使用するとデータ

Tsurugiが正式にOSSとして公開されました。 https://tsurugidb.com/ （劔"Tsurugi"コミュニティサイト右上のGithubリンクよりダウンロードください） 現在の最新の技術で実装されたOSSのRDBです。同時に解説書籍も発売になっています。※Kindleもあり https://amzn.asia/d/gHwrzTl  （Amazonのページが開きます） さて、触ってみたいがどうしましょう？という場合は、「とりあえずinstallして動かす」ということになります。 単純に「動かす」だけであれば、手元のPCや適当なクラウドのインスタンスでよいかと思います。Dockerイメージがあるので、それを利用する方法がもっともお手軽です。 手順は以下です。 ・Tsurugi Getting Started https://github.com/project-tsurug

クラウドネイティブなアプリ開発において、スケーラブルなデータベースとして普及が進むNewSQL。本セッションでは、PingCAPが開発するNewSQLのオープンソースデータベース「TiDB」の特徴やメリットについて、PingCAPでCTOを務める林正記氏が解説した。 PingCAP株式会社 CTO 林 正記氏 RDBの課題を克服する新しいDB、NewSQLとは何か NewSQLは、これまでRDB（Relational Database）がデメリットとする拡張性や処理速度、NoSQLにおけるデータの一貫性や検索機能の甘さを解決し、メリット部分はそのままサポートしてくれるデータベースとして注目されている。 MySQLプロトコルとも互換しているため、RDBに対するスキルセットを活かすことができる。また、NewSQLは完全分散型なので、リードレプリカを通じてレプリケーション遅延がなくなるといったメ

おはこんばんちは、Database Reliability Engineer (DBRE) の橋本です。今回は、pt-online-schema-changeというデータベースのスキーマ変更ツールを社内の運用に持っていくための過程や、freeeにおける運用上の工夫を紹介します。pt-online-schema-changeはある程度枯れた技術なので、いくつか事例が紹介されており、すでに運用に乗せている組織もあるかと思われますが、これから新規に導入する方などの参考になると幸いです。 背景 freeeではほぼ毎月ペースで深夜に定期メンテナンスを行なっており、おもにインフラの更新作業やアプリケーションの機能追加に伴うデータベースのスキーマ変更が行なわれます。 ここで少し寄り道をして、スキーマ変更を行なうためのMySQL（ストレージエンジンにInnoDBを使っている前提で進めます）のDDLのパター

yokuo825さんのカッコいいインタビュー記事を t.co 読んで、この部分ですね ──例えばどのような話をしましたか？ 「インストールされたばかりのMySQLがあるとして、特定テーブルに1件のレコードを最初にINSERTした場合、アクセスが発生するファイルとその理由をすべて教えてください」と質問されたのを覚えています。 具体的にどのような理由でどのファイルにアクセスするか、一連の流れを片っ端から答えていくと、彼らがすごく楽しそうにしてくれて。「そうか、LINEの環境だと○○の設定が最初から○○になっているので、そのファイルへのアクセスは考えていなかったです。確かにそれもありますね」などと答えてくれました。 でこんなツイートしたんですが 全国のDBAは「特定テーブルに1件のレコードを最初にINSERTした場合、アクセスが発生するファイルとその理由をすべて教えてください」これ明日から職場で

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」。LINEの技術組織で働く人々に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現していきたいことなどを聞いていきます。 今回登場するのは、MySQLエキスパートとして広く名を知られる田中翼（@yoku0825） 。日本人として3人目のMySQL分野のOracle ACEであり、2015年には「default_password_lifetime」の功績でMySQL 5.7 Community Contributor Awardに選出された田中は、2021年6月よりLINEのITSC DB

DMM.comは、動画配信やオンラインゲーム、オンライン英会話から株式や外国為替の取引まで、さまざまなサービスを20以上のグループ会社で提供しています。 同社のデータ基盤のデータベースにはMySQLが採用され、運用されてきました。 そのデータベースをMySQL 8.0へ移行するにあたり、移行先の候補とされたのがOracle Cloud上のマネージドサービスとして提供されているMySQLの新サービス「MySQL Database Service with HeatWave」（以下、HeatWave）です。 DMM.comは同社の実際のデータとSQLを使ってHeatWaveを評価。結果として最大で3000倍もの性能向上が得られたとする発表を、2021年5月に行われたウェビナー「DMM.comにおけるMySQL活用術とHeatWave検証結果解説」で行いました。 またオラクルはHeatWaveの

オラクル、インメモリグリッドの「Oracle Coherence」をオープンソース化。「Oracle Coherence Community Edition」を発表 Coherence goes open-source! https://t.co/v3gR5WBJsg — Oracle Coherence (@OracleCoherence) June 25, 2020 Oracle Coherenceは、データベースの手前に設置することで巨大な共有データベースキャッシュとして機能し、システムのボトルネックになりやすいデータベースの性能やスケーラビリティの向上を実現します。 それだけでなく、万が一データベースが落ちたとしてもそれをクライアントに対して隠蔽できるため、クライアントは処理を継続しつつ裏でフェイルオーバーなどを実行することで、システム全体の可用性の向上も実現するなどの機能も提供し

インメモリキーバリューストアのRedisを開発するRedis Labsは、複数のRedisをクラスタ化することで高い可用性を実現しつつ、クラスタ内で強い一貫性の保持を実現するクラスタ化ソフトウェア「RedisRaft」を発表しました。 Introducing RedisRaft, a new strong-consistency deployment option for Redis in beyond-cache scenarios requiring a high level of reliability and consistency. #RedisRaft https://t.co/2l5dmiVFpk — Redis Labs (@RedisLabs) June 23, 2020 Redisはメモリ上でキーバリューデータを扱うインメモリデータベースで、その高速性が大きな特長です。

オープンソースのリレーショナルデータベース「PostgreSQL 12」の正式版がリリースされました。PostgreSQL 11の登場から約1年ぶりのメジャーバージョンアップです（日本語プレスリリース）。 PostgreSQL 12では、Bツリーインデックス周りの改善、サイズ縮小などにより全体的な性能向上を実現。パーティション化されたテーブルに対するクエリでは、テーブル管理情報を効率的に作成、操作することにより、特に数千もの多くのパーティションから構成されるテーブルに対する検索での性能向上につながっています。 jsonb型のデータに対して、SQLでの問い合わせにJSONパスが利用可能になりました。これによりJSONデータに対する部分指定での抽出が可能になりました。 インデックスへの書き込みをブロックせずにインデックスを再構築するReindex Concurrentlyコマンドが導入されたた

2019年3月6日紙版発売 2019年2月27日電子版発売 曽根壮大　著 A5判／288ページ 定価3,014円（本体2,740円＋税10%） ISBN 978-4-297-10408-5 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 「データベースがよく落ちる」「前任者が残したテーブル，SQLが読み解けない」「RDBMSを入れ替えたら予期せぬバグが」――MySQLやPostgreSQLといったRDBMS（リレーショナルデータベース管理システム）を使った業務システム，Webサービスを設計・運用していると，こういった問題によく直面するのではないで

マイクロソフト、PostgreSQL用の分散DBエンジンをオープンソースで開発するCitus Dataを買収。Azure上のPostgreSQLサービスを強化 米マイクロソフトは、PostgreSQL用の分散データベースエンジンを開発するCitus Dataの買収を発表しました。 We’re absolutely thrilled to announce that @microsoft has acquired Citus Data! #PostgreSQL #Azure #AzureDB https://t.co/NQLH5j28gQ — Citus Data (@citusdata) 2019年1月24日 Citus DataはPostgreSQLの拡張機能として、自動的にデータベースのシャーディングを行うことで複数のノードに処理を分散し、スケールアウト可能なデータベースを実現するデー

Amazon Redshiftの動作はつねに計測されており、この半年の改良で3.5倍もの高速化を実現した。AWS re:Invent 2018 Amazon Web Servicesはラスベガスで年次イベント「AWS re:Invent 2018」を開催中です。 Amazon.com CTOのWerner Vogels氏による基調講演でVogels氏は、今月1日にAmazon.comのデータウェアハウスをOracleからAWSのデータベースサービスであるAmazon Redshiftへ移行したことを明らかにしました。 「今年、うれしかった日が実は11月1日だった。この日は、世界最大級のOracleデータウェアハウスのスイッチをオフにし、Redshiftへの移行を行った日だ」（Vogels氏） Amazon Redshiftへの移行を実現した背景には、徹底的な改善があったとVogels氏。

Clustrixは複数のサーバをクラスタ化し、そのうえでMySQL互換の分散データベースを稼働させる仕組みを備えています。サーバを増設することで性能向上を実現できるスケーラブルな性能の実現と、クラスタ内のサーバが障害などで停止したとしてもクラスタ全体としては継続稼働する高可用性を実現する製品です。 Clustrixのデータベース内に保存されるデータは自動的に複数のサーバへ分散して複製されます。クラスタ内のどのサーバが受け取ったクエリであっても処理対象のサーバへ送られ分散して実行されることで、分散処理による高性能とデータの複製による高可用性を実現。 MariaDBは今年の3月にMammothDBを買収し、OLAP製品であるMariaDB AXの強化を行っています。そして今回の買収はOLTP製品であるMariaDB TXの強化であり、同社にとって今年は買収によって主力製品群を強化する年になった

MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと 複数ドキュメントに対する操作をコミット／ロールバック可能に 今回実現するマルチドキュメント対応のACIDトランザクションとは、「start_transaction」によりトランザクションの開始を宣言したあとで、複数のドキュメントに対する操作を行い、そのいずれかが失敗したときにはロールバックしてすべてのドキュメントをトランザクション開始前の状態に戻す、というもの。 ドキュメントに対する操作がすべて成功し、「commit_transaction」でトランザクションのコミットが宣言された場合、その状態が確定されます。 同社共同創業者兼CTOのEliot Horowitz氏は、こうしたACIDトランザクションの実装による性能劣化はないと説明してい

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon Aurora Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適