はじめに いろんな話題が出ているコロナ予約サイトですが、横浜市の予約サイトが公開すぐに落ちたことでまず話題になりました。 ただ、最大34万人の予約者なので 1分あたり最大100万件のアクセスを想定していたが、開始直後に200万件のアクセスがあったということで33,000TPSというかなりのトラフィックが来た事が予想されます。 対応策がサーバを増やして目標値を当初設計の6倍に引き上げるとの事だったのですが、空席照会のついた予約システムってDBにある程度同期的に書き込む必要があるので、そんな簡単にスケールアウト出来ないはずです。 JSとかCSSとかも含めてるならさておき、メインのページなどのHTMLなどを含めたPVだと仮定してもDBに数千アクセスが行きますし参照だけではなく更新も入ります。どうやったのか本当に謎なんですが、特に工夫のないアプリ実装でどのくらいスケールするのか少し気になったので試

【10月13日 CNS】アリババ系ネット決済プラットフォーム「螞蟻金融服務（アントフィナンシャル、Ant Financial）」は2日、同社が独自に開発したデータベースのOceanBaseが、TPC-Cデータベース基準性能テストの世界記録を打ち破り、前世界記録保持者であるオラクル（Oracle）の2倍の成績を獲得した。データベースで最も権威性のある国際的機構「トランザクション処理性能評議会（TPC）」が公式サイトで最新結果を報じた。 【関連記事】アリババのAI運用、毎日1兆回 世界の10億人にサービス TPC-Cは世界の主流コンピューターメーカーやデータベースメーカーが認める評価基準で、「データベース領域のワールドカップ」と称される。 中国工程院（Chinese Academy of Engineering）院士でコンピューター専門家である李国傑（Li Guojie）さんは「オラクルが9年

「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い（1/2 ページ） このほど国内累計1700万ダウンロードを突破した、スマートフォンゲーム「Fate/Grand Order」（FGO）。2015年7月末にサービスを開始し、18年には年間約885億円を売り上げた（ファミ通調べ）ほどの人気ゲームに成長したが、ユーザーが爆発的に増える中、運営元のディライトワークス社内ではインフラエンジニアが戦っていた。 彼らが経験した戦いの1つは、18年7月に実施したデータベースの負荷対策だ。同社の甲英明さん（技術部 マネジャー）は「ゲーム画面上に『ゲームサーバが混雑しています』と頻繁に表示されたり、画面が『Loading』からなかなか切り替わらなかったり、遊びづらい状況が続いていた」と、当時の深刻な状況を振り返る。 「このままでは、ファンがゲームで遊べなくなる」

2019年6月5日、『神姫PROJECT』などソーシャルゲームの企画・開発を手がける株式会社テクロスが主催するイベント「TECH x GAME COLLEGE」が開催されました。第20回となる今回のテーマは「Laravelを用いたゲームサーバーのチューニング」。株式会社ナウプロダクション主任の木村竜氏が、Laravelを活用したゲームサーバーチューニングの極意を語ります。後半パートとなる今回は「水平分散への対応」と題して、Laravelに水平分散の概念を導入するためにどんな点に気をつけたのかを解説します。講演資料はこちら Laravelで水平分散への対応 木村竜氏：それでは第2章としまして、「Laravelで水平分散への対応」を始めていきます。 この章の流れについて説明します。 はじめに水平分散する際の実装方針なんですが、Laravelで水平分散がなぜ困難なのかを確認していきます。おそらく

Cy#の河合です。今回新しくオープンソースライブラリとして、マスターデータの管理用途を主眼に置いた、読み取り専用のインメモリデータベースを公開しました。 [GitHub – Cysharp/MasterMemory] 今までのゲーム開発の経験から、「省メモリ（インメモリということもあり使用メモリ量には気を使う」「高速なデータベースロード（構築に時間がかかるとゲームの起動速度に大きく影響する）」「高速な検索（ディクショナリのルックアップと同程度のクエリ）」の３点を重視して作りました。以下がベンチマークの結果となります。 MasterMemory、SQLite、LiteDB、RocksDBがインプロセス、Memcachedのみ別プロセスのマシン内通信による比較です。SQLite（ファイル読み込み型）の4700倍高速で、1クエリでのアロケーションはゼロです。また、保存時のファイルサイズも極小です

モダンなデータベースに使われる各種技術や運用に必要な知識について、Squareのデータベースエンジニアである筆者の見解。データベースの内部構造や仕組みについての興味をかき立てる。 昨年、私はSquareで色々なデータベースの面倒を見る中で、こんなことをしてきた。 データベースのパフォーマンス問題の調査と解決 新しいアプリケーションの、データモデルのデザインやシャーディング戦略の立案 データベース新製品の評価と運用化 最初は必要に迫られてやっていた私は、それから徐々に、データベースの虜になっていった。データベースを学ぶことは、コンピュータサイエンスのあらゆるトピックを横断的に扱うことであり、その理論や実装は、洗練され、かつチャレンジングでもある。 しかし、こういった感覚は他のみんなにも一般的なわけではないということも分かってきた。私の同僚や友人の多くにとっては、データベースは魔法のブラックボ

これまでに、(主に)Amazon Redshiftで活用出来るGUIツールとして『Intellij IDEA Ultimate Edition』や『Aginity』等を紹介して来ましたが、Intellij IDEAを開発しているJetBrain社から別種のDB関連ツールが開発されているという情報を先日知りました。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ Developers.IO それがこの『0xDBE』と呼ばれるものになります。アナウンス自体は1年以上前からなされていた様で、

Sequelizeとは SequelizeはMYSQL,MariaDB,SQLite,Postgresに簡単にアクセスするためのNode.jsのライブラリである。 以下の機能を有している。 オブジェクトとDBの関連を取り持ってくれる。これは１テーブルだけの関係ではなく、複数のテーブルの関連を定義することができる。 入力されたデータが適切かどうかのバリデーションチェックを行う。 トランザクションのサポートしている。 マイグレーションの機能をサポートしている。これにより、データベースのスキーマの更新が容易になる。 ロックの機能をサポートしている。 導入方法 SQLiteを操作する場合 その他DBについては下記を参照 https://sequelize.org/master/manual/getting-started.html 下記のDBを操作するためのサンプルが乗っている。 Postgres

期日前投票が始まり、１４日に投開票日を迎える衆院選。どの候補を選ぶか迷っていませんか。そもそも、選挙ポスターやチラシだけでは、どんな人物か判断するのは難しい。「どういう活動をしてきた人なのか、わかれば良いのに」という人にお勧めのサイトがあります。 国会での発言、質問、出席数など一覧に 東京大の菅原琢客員研究員（政治過程論）が公開している「46期衆議院議員活動統計」。全衆議員の国会本会議、委員会での発言数、発言文字数などが一覧できます。名前順や発言数順などに並び替えることもでき、実際にどういう発言をしたかは、国会会議録へのリンクで確認できます。 例えば、本会議での発言数がゼロの議員、委員会での発言もゼロの議員も簡単に探せます。政党や当選回数が同じ議員の中でも、発言数や内容に差があることがわかります。 菅原客員研究員にサイト公開の目的や意義について聞きました。 「議員の活動は知られていない」

今まで見たもっともクソなテーブル設計というブログ記事が話題になっている。 ここで言及されている「クソなテーブル」は、ありとあらゆるデータが1つのテーブルに放り込まれており、また各行にどのようなデータが納められているかを区別するための列が設けられているというものだったそうだ。 見方を変えれば最近普及が進んでいるKey-Valueストア型データベースのようにも見えるが、通常のSQLデータベースでこのような使い方をするのは確かにひどい。 ちなみにこのような設計は、SQLアンチパターンにて「Entity-Attribute-Value」として紹介されている。

最近、どうも安易に「NoSQLにすれば厄介なDB設計から開放される」と考えている人が多いように思えて仕方がない。だが待って欲しい。本当にNoSQLと呼ばれるデータベースを使えばアプリケーションの開発・運用の苦しみから逃れられるのだろうか。もちろん「そんなことは無い！！絶対にだ！！」と私は考える。今日はその理由について語ろうと思う。 トランザクション先日、リレーショナルデータベースにおけるDB設計についてセミナーで解説したばかりだが、リレーショナルデータベースにおけるデータの整合性は何もDB設計だけが担保しているわけではない。リレーショナルモデルと同じかそれ以上に欠かせないのがトランザクションだ。 トランザクションがあるおかげで、トランザクション終了後のステータスは「成功」か「失敗」の2つしかないということが保証される。すなわちオール・オア・ナッシングだ。もしトランザクションの途中で何らかの

ツイート今日は、第 1 回のSQL アンチパターンの回から良コンテンツを提供しまくりなエンバカデロ・テクノロジーズさん主催の第 3 回 DB エンジニアのための勉強会に参加してきました。 今回は 漢(オトコ)のコンピュータ道で有名な漢の中の漢、 @nippondanji 氏がデータベース設計を徹底指南してくれるということで、元々 DB エンジニアがバックグランドのわたしとしてはいかないわけにはいかんだろう、と喜び勇んでいってきました！ 内容はというと下記の概要をカバーする内容でした。 リレーショナルデータベース（以下RDB）は登場してからかなりの時間が経っています。その名が示すように、RDBはリレーショナルモデルをベースに考案されたソフトウェアです。しかしながら、未だに現場ではRDBが使いこなされているとは言いがたく、リレーショナルモデルへの理解も進まず、誤った常識が跋扈しているのが現状で

毎度おなじみ、はてブのホットエントリに「SIをダメにする負のスパイラル」というタイトルのまとめが掲載された。きしだ氏とはかなり視点は違うものの、開発現場の問題点については少し思うところがあるので意見を書いてみようと思う。と言っても、以下の話の内容はデータベースアプリケーションに限定した話であり、またSIerだけに限った話ではないのでその点はご容赦頂きたい。もちろんSIer各位の案件はデータベースは必須なので、本エントリで触れる問題点には該当するだろう。 Q.なぜ炎上するのか？ A.正しいデータベース設計ができていないから結論から言おう。データベースアプリケーションの開発が炎上するのは正しいデータベース設計ができていないからだ。ここでいう「正しい」とは、論理的に証明できる正しさという意味ではない。「本来こうするべき」といった意味で捉えて欲しい。 「炎上」というのは、例えばテストが通らない、バ

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベース」（あるいはカラム指向データベース、カラムナーデータベース）です。 カラム型データベースはSybase IQやNetezza、Verticaなどデータウェアハウス専用のデータベースで主に採用されています。また、SQL Serverには「ColumnStore Index」、Oracle Exadataには「Hybrid Columnar Compression」と呼ばれるカラム型データベースの

インメモリデータベースでサーバが落ちたらデータはどうなる？ インメモリとカラム型データベースの可能性を調べる（その3） サーバのメインメモリ上にあるデータは、サーバの電源が落ちれば消えてしまいます。だからこそ、現在のデータベースではデータを失わないように永続化の手段としてデータベースやログをハードディスクに保存しています。 データベースをメインメモリ上に保持するインメモリデータベースでは、万が一サーバの電源が落ちるなどの物理的障害が発生したらどうなるのでしょう。メモリの内容が消えるのと同時にデータベースを失ってしまったり、整合性が失われるなどの問題が発生してしまう心配はないのでしょうか。 結論としては、インメモリデータベースでもつねにログをハードディスクやフラッシュドライブなどのストレージへ書き込んで、サーバの物理的障害に備えています。インメモリデータベースであっても、メインメモリだけに依