はじめに 動作環境 複数のDB DataSourceの設定 DBの接続先を定義したEnumの作成 DataSourceContextHolderの作成 AbstractRoutingDataSourceを実装する SqlSessionFactoryを定義する 実際に実行する おわりに 参考 はじめに エキサイト株式会社 バックエンドエンジニアの山縣です。 既存サービスのリビルドをするにあたって、SpringBootで動的にDBを切り替える必要がありました。 これを実現するためにやったことについて本記事で紹介します。 動作環境 SpringBoot 2.6.2 Java 17 MyBatis Spring Boot Starter: 2.1.3 SQL Server 2016 複数のDB 現在私が携わっているサービスでは「ユーザーIDのプレフィックス1文字を見てDBの向き先を変更する」という

Intro​ DBML (Database Markup Language) is an open-source DSL language designed to define and document database schemas and structures. It is designed to be simple, consistent and highly-readable. It also comes with command-line tool and open-source module to help you convert between DBML and SQL. Table users { id integer username varchar role varchar created_at timestamp } Table posts { id integer

デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

パート2では「開発プロジェクトの工程全体の中におけるモデリング」という視点から、実際のモデリングに必要な要素や具体的な作業の進め方を解説していきます。なぜそのような視点にしたのかは本編で述べていますが、基本的には筆者のこれまでの経験上、実際の開発現場で通用するモデリングのスキルを取得するにあたっての最短の近道だと考えるからです。これまでのモデリングに関する書籍や記事とは一味違った切り口での説明になると思いますが、どうぞ最後までお付き合いください。 "教科書に載っていない"モデリング作法とはこれまでに筆者は、データモデリングに関する数多くの書籍や雑誌／Webの記事を読んできました。それらから得た知識は、確かに実践の中で活かされてきましたが、実際のプロジェクトでDB設計を担当するとなると「記事には載っていない何か」が現場では必要になったのです。世の中にある、多くのモデリングに関する書籍や記事に

昨今、IT関連のメディアを中心に「モデリング」という言葉をよく見かけるようになりました。言葉で言うのは簡単ですが、では実際にモデリングを"まともに"行なえる技術者はどのくらいいるのでしょうか。筆者の経験から、モデリングのスキルは情報システム開発に関するスキルの中でも最重要なものの1つだと断言できます。本稿では、モデリングの中でも特にデータモデリング（DB設計）に焦点を絞り、「エンティティ」「関連」「属性」「関連の多重度」という筆者が考えるデータモデリングの4大要素を中心に、その基礎知識やスキル習得法のポイントなどを紹介していきます。 DB設計のスキルは陳腐化しない！近年、DB設計の重要性が再認識されつつあります。今風な呼び方をすると「モデリング」と呼ばれるテーマであり、ちょっとしたブームになっているようにも思えます。例えば、IT雑誌やWebサイトなどの情報源を"チラ見"するだけで、数多くの

GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ

今回はデータベースの正規化について取り上げます。 PostgreSQL固有ではなく、RDBMS全般に関わる一般的なテーマですが、データベースを扱う上で重要な下地となる部分ですので、ぜひ基礎固めとしてご利用ください。「正規化」はOSS-DB Exam Silverの出題範囲にも含まれていますので、受験を考えている方も気を抜かずに取り組みましょう。 データの重複をなくし整合的にデータを取り扱えるようにデータベースを設計することを、データベースの正規化と呼びます。正規化を行っておくと、データの追加・更新・削除などに伴うデータの不整合や喪失が起きるのを防ぎ、メンテナンスの効率を高めることができます。 正規化の段階には、第1～第5正規形およびボイスコッド正規形がありますが、ここでは、データベースを設計する際に一般的に用いられる第1～第3正規形までを、前回登場したテーブルをもとにして説明していきます。

技術コミュニケーション室 OSSグループの髙﨑です。 本記事は、とあるクエリを2万倍速にした話 -データベースの気持ちになる- 前編の続きです。 前回の記事でお話しした内容がPullRequestを作ったときの過程だったわけですが、 そのような結果に至った経緯、Index Only Scanを使わなかったPostgreSQL特有の事情について、 PostgreSQLのアーキテクチャなども交えもう少し詳しくお話させていただきます。 要するに 実行計画のコストとはレコードやindexの読み込み、フィルタ処理などからその実行にどの程度の時間が必要となるかの推定値 indexを張る際にはそのindexがどのように辿られるかを意識する必要がある 範囲検索される可能性があるカラムはindexの先頭にはあまり適さない PostgreSQLにおけるIndex Only Scanは新しい/更新頻度の高いデー

2. 2Copyright©2017 NTT corp. All Rights Reserved. 諸説あるが、ここでの定義は「部分的な故障を許容するシステム」の事 複数台のコンピュータを接続して信頼性を高めたり データが途中で化けても再送したり訂正したり 一部のコンピュータが突然故障しても引き継いだり 故障を設計の一部に組み込む事が必須となる 分散システムとは 3. 3Copyright©2017 NTT corp. All Rights Reserved. • 世はまさに分散システム戦国時代 • Hadoopを皮切りに次々出てくる巨大分散OSS • シリコンバレーでも分散ミドルウェアベンチャーが多数出現 • 高信頼なシステムを作ろうと思った場合には複数台のマシンによる高可用構成 が前提になる • Google、Facebook、Amazon等はもちろん • 金融、流通などのエンタープラ

Stop building slow, complex, fragile software systems. Safely run your application on a single server. Fully-replicated database with no pain and little cost. Get started Join our Slack No-worry backups Continuously stream SQLite changes to AWS S3, Azure Blob Storage, Google Cloud Storage, SFTP, or NFS. Quickly recover to the point of failure if your server goes down. Use existing apps Runs as a s

相関サブクエリとは、SQLの実行結果の行と行を比較することです。 ある行とある行の時間差を求めることで何秒間隔でデータが登録されているかがわかったり、 ある行とある行の売上差を求めることで、売上の上がり下がりをだしたりできます。 相関サブクエリを知らなければ、 SELECTしたデータをもとに、 プログラムを書く必要がありますが、 データベースだけでもある程度のことはできてしまうのです！ ポイントは２点あります。 （ポイント１）必要なデータだけをソートして抜き出し、行番号を振る このときに、ある行と次の行が比較対象となるようにソートしましょう。 （ポイント２）自己結合をして比較する 以上の２点です。 必要なデータだけをソートして抜き出し、行番号を振 必要なデータを抜き出すのは、whereで条件をつけます。 ソースするのはもちろんorder byです。 結果に行番号をつけることがポイントです。

そのうえで、秘密情報と区分された情報に関する次の2つの台帳を作成した。 （1）秘密情報管理台帳 秘密情報に該当するデータベース上のテーブル、カラムを管理する台帳。さまざまなデータベースに散在する秘密情報を集約するために作成するもので、データベース間のデータ連携時には、この台帳を確認するだけでマスク対象のカラムを判断できる。 （2）閲覧者管理台帳 秘密情報の閲覧権限を持つ人（閲覧者）を管理する台帳で、「誰が」「どのデータストアの秘密情報を閲覧可能なのか」を集約して管理するために作成するもの。 この2つの台帳をベースにして、秘密情報の取扱いルールを次の5つのステップで策定した。念頭に置いたのは、「エンジニアの運用負荷をできるだけ上げずに、秘密情報の閲覧可能者をできるだけ限定すること」（廣瀬氏）だという。 1．新しく追加されるデータの取扱い基準の設定 新たに取得する情報について「誰が」「どのよう

こんにちは。齋藤です。 今回はSpring Bootでマイグレーションだけ実行する方法を検討します。 はじめに Spring BootでFlywayをお使いの皆さん、起動時にマイグレーションする時間が長いと辛いですよね。 そこで、Webサーバとして立ち上げずにマイグレーションが動かせるか試してみます。 今回の記事の流れは以下の形です。 マイグレーションを書く 起動する。（今回はgradleから立ち上げます） 今回はデータベースのマイグレーションのツールとして、flywayを使います。 マイグレーションをなんかいい感じで書きます 書けました。自分で書いてる適当なexampleからコピペです。 CREATE TABLE users ( id BIGINT not null AUTO_INCREMENT PRIMARY KEY, username VARCHAR(128) NOT NULL, p

処理しにくい最もたるものはDATE型でしょう。 Oracleは、常に時刻までを含むDATE型の1つしかないので、特に厄介だと言えます。 時間の成分を排除するためにTRUNC関数を使うのは、 一般的な方法になっています。実際には、Oracleには純粋なDATE型は存在しないので、この関数は時間成分を削除 してしまうわけではなく、その代わり時刻を0時0分に設定します。検索時に時間成分を無視するには、比較の両辺で TRUNC関数を使用します。前日の売り上げを知りたい時は以下のようにします。 SELECT ... FROM sales WHERE TRUNC(sale_date) = TRUNC(sysdate - INTERVAL '1' DAY)これは完璧に有効で正しい文ですが、SALE_DATEに 作られたインデックスを正しく使うことはできません。この理由は、「UPPERとLOWERを使った

開発者向けのSQLインデックス解説サイト、管理についての間違いない知識を提供します。 インデックスは開発時には忘れられがちである一方で、非常に効果的なSQLのチューニング方法です。Use The Index, Lukeでは、HibernateなどのORMツールの解説にとどまらず、SQLのインデックスについて基礎から説明します。 Use The Index, LukeはSQLパフォーマンス詳解のWeb上の無料版です。サイトを気に入って頂けたら、ぜひ書籍も購入してみて下さい。また、このサイトの運営をサポートする様々なグッズも販売しています。 MySQL、Oracle、SQL ServerなどにおけるSQLのインデックスUse The Index, Lukeでは、ベンダにとらわれないインデックスの説明を心がけています。製品特有の事柄については、以下のような表示をしています。 Db2 (LUW)U