はじめまして、ECプラットフォーム部 API基盤チームに2021年新卒入社した山添です。普段はAPI GatewayやID基盤の開発に携わっています。 データベースを運用していると、ビジネスロジックの変更やクエリ最適化のためにデータベーススキーマを変更することがあります。その際にデータベースマイグレーションツールを使うことで、運用の過程で変更されるスキーマの管理を楽にできます。 しかし、データベースマイグレーションツールであるsqldefが便利なのですが、弊社で使われているSQL Serverには対応していませんでした。そのため、何かしらの対策が必要でした。 本記事では、それらに関連した以下の内容を紹介します。 データベースマイグレーションツールとしてsqldefを採用していること sqldefでSQL Serverサポートをするためにコントリビュートしていること sqldefの開発のため

［速報］Aurora PostgreSQLにSQL Server互換レイヤを実装する「Babelfish for Aurora PostgreSQL」発表。オープンソースとしても公開へ。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、Amazon Aurora PostgreSQLにSQL Serverの互換レイヤを実装する「Babelfish for Aurora PostgreSQL」を発表。 同時に、これをオープンソースプロジェクト「Babelfish for PostgreSQL」としてGitHubに公開することも発表しました。 SQL ServerからAWSが提供するAmazon Auroraなどのデータベースへ移行する場合、データベースについてはAWS Data

本投稿について 本投稿は、Microsoft Learn で公開されている、「SQL Server でクエリのパフォーマンスを最適化する 」を確認していた際に、いくつかの情報を補足しながら日本語化したものとなります。 SQL Server / Azure SQL Database のパフォーマンスチューニングには様々な方法があり、「このケースであればこの方法」ということを断定することは難しいのではないでしょうか。 そのため、様々なケースで利用することが可能な、チューニング方法の基礎知識 (一般論) はとても重要です。 本投稿で、確認を行った「SQL Server でクエリのパフォーマンスを最適化する 」は、チューニングに対しての体系的な考え方を無償で学ぶのには適しているコンテンツではないかと思いました。 チューニング系の講義は様々なノウハウが絡みますので有償が多く、ノウハウがない状態で体系

SQL Server Management Studio (SSMS) を使用するために、実施している設定のカスタマイズについてまとめておきたいと思います。 気づいたときにいろいろと追記していこうかと。 スペースの表示 クエリエディタを選択 (フォーカスを当てた) した状態で、「編集」→「詳細」を選択すると、次のようなメニューが表示されます。 (クエリエディタを選択していないと表示される項目が異なります) このメニューから「スペースの表示」を有効にするとクエリエディタ内のテキストにスペースが表示されるようになります。 SSMS のオプション設定 SSMS の「ツール」→ 「オプション」では次のような設定を変更しています。 「テキスト エディター」→「全ての言語」の「行番号」を有効化し、テキスト内に行番号を表示 この設定を有効化することで、テキストエディターに行番号が表示されるようになります

先日、ZOZOTOWNで最大級のトラフィックを記録する福袋発売イベントで実施した負荷対策 という、ZOZOTOWN さんの負荷対策についての記事が公開されました。 はてブをみると、かなりの方がブックマークをされているようですね。 私も案件の中で、ボトルネック調査をすることがあるのですが、その際の基本的なアプローチをまとめる、良い機会かなと思って本投稿を書いてみました。 ボトルネックを調査する対象となる環境はどのようなものか？ ボトルネックの調査を行うための環境ですが、色々ケースがあるかと思います。 例えば、次のようなものがあるのではないでしょうか。 自分が保守に携わっている本番環境で発生するパフォーマンス問題 開発環境で発生するパフォーマンス問題 特定のタイミング (例 : 夜間バッチ) 発生するパフォーマンス問題 ここ数年はフリーランスとして業務をしているため、保守 / 運用を通して「自

こんにちは。開発部の廣瀬です。 本記事では、昨年障害が発生してしまったZOZOTOWNの福袋発売イベントについて負荷対策を実施し、今年の福袋イベント期間を無傷で乗り切った話をご紹介したいと思います。 大規模サイトの障害に関する生々しい話はあまり公開されていないように思いますので、長くなってしまいましたが詳細に書いてみました。尚、今回のお話は弊社のサービスで使用しているDBMSの1つである、SQL Serverに関する話題がメインです。 福袋イベント「ZOZO福袋2019」とは 年に1度、多数のブランドの福袋が一斉に発売される、ZOZOTOWNの年末の風物詩的イベントです。今年は450以上のブランド様にご参加いただきました。お客様からも毎年大変ご好評いただいており、年間を通して最も多くのトラフィックを記録するイベントの1つです。 アクセスが殺到するが故に、昨年は福袋の発売直後からエラーが多発

先日発表された、SQL Database の vCore モデルと従来型の DTU モデルの比較を。 内容としては次の情報の内容をベースとしています。 アナウンス A flexible new way to purchase Azure SQL Database Preview: A flexible new way to purchase Azure SQL Database 料金 Azure SQL Database の価格 ドキュメント Azure SQL Database vCore-based purchasing model limits (preview) vCore-based purchasing model (preview) DTU モデルの特徴 DTU モデルは、サービス階層とパフォーマンスレベルに応じて、 リソース CPU 利用可能上限 CPU コア数 最大メモリ

神谷 雅紀 Escalation Engineer ビューカウントが少なかったので途中終了した「実行プランを読む」ですが、一部の方々からもうしばらく続けて欲しいという要望がありましたので、再開することにしました。 実行プランを見て、そのクエリがどのように実行されているのかを確認する際に、Stop and Go オペレータとともに注意する必要のある動きが Rebind と Rewind です。実行プランを読む - 基本編 (その 1), 実行プランを読む - 基本編 (その 2) に加えて、今回の内容を知っていれば、実行プランを見ることでクエリがどのように動くのかを理解することができるようになると思います。 Rebind と Rewind Rewind とは、データセット内の現在位置を最初の行に戻す動作です。その名の通り、巻き戻し (rewind) です。これに対して Rebind は、ある

神谷 雅紀 Escalation Engineer 前回 CXPACKET 待ちは悪いことか？で、クエリの実行について触れました。クエリがどのように実行されているのかを知るためには、実行プランを見る必要がありますが、実行プランの見方について解説している文書があまりないため、今回は、実行プランの基本的な見方について説明したいと思います。 実行プランとは 実行プランとは、SQL Server がクエリの結果を得るために、そのクエリをどのように処理するのかを表したものです。例えば、select c1, c2 from tabA where c3=1 というクエリの結果を得るために、tabA テーブルの非クラスタ化インデックス ind_tabA を検索して行を絞り込み、その絞り込んだ行をクラスタ化インデックスから読み取り、読み取った行の中から c1, c2 の 2 列の値を取り出す、といったような

アプリケーションの応答が急に遅くなった、バッチ処理がいつもの時間に終わらない・・・ クエリのパフォーマンスが低下し早急に対処が必要な場合に、まずお試しいただきたいことをまとめました。 まずは 1 を実施してパフォーマンスが改善されるか確認し、ダメなら 2 または 3 へ進んでください。 1. 統計情報を更新する 統計情報を最新の状態にすることで、現在のデータ分布に最適な実行プランが選択されるようになる可能性があります。 a) データベース単位で実行 sp_updatestats どのクエリを実行しても遅い、どのオブジェクトの統計情報を更新したらよいのかわからない、という場合にお試しください。 ステートメント) ---------------------------- USE <データベース名>; GO EXEC sp_updatestats; -----------------------

SQL Server のクエリチューニングをする際に参考になる情報のメモを。 SQL Server クエリのパフォーマンスを最適化する クエリのチューニング 実行プランを読む – 基本編 (その 1) 実行プランを読む – 基本編 (その 2) 実行プランを読む – 基本編 (その 3) どうする？ SQL Server のクエリ パフォーマンスが低下した！ クエリチューニングの取り掛かりとしては SlideShare の以下の情報も参考になります。 SQL Server Query Tuning Tips – Get it Right the First Time Microsoft SQL Server Query Tuning クエリチューニングの考え方ですが、大きく分けると、 クエリ自体を改修することで実行効率を向上させる クエリは改修せずに実行効率を向上させる の 2 パターンが

Azure Database Migration Service(preview) SQL Server からAzure SQL Database Managed Instanceに簡単に移行できるように設計されています。 DocuSignもこれを使って移行しました。 サービス帯 Public Preview中は、General Purposeが提供されます。 基本的な可用性、共通的なIOレイテンシーようです。 ・基本的な性能要求と可用性 ・Azure Premium Storage(8TB) ・１インスタンス100DB ・8/16/24 vCore ・ストレージは３２GB〜８TB ・500-7500IOPS/１データファイル ・１データベースのデータファイル数は複数 ・ログファイルのデータファイルは１つ ・自動バックアップ ・可用性は、リモートストレージとAzure Service Fa

Cross-Database Queries in Azure SQL Database / Azure SQL Database でデータベース間のクエリが可能に でアナウンスがされましたが、SQL Database で他 DB に対しての検索ができるようになりました。 Polybase や、Elastic Database Query で使用している外部データソース (EXTERNAL DATA SOURCE) を使用して、他の SQL Database に接続をし、リモートクエリが実行できるようになっています。 関連する情報としては、冒頭で紹介したもののほかに、以下も参考になります。 Azure SQL Database エラスティック データベース クエリ (プレビュー) の概要 CREATE DATABASE SCOPED CREDENTIAL (Transact-SQL) CR

同一インスタンス内でデータベースの複製を行うには、SQLServerの[SQL Server Management Studiio]で、[バックアップ]と[復元]の機能を利用する。 任意のデータベースのバックアップを元に新しいデータベースを復元する。 複製先のデータベースは事前に作成する必要はなく、復元を行うと自動的に作成される。 複製の手順複製元のデータベース(DB1)を右クリックして、[タスク]⇒[バックアップ]を実行する。 バックアップファイル:DB1.bak 対象インスタンスの[データベース]を右クリックして、[ファイルおよびファイルグループの復元]を実行する。 ＜全般＞ 復元先データベース:DB2　※直接入力（事前に作っておく必要はない） 復元元データベース:DB1　※バックアップを行ったデータベース 復元するバックアップセットの選択：対象のバックアップの[復元]にチェックを入れ

負荷テストを実施する際に Apache License で公開されている JMeter を使うことがあるかと思います。 Web アプリケーションの負荷テストについては JMeterでWebアプリケーションのパフォーマンス測定を行う JMeter で ASP.NET アプリケーションの負荷テストを実施してみる ～その 1 ASP.NET MVC の基礎編～ で紹介されていますが SQL Server 単体に対して、JMeter で負荷テストをするための方法は日本語ではあまり見かけなかったので少しまとめてみたいと思います。 なお、本投稿は、 SQL query performance test with JMeter Load Testing Relational Databases With JMeter を参考にさせていただいています。 ■JMeter のインストール JMeter は J

先日のConnect();でLinux(Ubuntu)で動くSQL Serverのパブリックプレビューが公開されました。Mac用にはDocker Imageが公開されましたので試してみます。 ただ動かしても仕方ないのでMac上で利用できるSQLServerのCLIクライアントツールであるsql-cliと.NET CoreからEntityFramework経由で利用してみます。 SQL Serverの動作自体はここの通りにやればだいたい動きます（大きな問題ではありませんがpersist（データの永続化）だけはうまくいきません）。 ##環境 El Capitanを利用しますが、Sierraでも動きます。 ##ツールの準備 下記をインストールしておきます。 Docker for Mac（1.12.3） Sql-cli（npmでインストールできるSQLServerのクライアントツール） ###Do