VPC_ID=vpc-hoge PRIVATE_SG_ID=sg-fuga PUBLIC_SG_ID=sg-hoge SUBNET_GROUP_NAME=SubnetGroupForAurora PUBLIC_SUBNET_ID=subnet-hoge DB_SECRET_NAME=db-secrets DB_ADMIN_NAME=rdsadmin + DB_USER_SECRET_NAME=db-rdsuser-secrets + DB_USER_NAME=rdsuser + DB_USER_RESOURCE_ARN=プロキシARN（arn:aws:rds-db:ap-northeast-1:000000:db-proxy:prx-xxx） + DB_PROXY_ENDPOINT=proxy.proxy-hoge.ap-northeast-1.rds.amazonaws.com impo

AWS CDKでAmazon Aurora DB クラスターとAWS Secrets Managerとの統合を設定してみた AWS CDKでもRDSとSecrets Managerの統合を設定したいな こんにちは、のんピ(@non____97)です。 皆さんはAWS CDKでもAmazon RDSとAmazon Secrets Managerの統合を設定したいなと思ったことはありますか? 私はあります。 こちらの機能を使うことで自動でRDSのマスターユーザーのシークレットが作成されます。特にアツいのが自動ローテーション用のLambda関数を作成する必要がない点ですね。 こちらの機能はCFnでも有効化することが可能です。具体的にはAWS::RDS::DBClusterまたはAWS::RDS::DBInstanceでManageMasterUserPasswordをtrueにします。 Mana

よく訓練されたアップル信者、都元です。AWS上のシステム設計において、どんな時にRDSを選択するのか、そしてどんな時にDynamoDBを選択するのか。比較しながら見て行きたいと思います。 RDBとNoSQL ACIDなRDB 一昔前、一般的に「データベース」と言えば、多くはリレーショナルデータベース（RDB）のことを指していました。テーブルと呼ばれる「行とカラムで構成される二次元のデータ構造」に対して、SQLと呼ばれる強力なクエリ言語で操作を行い、データの一貫性（Consistency: どこから観測しても同じ値が得られること）や操作の原子性（Atomicity: 一連の操作を全て適用commitするか、全てキャンセルrollbackするかの二択として実現できること）を実現するモデルは、開発者を含むシステムの利用者にとって非常に理解しやすく、広く受け入れられて来ました。多くの方がご存知の通

re:Invent 2022に合わせてAmazon RDS for MySQLの読み書きを最適化する機能がリリースされました New – Amazon RDS Optimized Reads and Optimized Writes | AWS News Blog Optimized Writes | DevelopersIO Optimized Reads | DevelopersIO YouTubeにこれら機能を解説するre:Inventセッション動画がアップロードされていたので、軽くレポートします。 動画 AWS re:Invent 2022 - Deep dive on MySQL databases in Amazon RDS (DAT222) 本記事のキャプチャはすべてこの動画から切り取ったものです。 概要 In recent years, MySQL has become a

Amazon Web Services ブログ RDS データベースに汎用 IOPS またはプロビジョンド IOPS のどちらを使用するかを決定するための CloudWatch メトリクスの使用方法  このブログ記事では、最高のパフォーマンスのミッションクリティカルなデータベースワークロードに対して、IO1 としても知られるプロビジョンド IOPS からメリットを得ることができる機会を把握するために Amazon CloudWatch メトリクスを使用する方法について説明します。まず、バーストを生じない一貫性のある高書き込みワークロードをシミュレートするテストケースをセットアップすることから始めます。今回は、価格とパフォーマンスのバランスを保つ、GP2 ボリュームとしても知られる汎用ストレージを使ったデータベースと、IO1 ボリュームを使ったデータベースのパフォーマンスを比較します。次に

こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、

RDS Proxyの接続を使い回した場合の影響を知りたい こんにちは、のんピ(@non____97)です。 以下記事でLambda関数からRDS Proxy経由でAmazon Aurora DBクラスターに接続してみました。 その際のLambda関数ではRDS Proxyの接続をhandler内で行っており、Lambda関数を実行するたびにRDS Proxyに接続をしていました 。 RDS Proxyの接続をhandlerの外側にした場合は、RDS Proxyの接続を維持することができ、ウォームスタート時には接続処理をスキップできるためパフォーマンスの向上が期待できます。 参考: この情報を見て、「実際Lambda関数のhandlerの外側でRDS Proxyの接続をすると処理時間にどのぐらい影響を与えるのか」が非常に気になったので検証してみます。 こちらのコードのリポジトリは以下になりま

こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて

AWS System Managerセッションマネージャーはポートフォワードに対応しており、セキュリティグループで特定のポートをあけることなく、プライベートサブネットのWindowsサーバーにRDPするといったことが可能です。 従来は、セッション接続先のEC2インスタンス内で LISTEN しているポートしかフォワードできませんでしたが、今回のアップデートにより、リモートホストのポートも転送できるようになりました。 より具体的には、EC2インスタンスを踏み台に、VPC内のリソース、例えばRDSのホスト・ポートを転送するといったことが可能になりました。 やってみた SSM エージェントバージョンを確認 AWS Systems Managerは操作対象のインスタンスにエージェントをインストールします。 Session Managerを利用したリモートホスト・ポートフォワードの場合、バージョン

AWS CDKでパスワードを取り扱う場合、パスワードをどこに保存するか悩ましいです。 たとえば、RDSのパスワードを作りたい場合、パスワードはどこに保存しましょう？ CDKのソースコードにハードコーディングするのはセキュリティの観点から好ましくありません。 パラメータストアのSecureStringや、Secrets Managerに保存しておいて参照するというのは、よい方法だと思います。 AWS CDKでAWS Systems Manager パラメータストア及びAWS Secrets Managerからパラメータを取り込む方法 | Developers.IO いやしかし、別途パラメータストアを作るのも面倒くさいのです。（個人の感想です） と、いうわけで、CDK内でパスワードを自動生成する方法 を紹介します。 AWS CDKでRDSのパスワードを自動生成する 結論から言うと、 Crede

3 つのアベイラビリティーゾーン (AZ) にまたがる 1 つのプライマリデータベース (DB) インスタンスと 2 つの読み取り可能なスタンバイデータベース (DB) インスタンスを備えた Amazon Relational Database Service (Amazon RDS) マルチ AZ 配置オプションが、米国東部 (オハイオ)とアジアパシフィック (東京) リージョンで利用可能となりました。このデプロイオプションには、最大 2 倍高速のトランザクションコミットレイテンシー、通常 35 秒以下の自動フェイルオーバー、読み取り可能なスタンバイインスタンスが備わっています。 Amazon RDS マルチ AZ 配置では、Amazon RDS DB インスタンスの可用性と耐久性が強化され、本番データベースのワークロードにうまく調和します。この新しいデプロイオプションは、耐久性のために

この記事は JPOUG Advent Calendar 2021 - Adventar 17日目の記事です。 昨日はShinodaさんの「Oracle Database から PostgreSQL への接続を試す - Qiita」でしたね。 いやーOracle Database Gateway for ODBC全然使ったことがなかったので、これはぜひやってみよ…あれ、RDSでできるの？明日AWSサポートに早速連絡してみよう… 最近ブログを書く頻度がアドベントカレンダー以外書く頻度がない感じになってきております…コレハ、マズイ、ゾ！！笑 さて弱気な内容はおいておいて…ここ最近、ろくに活動もできなかったのはこれをやっていたからなのです。 そうよくある、(꜆꜄•ω•)꜆꜄꜆オンプレOracleからRDSに移行した話。 今更感あるのですが、私と同じミスを減らすきっかけになれば。と思い、書いてみます

こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！ 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da

目的別データベース選定 それぞれのDBの特徴や特性を軽く紹介していきます。 リレーショナル（Amazon Aurora） RDSに管理されるMySQL/PostgreSQL互換のRDBです。 RDSのMySQL/PostgreSQLと比較したAuroraのメリット 対障害性 並列クエリ Global Database パフォーマンス: MySQLの最大5倍, PostgreSQLの最大3倍高速 RDSでは特段理由がなければ、Auroraを選択することになるかと思います。 適しているユースケース ERP CRM 財務・銀行 SaaS(マルチテナントアプリケーション) 構成要素 DBCluster DBInstance プライマリインスタンス(Writer)（書き込み/読み込み） Auroraレプリカ(Reader) エンドポイント クラスターエンドポイント 読み取りエンドポイント カスタムエ

RDS Auroraを使っているところで、OSの空きメモリが少なくなったアラートが出たので、それについて細かく考察したら、それなりの量になったのでまとめた感じです。 別にAuroraじゃなくRDS MySQLでも、MySQL Serverでも同じ話なのですが、クラウドならではの側面もあるなということでタイトルはRDSにしております。 RDSのメトリクス監視 RDSはブラックボックスとはいえ、必要なメトリクスはだいたい揃っているので、CloudWatch を見たり……APIで取得してどっかに送りつけたりして利用します。 なので、まずは接続数とメモリについて復習です。 SHOW STATUS 的には Threads_connected です。 CloudWatch Metrics 的には、DBInstanceIdentifier → DatabaseConnections です。 見た感じ、ど