AWS、NewSQLデータベース「Amazon Aurora PostgreSQL Limitless Database」を正式提供開始 昨年末に開催されたAWSの年次イベント「re:Invent 2023」で、AWSは「Amazon Aurora Limitless Database」を発表しました。このNewSQLデータベースは、PostgreSQL/MySQLインターフェースとの互換でありながら、シャーディングによる書き込み性能やストレージ上限も大幅に強化されています。長らくプレビュー状態でしたが、東京リージョンを含めPostgreSQL版が正式提供されました。 Amazon Aurora PostgreSQL Limitless Databaseではデータはシャーディングされ、ルーターが実データのメタデータ管理や分散トランザクション、データ集約などを担います。 ※ 画像引用元 ht

AWS、コンソールの操作をコードに変換してくれる「AWS Console-to-Code」正式リリース Amazon Web Services（AWS）は、AWSコンソールでの操作をコードに変換してくれる「AWS Console-to-Code」の正式リリースを発表しました。 AWSコンソールの操作をコードに変換 AWS Console-to-Codeを利用することでAWSコンソールで操作した内容を記録し、コマンドラインで実行できるコードを生成してくれます。さらに生成AIのAmazon Qによって数クリックで AWS CloudFormationのテンプレートやAWS Cloud Development Kit（AWS CDK）を用いたTypeScriptやPython、Javaコードも生成されます。 これによりAWSコンソールでの操作を保存しておいて確実に再現できるだけでなく、コードをカ

バックエンドエンジニア兼万年ダイエッターの taisa です。毎朝子どもの幼稚園バス送りのついでに短距離ダッシュして運動してます。はたから見ると変な人ですが、バスを追っかけるようにダッシュすると幼稚園バスの子どもたちは喜んでくれます。 テックタッチは以前、マイクロサービスの切り直し後に DB 統合を実施しました。本記事では、テックタッチがどういったプロセスで DB 統合を実施したかを紹介します。また、AWS DMS を利用する際に気をつけるポイントについても合わせて紹介します。 マイクロサービス切り直し記事のおさらい なぜ DB 統合したか Before After DB 統合の前提条件 やりたいこと 制約 DB の特徴 サービスの特性 AWS DMS（Database Migration Service）とは どのように DB 統合したか Phase1：DMS でレプリケーションを開始す

golangでのlambdaの書き方 lambdaをgolangで書くときは lambda.Start() をmain関数に書いて処理を書いていくのがだいたいお決まりだと思います。 package main import ( "fmt" "context" "github.com/aws/aws-lambda-go/lambda" ) type MyEvent struct { Name string `json:"name"` } func HandleRequest(ctx context.Context, name MyEvent) (string, error) { return fmt.Sprintf("Hello %s!", name.Name ), nil } func main() { lambda.Start(HandleRequest) } lambdaに渡したいデータ

Amazon Aurora MySQL-Compatible Edition now supports a redesigned RDS Data API for Aurora Serverless v2 and Aurora provisioned database instances. You can now access these Aurora clusters via a secure HTTP endpoint and run SQL statements without the use of database drivers and without managing connections. This follows the launch of Data API for Amazon Aurora PostgreSQL-Compatible Edition for Auror

こんにちは。AWS Container Hero の新井です。 Amazon ECS の登場から間もなく 10 年が経ちますが、その間、ECS ⾃体の進化に加えて、さまざまな AWS マネージドサービスとの連携が可能になりました。 現在では、コンテナベースのワークロードを活⽤することで実現できないことを探す⽅が難しいほど、柔軟なアーキテクチャが構築できるようになっています。 しかし、⾃由度が⾼い分、要件に合ったアーキテクチャを模索する際には、迷うことも多いでしょう。 AWS上でシステムを適切に構築するためには、あらかじめサービス間のつなぎ⽅やパターン、その特徴を把握しておくことが重要です。 これにより、フィージビリティを迅速に確認でき、その後のトライアンドエラーのサイクルを加速させることができます。 今回は、最新の AWS サービスアップデートを踏まえつつ、Amazon ECS / AWS

開発者の皆さまこんにちは！AWS Japan で Prototyping Engineer として働いている友岡です。 今日は AWS Lambda Web Adapter というソリューションをご紹介します。VM やコンテナ用に実装されたウェブアプリを、ほとんどそのまま Lambda でも動かせるようにするツールです。(なお、ここで言うウェブアプリとは HTTP を話す任意のウェブサーバーアプリを指します。) Lambda を初めて触る方がまず戸惑うのが、実行方法が Lambda 特有のものになることではないでしょうか。以下は TypeScript の例ですが、Lambda アプリケーションは基本的にこのようなインターフェースの関数 (ハンドラー) を実行する形になり、また外部からの入力はハンドラーの第 1 引数 event として渡されます。

Amazon SNS のメール通知の本文には 通知を停止する「unsubscribe」リンク がありますが、この「unsubscribe」リンクをクリックしてもメール通知を停止できないように設定することができます。とても「今更」感があるのですが、度々説明することが多いので備忘録も兼ねてご紹介します。 Amazon SNS のメール通知の停止とは Amazon SNS のメール通知は、登録したメールアドレスに対して通知メールを送るサービスですが、メール通知を停止したい場合は、「unsubscribe」リンクをクリックすることで通知を任意で停止することができます。 そして、削除が成功するとウェブブラウザが起動して、以下の画面が表示されます。 【問題】通知用メーリングリストが配信停止の事態に！ しかし、通知用メールアドレスにメーリングリストなどを登録している場合、メーリングリスト中の誰かが「un

[1] はじめに Zero-ETL統合とは？ OLTP系DBとOLAP系DWHはそもそも役割が違うので、従来はOLTP DBに蓄積されてたデータをDWHにデータ連携するETLが必要だった この連携は結構大変で、要件に応じて例えばGlue、DMS、Kinesys、MWAA、StepFunctionsなどなどいろいろなサービスを組み合わせて実現する必要があった この煩雑な工程をなくして、ニアリアルタイムでデータ自動連携しようというAWSの構想がZero-ETL Zero-ETLの範囲や実現方法はいろいろある https://aws.amazon.com/jp/what-is/zero-etl/ OLTP系DB〜DWH(Redshift)に着目すると、2023年12月時点で以下のDB間のZero-ETL統合ができる。 Aurora MySQL →　Redshift（GA) Aurora Post

日々何気なくお世話になっている VPC 含むネットワークは、ちゃんと理解しようとすると思ったより多い情報量と、それに対するパターンの経験が必要になります。 私自身、正直ネットワークのお話は好きじゃないのですが、現行の事情を踏まえてこの辺の基本と雑学を振り返っておくと、技術力のベースが整ってよろしいのではと思って整理することにしました。 はじめに 新年度なので、学習教材シリーズです。今回はネットワーク周りで、基礎に味付けするような内容です。もしかしたらお嫌いなジャンルでしょうか、でも少しだけやりましょうそうしましょう。 関連情報としては、このあたり。 公式 ENOG81: AWSのIPv6とPublic IPv4のおはなし – Speaker Deck Amazon VPC とは? – Amazon Virtual Private Cloud 外道父の匠 AWS VPCルーティングの基本から

これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

AWS News Blog Introducing Amazon CloudFront KeyValueStore: A low-latency datastore for CloudFront Functions Amazon CloudFront allows you to securely deliver static and dynamic content with low latency and high transfer speeds. With CloudFront Functions, you can perform latency-sensitive customizations for millions of requests per second. For example, you can use CloudFront Functions to modify head

こんにちは🐱 技術課の山本です。 様々な AWS サービスで作成を推奨している CloudWatch アラームを、簡単に作れるようになったようです。 例えば、 EC2 (AWSサービス)でインスタンス (仮想サーバ) の CPU 使用率のメトリクスが 80% 以上になった場合に通知する CloudWatch Alarm を作成することは、 AWS のベストプラクティスとして推奨されています。こういった CloudWatch アラーム を作る簡単な方法が提供されたようです。 2023/10/16 の以下アップデートです。 aws.amazon.com これまで これまでは CloudWatch アラーム の作成画面から、メトリクスを探し選択して、自分でしきい値を決めていました。 この方法は少し手間でした。 メトリクスの画面から、選択したメトリクスでアラームを作成できたりもします。 対象のメ

【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました CX事業部@大阪の岩田です。 8/9付のアップデートでECS on Fargateのタスク定義で指定可能なパラメータが増えました 今回のアップデートで指定可能になったパラメータは以下の2つです。 systemControls pidMode 本ブログでは上記アップデートのうちsystemControlsについてご紹介します。 systemControlsとは ECSのタスク定義ではsystemControlsというパラメータが指定可能です。このパラメータはdocker run の --sysctlオプションに相当し、Linuxカーネルの各種カーネルパラメータが設定できるパラメータとなっています。従来このパラメータはECS on Fargateでは指定できず

[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた いわさです。 Aurora グローバルデータベースでは書き込み転送機能があります。 リーダーエンドポイントのみのセカンダリリージョンで書き込み操作を行うと、プライマリリージョンへ書き込みを転送してくれる機能です。 このグローバルデータベースでサポートされていた機能が単一リージョンの Aurora クラスターでも利用できるようになりました。 この機能を有効化することで、クライアントからリードレプリカに対して書き込み操作を行った場合に、リーダーインスタンスがライターインスタンスに書き込み操作を転送してくれます。 従来リードレプリカを導入する場合はクライアントアプリケーション側でライターエンドポイントとリーダーエンドポイントを管理しなければいけませんでした。 いくつか制限事

ちゃだいん（@chazuke4649）です。 前回のブログの過程で、Container Insights画面以外でサクッとコンテナ単位のCPU・メモリ使用量を確認する方法があったので共有します。 今回紹介するのは２パターンです。 1.Container Insights画面から飛ぶ方法 2.サンプルクエリをそのまま実行する方法 前提 Container Insights画面ではみませんが、Container Insightsを有効化し、これによるカスタムメトリクスやログを収集する必要があります。 その他Container Insightsに関係する有用情報を下記ブログで紹介しているので、ぜひ見てみてください。 Container Insights でコンテナ単位のCPU・メモリ使用率を表示させる | DevelopersIO 1.Container Insights画面から飛ぶ方法 Clo

Amazon Web Services ブログ AWS Systems Manager Session Managerでポートフォワーディングを使用してリモートホストに接続する このブログは「Use port forwarding in AWS Systems Manager Session Manager to connect to remote hosts」を翻訳したものです。 ローカルマシンからリモートホストのポートにコネクションを転送できる AWS Systems Manager Session Manager の新機能が発表されました。これによりユーザーは踏み台ホストをセットアップしたり、外部ネットワークへのポートを追加で開いたりすることなく、プライベートネットワーク内のリモートサーバー (データベース、Web サーバーなど) に安全に接続して管理できます。この記事では、Sess