Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高いスケーラビリティ、複数のリージョンによる冗長構成による高可用性の両方を実現するだけでなく、分散データベースにおいてトランザクション処理による強い一貫性を実現する際の弱点とされていたレイテンシの大きさを克服し、小さなレイテンシによる高速性も兼ね備えたPostgreSQL互換のデータベースだと説明されています。 分散データベースの弱点はレイテンシの増大 一般に分散データベースは、複数のデータベースのノードが分散してリ

こんにちは。X（クロス）イノベーション本部クラウドイノベーションセンターの柴田です。 本記事ではTerraformでコードを変更していないリソースが known after apply となってしまう場合の回避策をご紹介します。 前提 問題となるコードの例 原因 回避策 おわりに 参考 前提 この記事は以下のTerraformのバージョンを前提とします。 新しいバージョンのTerraformでは本記事と異なる挙動をする可能性があります。 $ terraform version Terraform v1.5.3 on linux_amd64 + provider registry.terraform.io/hashicorp/aws v5.7.0 問題となるコードの例 以下のTerraformコードを例に考えてみましょう。 resource "aws_s3_bucket" "sample"

We love AWS Lambda, but its concurrency handling with SQS is silly.June 3, 2021 in How To, Systems & Infrastructure We’re big fans of serverless here at Foxy.io, both in general, and the Serverless.com framework specifically. We use serverless apps internally for a number of things, like WAF automation (to block card testers), our webhooks system, our new Help Scout + Foxy ecommerce integration, a

TL;DR 東京リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne1-AZ1, apne1-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 900μs程度 大阪リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne3-AZ1, apne3-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 200μs程度 東京リージョンの方がAZ間レイテンシが平均的に高い(大阪リージョンと比較して) 大阪リージョンの方がAZ間レイテンシが平均的に低い(東京リージョンと比較して) 昨年2023年測定時との差異 2023年に測定した際の記事リンク(Zenn) 環境 インスタンスタイプ変更m5.large --> m6i.large 測定結果 東京リージョンにおける同一リージョン内のレイテンシが1/5~1/2程度になった

CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job

仕事の本業や副業のWebサービスホスティングにはクラウド、多くの場面ではAWS、たまにAzureなど他を使っている。 この際、時間によって変化する処理能力への要求に対応するためにオートスケールやサーバレスを活用して運用負荷やホスティングコストと付き合っている。 これらに関する所感をまとめたいと思ったのでまとめる。 オートスケールとサーバレスの違い オートスケールとの付き合い方 オートスケールへの期待 ECSとの付き合い方の実際 オートスケールで対応できないスパイク サーバレスへの期待 余談・プロに頼ろう オートスケールとサーバレスの違い ここ数年で提供開始されたAWSのサーバレスなにがしはサーバレスではなくオートスケールだと思うので、その違和感の元を言語化しておく。 あくまで持論、個人の認識ではあるけれど、まぁまぁ実態に即した捉え方をしているのではないかと思う。 まずオートスケール。これは

Amazon CloudFront は、stale-while-revalidate および stale-if-error のキャッシュ制御ディレクティブのサポートを発表しました。これらはパフォーマンスと可用性を向上させます。stale-while-revalidate ディレクティブは、バックグラウンドでキャッシュを再検証している間に、ユーザーに古いレスポンスをただちに配信するよう CloudFront に指示します。stale-if-error ディレクティブは、エラーが発生した場合に CloudFront が古いレスポンスを再利用する時間を定義します。これにより、ユーザーエクスペリエンスが向上します。 stale-while-revalidate を使用すると、CloudFront は 480 以上のエッジロケーションから、より高速なレスポンスを配信できます。また、キャッシュヒット率

CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder

はじめに 自分がAWSをこれっぽっちも知らない頃、 ググって出てきたどこか知らんサイトからだと、「欲しい情報はこれじゃない」ってのが多くあった。 そんなこと繰り返していると エラー、トラブル時に即対応できない 間違って構築したせいで運用時に悪化してしまう 古いソースコードでエラーがでて動かない これで無駄な時間を過ごすことになる。 要は「ググって得たその情報で、作ったものは正しいのか？」 AWSは常にアップデートされ続ける 欲しい情報を手に入れるまで調べる時間を割くなら、 公式展開してるサイトから得たほうが正確である。 ということで、最速でAWSを攻略するサイトをまとめる。 この記事をブックマークでもしておくと、ググる手間も省けるだろう。 目次 AWSドキュメンテーション AWSサービス別資料 トレーニングライブラリ AWSブログ アーキテクチャーセンター ワークショップをする よくある質

Amazon ECSデプロイツールのecspressoについて、もうすぐv2.0をリリースする予定ですのでお知らせします。先行してバージョン v1.99.x をプレリリースしていますので、利用できる方はお試し頂ければと思います。 (2022-12-15追記: v2.0.0をリリースしました！) もし不具合や不審な挙動を見つけた場合、GitHub issue や作者の Twitter (@fujiwara) へのメンションで教えていただけると嬉しいです。 github.com CircleCI Orb をご利用の方に大事なお知らせ まず最初に大事なお知らせです。CircleCI Orbを利用していて次の条件に両方合致している場合、v2が正式リリースされるとv2がインストールされるため、ワークフローが期待通り動かなくなる恐れがあります。 CircleCI Orb fujiwara/ecspre

AWS Compute Blog Node.js 18.x runtime now available in AWS Lambda This post is written by Suraj Tripathi, Cloud Consultant, AppDev. You can now develop AWS Lambda functions using the Node.js 18 runtime. This version is in active LTS status and considered ready for general use. When creating or updating functions, specify a runtime parameter value of nodejs18.x or use the appropriate container base

AWSジャパンは、8月15日月曜日からテレビCMを放映開始すると発表しました。放送エリアは一部地域を除く全国、放映期間は12月上旬まで。 テーマは「多様なビジネスをAWSのクラウドで」で、30秒のCMは、少女がプログラミングやリモート会議、デリバリーサービスなどを活用して家族と過ごす「データを活用して楽しい一日に」編と、少年がホテルの予約や動画配信、決済サービスなどを活用して小さな冒険を経験する「あらゆるシーンでイノベーションを」編の2種類。 それぞれのCMのなかで登場するサービスは、ANAや出前館、星野リゾート、Disney＋など実際にAWS上で稼働する実在のものとなっています。 すでにセールスフォースやサイボウズなどをはじめとするビジネス向けのSaaSを提供する企業や、ECサイトとしてのAmazonは多数のテレビCMを放映してマーケティングを活発化させています。 これらに続いて、主にI

Amazon.com | Conditions of Use | Amazon Privacy Policy | © 1996-2024 Amazon.com, Inc. or its affiliates

こんにちは、サーバサイドエンジニアの@Juju_62qです。 今回はタイミーで実践しているECSのオートスケール戦略についてお話ししようと思います。 TL;DR タイミーではTarget Tracking ScalingとStep Scalingを組み合わせてオートスケールをしています Target Tracking Scaling -> 通常のスケールアウト・スケールイン Step Scaling -> スパイク時のスケールアウト 2つを組み合わせることで、様々なリクエストに対し適切なリソースを用意しています タイミーのアクセス量の変化とビジネス要求 タイミーのアクセス量の変化とこれまでのオートスケール タイミーは空いた時間に働きたい人とすぐに人手が欲しい店舗・企業をつなぐスキマバイトアプリです。 したがって、仕事の募集数や働いてくださるワーカーさんの数は世の中の動向に大きく左右されます

こんにちは。SREのid:do-su-0805です。普段はid:do_su_0805として生活しています。 この記事では、Amazon ECS（以下、ECS）でコンテナを動かすとき、ログドライバーとしてawslogsを利用してAmazon CloudWatch Logs（以下、CloudWatch Logs）にログを出力する際に、awslogs-stream-prefixというパラメータには何を設定するとよいかについて考察します。 結論から言うと、このパラメータに「コンテナのイメージタグ」を入れるようにしたところ、出力されるログストリームの/区切りの階層が見やすくなり、ログが世代別に扱いやすくなったよ、というお話です。 ECS＋CloudWatch Logs構成時のロググループとログストリームについて どのようなログストリームが構成されがちかを事例から考えてみる awslogs-strea

それでは前回宣言した通り、Elastic Beanstalkの設定ファイルを用いた環境構築の自動化をご紹介しようと思います。 はじめに 今回の大きなテーマは.ebextensionsを使った環境構築の自動化です。 そのための題材として、ナウいWebアプリのHTTPS対応をやってみたいと思います。 SSL証明書はACMに登録しているものを使う前提です。 なので今回の内容としては .ebextensionsの作成 Elastic Beanstalkへのデプロイ Route53での名前解決 となります。 ナウい環境って? こんなの 事前準備 ACMへの証明書の登録 まず、「そもそもドメイン持ってないよ」という方は、Route53のコンソールから適当なドメインを取得してください。 手順はこの記事がわかりやすいかと思います。 実践 では、色々と設定を.ebextensionsに追記して行きますが、

Amazon Web Services ブログ re:Invent2018 AWS Ground Station が発表になりました。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Ground Station が発表となりました。 衛星通信、ダウンリンクおよびプロセス衛星データを制御し、地上局インフラストラクチャの構築や管理を心配することなく、迅速かつ簡単かつコスト効率の高い完全運用サービスです。衛星は、天気予報、表面イメージング、通信、ビデオ放送など、さまざまな用途に使用されます。地上局は、地上と衛星との間の通信を提供する施設であり、アンテナを使用してデータを受信し、無線信号を送信して衛星を制御および制御することによって、グローバル衛星ネットワークの中核を構築することができます。 人工衛星を制御する場合、地上

「設定ファイルでインフラ構築とか、オシャレだよね〜」 AWSの構築をオートメーション化するサービスの代表格である、AWS CloudFormation。 AWSに普段から触れている方であれば、なんとなくはその存在を知りつつも、「設定ファイルとか、300行ぐらい書くのでは？」「余計めんどくさそう」「覚えること多そう」なんて敬遠している人も多いかと思います。 というか、自分も昔はそうでした。 この記事ではそんな方に向けて「5分と6行で始めるCloudFormationテンプレートによるインフラ構築」と題して、yamlファイルを利用したCloudFormationによるインフラ構築の手順や、設定ファイルの書き方、拡張の仕方などの超基本的な部分を解説します。 これをきっかけに、膨大な仕様をもつ奥深く趣深いCloudFormationワールドに足を踏み入れていただける方が少しでも増えれば、筆者として