はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク

はじめに 先日、海外向けに運用していた個人ブログがDDoS攻撃を受けてしまいました。 こういったサイバー攻撃は、企業に対して行われるものという先入観がありました。 しかし、調べてみると、最近では個人ブログも標的になってきていると報告があがっていました。 CloudFrontとS3で作成する静的サイトが人気になっており、特にCloudFrontの危険性について紹介したいと思います。 DDoS攻撃って？ ざっくり説明すると、ウェブサイトやサーバーに対して過剰なアクセスやデータを送付するサイバー攻撃です。 インフラストラクチャーレイヤー攻撃(レイヤー3、4)とアプリケーションレイヤー攻撃(レイヤー6、7)の２つに分類されます。 ご指摘を頂きましたので、訂正いたします。 厳密には、EDoS攻撃でした。 AWS Shield Standard AWSを利用した場合、defaultでAWS Shiel

AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL

AWS Fargate for Amazon Elastic Container Service (Amazon ECS) powered by AWS Graviton2 Processors, is now generally available. AWS Graviton2 processors are custom built by Amazon Web Services using 64-bit Arm Neoverse cores and Graviton2-powered Fargate delivers up to 40% improved price/performance at 20% lower cost over comparable Intel x86-based Fargate for a variety of workloads such as applica

Amazon Web Services ブログ Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド この記事は Building container images on Amazon ECS on AWS Fargate を翻訳したものです。 コンテナイメージのビルドのプロセスは、アプリケーションのコード、ライブラリ、および依存関係を再利用可能なファイルシステムにパッケージ化することです。開発者は自分たちのコードと一緒に、コンテナイメージを組み立てるためのすべてのコマンドを含む Dockerfile を作成します。この Dockerfile は、Docker Engine に組み込まれているようなコンテナイメージのビルドツールを利用して、コンテナイメージを作成するために使用されます。ビルドされたコンテナイメージは、Amazon ECS や EKS のよう

Containers Deep Dive on Amazon ECS Cluster Auto Scaling Introduction Up until recently, ensuring that the number of EC2 instances in your ECS cluster would scale as needed to accommodate your tasks and services could be challenging.  ECS clusters could not always scale out when needed, and scaling in could impact availability unless handled carefully. Sometimes, customers would resort to custom to

ちょいとした用途において、カジュアルにFargateの起動／停止を繰り返して、気ままに負荷全開かけていたら、あまりの違和感にCPU割り当てについて調査することにしました。 最近こんなことばっかやってる気がしますが、気に食わんかったからムカムカ解消に書くしかないんや。半分くらいブラックボックス与太話な感じで夜露死苦です。 はじまり とある処理を全開でFargateにやらせて、cpu=1024(100%), 2048(200%), 4096(400%) でどのくらい RPS (requests per second) でるかを計測していると、想定通りならほぼ比例でRPSが伸びるはずが、全然そうならないパティーンに遭遇。 並列過剰やエラー・バグ起因ではないことをほぼ確させた上で、まさかCPUガチャじゃあるまいなと試したら、まんまCPUガチャでしたということで、EC2からある話ではありますが、現在

AWSが生まれたのは、Amazonが経費削減のためにSunのサーバからHP/Linuxサーバへ切り替えたことがきっかけ。当時の社員が振り返る 1990年代後半に、米Yahoo!などに代表されるインターネット系企業の株が高騰したインターネットバブルが発生しました。 そのバブルが2000年前後にはじけると、ユーザー数の拡大を背景に資金調達をしてきた企業の多くが投資家からの資金を得られなくなり、行き詰まり始めます。 Amazon.comもそうした状況のなかで先行きを不安視された企業の1つでした。2001年4月の週刊東洋経済の記事には、最高値の10分の1程度にまで下がった株価のグラフとともに、「莫大な酸素（キャッシュ）を燃やし続けている」「2000年12月末時点で2000億円を超える債務超過だ」と記されています。 当時Amazon.comのデジタルメディア部門ディレクターであったDan Rose氏

AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation

Amazon Aurora with PostgreSQL compatibility can now make calls to AWS Lambda functions. AWS Lambda lets you run code without provisioning or managing servers, and without worrying about scalability. You can invoke Lambda functions directly from within an Aurora database via stored procedures or user-defined functions. This allows you to extend the capabilities of the database and invoke external a

CX事業本部＠大阪の岩田です。 この記事はAWS LambdaとServerless Advent Calendar 2020の6日目 です。 先日のブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 従来のZIP形式と比較したメリットの１つとして、イメージサイズの上限が10Gまで許容されるという点があります。ZIP形式の上限はレイヤーと関数コードを合わせて250Mであり、サイズの大きなライブラリや機械学習モデルを利用する場合、この上限に抵触することもあったのではないでしょうか？パッケージフォーマットとしてコンテナイメージを選択することで、こういったユースケースにも対応できるようになりました。 ここで1つ疑問が浮かびます。イメージサイズの上限が10GBとのことですが、10GBの巨大イメージからLambdaがコールドスタート

はじめに 先日のre:Invent 2020にて、Lambdaのパッケージフォーマットとして、従来のZIP形式に加えてコンテナイメージがサポートされました。詳しくは下記を参照してください。 【速報】Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました！！ #reinvent CDKでLambdaのパッケージフォーマットにコンテナイメージの定義ができると実践投入や構成を考えやすなーと思っていたところ、CDKのv1.76.0で定義できるようになっていたため、今回はそちらを試します。 以下注意点です。ご了承お願いします。 本記事は、CDK v1.76.0ベースで記載した記事となります。CDKのバージョンが上がった場合には、記事通りやっても動かない可能性があります 作成する関数は、Node12系です。別言語で作成したい方は、一部しか参考になりません 構成 概要

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を

AWS News Blog New – Amazon RDS on Graviton2 Processors I recently wrote a post to announce the availability of M6g, R6g and C6g families of instances on Amazon Elastic Compute Cloud (Amazon EC2). These instances offer better cost-performance ratio than their x86 counterparts. They are based on AWS-designed AWS Graviton2 processors, utilizing 64-bit Arm Neoverse N1 cores. Starting today, you can al

結論 下記「背景」のようなケースの場合は、ecspressoまたは類似ツールを使ったほうが事故は少ない コンテナやAWSやっていき勢、PoCなど速度が必要なケースはAWS Copilotを使ってみて慣れていくのはアリ というより、双方のツールは目指すところが全然違うので比較対象として論じること自体にちょっと無理がある 前提 本稿で記載している「ECS」は「ECS on Fargate」であり、「ECS on EC2」ではありません。 双方のツールを軽く触れて書いた記事なので、細かい機能について把握していないものもあると思います。 背景 これまでいくつかのAWSを使用したプロジェクトのインフラ管理にTerraformをオールインワンツールとして採用してきました。 しかし、システムの規模が大きくなるにつれてTerraformではどうしても取り回しの鈍さが出てくるケースが増えてきたため、アプリケ

CX事業本部＠大阪の岩田です。 社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。 環境 今回検証に利用した環境です。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.micro max_connections: 9 バックグラウンドでrdsadminユーザー、rdsproxyadminユーザーがDBに接続するのを考慮して9に設定しています。今回の環境であればmax_connectionsを9に設定することで非マスターユーザーからの同時接続数を1に制限することができます。 RDS Proxy エンジンの互換性: Postg

Amazon Elastic Container Registry (ECR) は、マニフェストリストのサポートを開始しました。これにより、AWS Graviton ARM インスタンスを既存のクラスターに追加するなど、コンテナアプリケーションで使用できるさまざまな CPU アーキテクチャとオペレーティングシステムの選択肢が増えました。マニフェストリストを使用すると、x86 や ARM などのさまざまなハードウェアアーキテクチャのイメージバリアントや、Linux や Windows などのオペレーティングシステムを ECR の単一のコンテナイメージとして保存できます。Docker のようなクライアントは、コンテナを起動するときに、各アーキテクチャとオペレーティングシステムに適したイメージバリアントを自動的にプルできます。これは、CI/CD スクリプト全体にアーキテクチャごとのイメージ参照を

Amazon Web Services（AWS）は、ソフトウェアパッケージなどのリポジトリをマネージドサービスとして提供する「AWS CodeArtifact」の正式リリースを発表しました。 アーティファクト（Artifact）とはここ数年、ソフトウェアの分野でよく目にするようになった言葉の1つでしょう。一般的には「人工物」や「工芸品」という意味ですが、ソフトウェアの分野ではなんらかの生成物、例えばソースコードのコンパイルやビルドによって生成されたバイナリやパッケージなどのことを指して「アーティファクト」と呼びます。 そして、ソースコードがGitHubのようなソースコードリポジトリに格納されることで、バージョン管理や共有などが行われるように、さまざまなアーティファクトもリポジトリに格納されて管理共有されるようになってきています。 例えばJavaScriptのパッケージマネージャnpmに対応

2020/05/26 時点で、サポート終了日に関して変更がありましたので、更新いたします。 とはいえ 2020/6/30 以降の明確な日程は記載されていないため、引き続き AWS Pricing Calculator への移行を進めることをお薦めします。 園部です。 出オチ・タイトルオチ 失礼します！ AWS Simple Monthly Calculator（SMC） は、AWS をご利用の皆さんであれば、一度は利用または見たことがあるのではないでしょうか？ そんな SMC ですが AWS Pricing Calculator が登場したことで、いつの日か訪れるであろうと思われていた引退の日が、ついにやってくるようです。。今までありがとう！！ 現在 SMC にアクセスする以下のメッセージが表示されます。そのまま利用する場合は 簡易見積もりツールを続行 を選択することで利用可能です。 （2