AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った

AWS Lambdaを使ってサーバーレスでWeb APIを作る場合、Lambdaの呼び出し元としてAPI Gateway (API GW) もしくはApplication Load Balancer (ALB) のどちらかを選択することになる。この選択基準となる両者の違いを整理した。 API Gateway特有の機能 当然ながら、ALBではAPI Gatewayのリクエスト検証、データマッピング、アクセス制御、SDK生成といった機能は使えない。 プロトコル・ポート番号 API GWは443番でのHTTPS (TLS 1.2) のみをサポートする。（VPC Endpoint経由での呼び出しはできるが、この場合でもHTTPSのみとなる。） ALBは任意のポート番号でのHTTP/HTTPS（TLSバージョンも選択肢がある）をサポートする。 実行可能時間（タイムアウト時間） API GWは最長29

3. Hono × Lambda@Edge デモ用なので簡単な要件を設定してみます。 /hono/ -> /test/hono.html とルーティングする。 シンプルなBasic認証をかける。 viewer-requestに関連づけられたLambda@Edgeを以下のイメージで更新し、cdk deployを行います。 import { Hono } from 'hono' import { basicAuth } from 'hono/basic-auth' import type { Callback, CloudFrontRequest } from 'hono/lambda-edge' import { handle } from 'hono/lambda-edge' type Bindings = { callback: Callback request: CloudFrontR

これ何 この記事で話そうとした、AWS Lambda/Lambda@EdgeにおけるHonoの利用方法を紹介します。 Lambdaでwebフレームワークを扱う是非は、前の記事もあわせて読んでください。 対象読者 Lambdaにフレームワークを載せる運用に興味があるAWSユーザ AWS CDKでTypescriptを利用していて、バックエンドをサクッと書く方法を知りたいAWSユーザ 他のプラットフォームで既にHonoを利用している方は、公式ドキュメントと重複する点が多いことにご留意ください。 あなた誰 主にAWS界隈で活動しています。 HonoのContributerとして、AWS LambdaのAdaptorをメンテナンスしています。 HonoのContributerとして、Lambda@EdgeのAdaptorを提案し、以降もメンテナンスしています。 というわけで、少なくともAdapto

はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に向けて、わずかながら現場で(汗と血を流しながら)得た知見を共有したいと思います。 主にdynamodbを導入するときに楽できる部分、楽できない、苦労する部分がどんな感じか、この記事でなんとなく伝えられたら嬉しいです。 以下では、4つの項目(採用基準、設計、開発、運用)に分けて、知見を羅列していきますが、私もまだ駆け出しdynamodberの域を出ないので、誤りやアドバイス等ございましたら、是非コメントいただきたいです！ なお、ここで紹介する内容は基本的にはAWSの公式ドキュメン

アマゾン ウェブ サービス ジャパンは、2024年6月20日と21日、国内最大の年次イベントである「AWS Summit Japan」をハイブリッドで開催。150を超えるセッションが展開された。 本記事では、ニンテンドーシステムズによるセッション「Nintendo Switch向けプッシュ通知システムのリプレイス事例」をレポートする。登壇したのは、同社 システム開発部の林愛美氏と坂東聖博氏だ。 2017年のNintendo Switchの発売とあわせてリリースされた「プッシュ通知システム」。同社は、長期運用を見据えて、よりクラウドネイティブなシステムへのリプレイスを決定するが、大量のTCP接続を維持するための様々な課題が立ちふさがった。 本セッションでは、AWS FargateやNetwork Load Balancer（NLB）といったAWSのマネージドサービスを用いた、“最大1億台”級

「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」というタイトルでAWS Summit Japan 2024のCommunity Stageで登壇しました #AWSSummit AWS Summit JapanのCommunity Stageで登壇した「AWSセキュリティを「日本語で」学習していくための良いコンテンツをまとめてみた」の解説です。 こんにちは、臼田です。 みなさん、AWSセキュリティの勉強してますか？(挨拶 今回はAWS Summit JapanのCommunity Stageで登壇した内容の解説です。 資料 解説 AWSとセキュリティの勉強をしていく時、嬉しいことにAWS関連の情報はたくさんあります。しかし、どの情報から勉強していくか迷いますよね？そこで、AWS Security Heroである私がオススメする「日本語で」学習するための良いA

データアナリティクス事業本部のueharaです。 今回は、Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみたいと思います。 はじめに 2023年の10月に、Serverless FrameworkがV.4から有料化されることが発表されました。 ライセンス費用を支払いV.4を利用するというのも1つの手ではあるのですが、今回はAWS CDKとAWS SAMへの移行を検討してみたいと思います。 結論 まずは、移行を検討した結果の表を以下にまとめます。 個別の内容については以降の章で説明を実施します。 フレームワーク 利用コスト 移行コスト メリット・デメリット Serverless Frameworkからの移行の総論

しばたです。 先日Microsoft Office LTSC入りAMIが提供され実際に試してみた記事を公開しました。 AMIが公開される以前から「EC2でMicrosoft Officeを使いたい。(EC2でExcelを使いたい、などの派生を含む)」という相談をよく受けていたのですが、ライセンス上の問題によりEC2にMicrosoft Officeを導入するのは一筋縄ではいきませんでした。 本記事ではそのへんのライセンス周りの難しさについて注意喚起の意味も込めて解説します。 免責事項 ライセンスの話をするのでいつも通り免責事項を最初に。 【重要】まずはAmazon WorkSpacesで代替できないか検討してください 単純にAWS環境上でMicrosoft Officeを使いたいという事であれば、まずはAmazon WorkSpacesの利用を検討してください。 これはOffice入りAM

PCI DSS準拠から学ぶサステナブルなAWSクラウドネイティブの運用 / Sustainable PCIDSS operation on AWS

広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な

これらの試算から、1人あたりのトラッキングによる通信量はおおよそ16.88kbpsから112.50kbpsと考えられます。 スター型ネットワークの場合 ここでメタバースでスター型のネットワークを採用することを考えます。 どのような構成かというと、クライアントがトラッキングデータをサーバーへ送信します。各クライアントへのトラッキングデータの送信はサーバーが行います。 こうした構成を行う場合、全てのクライアントのデータがサーバーを介し、各クライアントへ流れ込みます。そのため、通信速度は下り速度がボトルネックとなります。ここでは人口75%ラインの88Mbpsを上限として考えます。 先ほどの1人当たりのトラッキングに関わる通信量から算出すると、スター型の場合、801～5,340人が通信の限界になります。 フルメッシュ型ネットワークの場合 一方で、サーバーを介しないクライアント同士が直接つながるフル

AWS Database Blog Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS Caching enables the best user experience for real-time applications. You can build applications that provide sub-millisecond response times by storing the most frequently requested data in an in-memory cache like Redis. On August 30, 2021, we announced the support for migrating your data fr

解説と登壇時の動画を載せたブログは以下です。こちらを見てください。シェアもブログの方をお願いします。 https://dev.classmethod.jp/articles/aws-security-all-in-one-2021/ イベントページはこちら。 DevelopersIO 2021 D…

前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わったなどなどの報告が入り、もしかすると面倒ごとかなと思いながら対応することになった。 起きていたこと 既にAWSからも公開されていることであるが、今回は2019年8月に起きた障害と類似するタイプの障害だっ

上記エントリを書いた際(2020/10/29時点)には、TerraformでAWS SSO(Single Sign-On)のリソースをプロビジョニングすることはできませんでした。が、その後terraform-provider-awsのv3.23.0、v3.24.0で一部リソースのプロビジョニングができるようになりましたので、使ってみたいと思います。 Support for Managing AWS SSO Permission Sets · Issue #15108 · hashicorp/terraform-provider-aws 追加された Resource / Data Source Resource aws_ssoadmin_account_assignment aws_ssoadmin_managed_policy_attachment aws_ssoadmin_permiss

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 結論 「アジリティ」「コスト最適化」「スモールな構成」「開発スピード」という観点でWebアプリケーションのアーキテクチャを考えてみました。 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必要に応じてRESTも簡単に追加できるよ。 補足(2022/04/12) 最近個人開発しているこちらのWebサービスはこのアーキテクチャに沿って作られています。

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC

Amazon Web Servicesを採用した日本の中央官庁向け共通IT基盤が稼働を開始しました。他の公共機関や、場合によっては民間もクラウド調達の参考にできそうな、新たな調達方法が考案されています。ただし、本当の課題解決はこれからだと考えられます。 「第二期政府共通プラットフォーム」と呼ばれる日本の中央省庁向けクラウドが、Amazon Web Services（AWS）を基盤として稼働しました。これに先立って政府が定めたクラウドサービス調達の枠組みについて、アマゾン ウェブ サービス ジャパンは2020年10月13日、「幅広い公共機関によるクラウド利用のひな型になる」と説明しました。 内閣官房IT総合戦略室と総務省行政管理局が2020年8月に出した「第二期政府共通プラットフォームにおけるクラウドサービス調達とその契約に係る報告書」には、これについていろいろ興味深いことが書かれています。