こんにちは、@TakaakiKakei です。 2024年12月2日～12月6日（米国太平洋標準時）に開催されるAWS re:Invent 2024に関連して、以下のアップデートについてご紹介します。 Amazon BedrockにNovaシリーズモデルが登場 Announcing Amazon Nova foundation models available today in Amazon Bedrock いきなりまとめ Amazon Bedrockに、Amazon Novaシリーズモデルが追加 Nova Reel Nova Pro Nova Lite Nova Micro Nova Canvas 現在、バージニア北部リージョンで利用可能 マルチモーダル理解の基盤モデル、画像生成モデル、動画生成モデル 以下、Amazon Novaシリーズモデルについて調査した内容をまとめます。 AWS公

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った

「CTOの視点で選ぶ「最適な」アーキテクチャとは？」というイベントで登壇しました。 本記事は登壇資料をMarkdownとしてそのまま記事化したものです。スライドのほうが読みやすい方は、Speaker Deckで御覧ください！ 自己紹介1｜職歴、趣味など 職種・SNS 株式会社NoSchool CTO 2016年〜Webエンジニア。2019年〜現職 Twitter(X): 名人｜マナリンクCTO Zenn: https://zenn.dev/meijin 好きなHTTPヘッダーはCache-Control 趣味 将棋☗、カメラ📸、ラム酒🥃、個人開発💻、筋トレ💪、高校野球観戦⚾ 自己紹介2｜外部発信・諸活動 ZennでReact記事が人気 歴代記事でLike数1位（登壇時点） 個人開発 テストメーカー（ユーザー20,000人以上） エンジニア向け教材執筆 「LaravelでFat Co

Customer Identity Cloud powered by Auth0 を使ったマルチプロダクト構築の実践と総括

駅メモ！開発基盤チームです。 今回はサービスで利用している Amazon Aurora MySQL を v2 から v3 へ移行したときのことを書きます。 概要 駅メモ！をはじめとする弊社のサービスでは、データストアとして Amazon Aurora MySQL(以降 Aurora MySQL) を利用しています。すでにアナウンスされている通り、Aurora MySQL v2 は 2024 年 10 月 31 日に 標準サポート終了を迎えるため、Aurora MySQL v3 への移行が重要な課題になっていました。これに対し、駅メモ！開発基盤チームでは綿密な計画を立て、今年の初め頃に無事に移行を完了させることができました。このエントリはその時にどんな手法を取ったかを書きます。誰かの参考になればと思います。 やったこと 最初にざっくりとした流れを示します。 調査 新機能・廃止された機能の調査

メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、AWS

これはなに ども、レバテック開発部のもりたです。 今回はMySQLでのスロークエリログについて調査してまとめました。 スロークエリログといえば古くからパフォーマンスチューニングの力強い味方といったふうに語られることも多いですが、最近はクラウドで使える便利なツールも生まれています。この記事ではスロークエリログの一般的な使い方を紹介するとともに、他のツールとの比較や、どんな場面でスロークエリログが役に立つのか、また役に立たない場合はどんなツールを利用することができるのかについてまとめました。 足りないところなどあればおおいにマサカリ投げていただけると幸いです。 記事の流れ 記事の流れ この記事はそこそこ長いので、初めに記事の流れを解説します。適宜読み飛ばしてください。 なぜスロークエリログなのか ここではそもそもスロークエリログをなぜ確認したいのかみたいなところを説明します スロークエリログの

Miggo Securityは2024年8月20日（現地時間）、AWSのアプリケーションロードバランサー（ALB）に重大なセキュリティ脆弱(ぜいじゃく）性「ALBeast」があると発表した。ALBeastはALBを認証機能として使用するアプリケーションにおいて認証バイパスを可能にするものだ。影響を受けるアプリケーションは1万5000以上におよぶ。 AWS ALBの認証機能に隠れた脆弱性「ALBeast」 ただし、AWSは脆弱性とは認めず、「サービスは意図された通りに動いている」と述べた。その理由は何か。また、ALBeastが悪用されるとどのような危険性があるのだろうか。 ALBeastはALBの認証メカニズムに依存しているインターネットに公開されたアプリケーションにおいて、攻撃者が認証や承認のプロセスをバイパスできる構成ベースの欠陥とされている。悪用された場合は不正アクセスやデータ侵害、情

技術三課の杉村です。2019年11月、Amazon EC2のInstance Metadata Service v2(IMDSv2)が発表されました。 セキュリティ強化のためのアプデですが、どうして、どのようにしてセキュリティ強化になるのか、ピンとこない方もいたかもしれません。 当投稿では下記の公式ブログを抄訳して、IMDSv2がどのようにセキュリティ強化につながるのか簡単に解説したいと思います。 Add defense in depth against open firewalls, reverse proxies, and SSRF vulnerabilities with enhancements to the EC2 Instance Metadata Service 基本的に上記ブログの抄訳（抜粋して訳したもの）ですが、一部補足をしています。 1. ポイント デフォルトではIMD

はじめに サーバーレス大好きなエンジニアです！ みなさん、AWS Lambdaを使ってますか？ 日常的に利用しているけど、最適化についてはあまり考えていない方も多いのではないでしょうか。 実際、私もあまり意識せずに使っていました。 使い方をちょっと工夫するだけで、Lambdaのパフォーマンスがぐんと上がるんです！ 今回は、AWSのドキュメントに書かれているベストプラクティスを参考にしながら、Lambdaを最大限に活用する方法をお伝えします。 各セクションのタイトルを見ると、ちょっと難しそうに感じるかもしれませんが、できるだけわかりやすく解説していきますので、ぜひ参考にしてみてください！ 対象読者 Lambdaを使ったことがある人 もっと効果的に使いたいと感じている方 チームの開発効率とコードの品質を向上させたい方 Lambdaに興味がある方 では、早速始めていきましょう！ 目次 ハンドラー

対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で

はじめに こんにちは、Techouse の人材プラットフォーム事業部でサーバーサイドエンジニアを担当している imayayoh と申します。 Techouse では各事業部でエンジニアがインフラの監視として、AWS・外部サービス等のグラフモニタリングを実施しています。モニタリングでは下記に重点を置いており、インフラ構成の見直しや障害対応の場として活用しています。 サービス運用に十分なスペックでインフラが構成されているか 最適なコストでサービスが運用されているか インフラ・外部サービスで重大な問題が発生していないか 本日はモニタリングの実施で即時対応できたトラブルの一例として、Application Load Balancer (ALB) への謎の大量アクセス攻撃を紹介します。 コストモニタリング 弊社のサービスではインフラに AWS を使用しており、モニタリングでは AWS Billing

ついにブロックができるようになった！Amazon GuardDuty Malware Protection for Amazon S3が発表されました！ #AWSreInforce Amazon GuardDutyで待望のマルウェアに対する保護機能がリリースされました！信頼できないオブジェクトをS3にアップロードする環境ならガンガン活用していきましょう！ こんにちは、臼田です。 みなさん、AWS上でのマルウェアチェックしてますか？(挨拶 AWS re:Inforce 2024で待望のS3に対するネイティブなマルウェア検出と保護の機能である「Amazon GuardDuty Malware Protection for Amazon S3」がリリースされました！ Detect malware in new object uploads to Amazon S3 with Amazon Gua

はじめに こんにちは。SRE部ECプラットフォーム基盤SREブロックの石田です。 本記事では、Aurora Serverless v2を本番導入するにあたってどのような検討をし、どのように導入していったか、また導入後に得られた効果について紹介します。 はじめに Aurora Serverless とは 背景 比較検討 比較内容 方針の決定 アーキテクチャ 導入 1. Aurora Serverless v2を手動で構築 2. AWS CloudFormationでProvisioned型Aurora MySQLバージョン3を再構築 3. AWS CloudFormationでAurora Serverless v2に移行 4. 負荷試験・障害試験 負荷試験 障害試験 導入により得られた効果 柔軟なスケーリング インフラコスト 最後に Aurora Serverless とは Aurora

はじめに セキュリティエンジニアの齋藤ことazaraです。今回は、不可思議なContent-Typeの値と、クラウド時代でのセキュリティリスクについてお話しします。 本ブログは、2024 年 3 月 30 日に開催された BSides Tokyo で登壇した際の発表について、まとめたものです。 また、ブログ資料化にあたり、Content-Type の動作や仕様にフォーカスした形で再編を行い、登壇時に口頭で補足した内容の追記、必要に応じた補足を行なっています。 また、本ブログで解説をする BSides Tokyoでの発表のもう一つの題である、オブジェクトストレージについては、以下のブログから確認をすることが可能ですので、ご覧ください。 blog.flatt.tech なぜ今、この問題を取り上げるのか？ 従来のファイルアップロードにおいて、Content-Type の値を任意の値に設定すること

AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成

はじめに AWSアカウント作成時、デフォルトのVPCが一つ作成されます。 このデフォルトVPCを使用することで、すぐにEC2などのリソースを作成することができるという利点があります。 一方で、デフォルトVPCには自身が把握していないルートテーブルやセキュリティグループが含まれる可能性があります。 そこでリスクヘッジのためにデフォルトVPCの削除を検討される方も多いかと思います。 今回はそんなデフォルトVPCを削除する前に確認しておくことを記載します。 いきなりまとめ リソースが紐づいていなければデフォルトVPCは削除しても大丈夫です。 また、デフォルトVPCが必要になった場合は再度作成することもできます。 削除前の確認 VPCは削除する際に関連するリソースが表示されます。 実際にやってみましょう。 VPCの画面からデフォルトVPCを削除します。 関連するリソースが存在すると怒られました。

TL;DR 東京リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne1-AZ1, apne1-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 900μs程度 大阪リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne3-AZ1, apne3-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 200μs程度 東京リージョンの方がAZ間レイテンシが平均的に高い(大阪リージョンと比較して) 大阪リージョンの方がAZ間レイテンシが平均的に低い(東京リージョンと比較して) 昨年2023年測定時との差異 2023年に測定した際の記事リンク(Zenn) 環境 インスタンスタイプ変更m5.large --> m6i.large 測定結果 東京リージョンにおける同一リージョン内のレイテンシが1/5~1/2程度になった

米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ

こんにちは、AWS事業本部の平木です！ AWS Systems Manager（SSM）パラメータストアのコンソール画面を見たところ、 「クロスアカウントパラメータ共有の紹介」と、アップデートが紹介されていました。 今まではPutResourcePolicy APIを活用して行う方法があったようですが、 今回のアップデートでより楽にパラメータを共有できるようになったので試してみました。 前提 共有先のアカウントからパラメータを利用する際は、AWS CLIまたはAWS SDKで利用します。 AWS CLIを最新のバージョンに引き上げておく必要があります。 構成 今回はせっかくなので少し工夫が必要なSecureStringのパラメータをKMSキーで暗号化し、 AWS Resource Access Manager(RAM)を使用し、Organizations内のメンバーアカウントから参照できる