こんにちは、今年の4月に新卒入社でABEJAに入社しました島倉と申します。 現在はプロジェクトマネージャーとして働いています。 これはABEJAアドベントカレンダー2024の9日目の記事です。 なぜFirecrackerが開発されたのか 従来の仮想化技術の課題 Firecrackerの設計要件 Firecrackerとは何か Firecrackerのアーキテクチャ Firecrackerのコード解説とその仕組み microVMの仕組み MicroVMはなぜ軽量なのか 1. 起動プロセスでカーネルを直接ロード 2. mmap による効率的なメモリ管理 3. KVMを利用したvCPU管理 4. Seccompで不要なシステムコールを制限 5. 最小限のVirtIOデバイス まとめ We Are Hiring! 今回は、生成AIの発展が注目されている中あえて、「地味だけど重要な技術」にフォーカス

CloudFrontの新機能VPCオリジンを使い、プライベートなALBをセキュアに公開する事が可能になりました。 2024年11月20日に発表されたAmazon CloudFront の新機能、VPC オリジンを利用して、Amazon VPC の Internal ALB へ CloudFront 経由でアクセスする設定方法を紹介します。 評価環境の準備 VPC VPCウィザードを利用して、以下のVPCを作成しました。 VPCとサブネット等の関連リソースを同時に作成 IGWを利用可能なパブリックサブネットを2つ GWの存在しないプライベートサブネットを2つ NATGatewayの設置は行わない Internal ALB作成 作成した検証用のVPCに、VPCオリジンで利用する Internal ALBを作成しました。 内部用の ALB (Internal)を設置しました。 サブネットは、プラ

AWS Summit Japan 2024 Expo ( https://aws.amazon.com/jp/summits/japan/expo/ )での発表資料です。 本資料は、Amazon Web Servicesのテクニカルレビューを経ていますが、発表者独自の観点および分類により作成してい…

AWSが長い間、最高のオープンソースプロジェクトを取り込み、常にそれらのコミュニティに還元することなく再利用し、再ブランド化することで非難されてきたことも周知の事実だ。 AWS gives open source the middle fingerOSSというのは、不思議なソフトウェアだ。世界中で何百万人もの人が一円にもならないのに開発に協力し、コミッタと呼ばれるエンジニアキャリアをOSSに賭ける人々が現れ、多くのユーザがユーザ会を組織し、時には大規模なイベントを開く。MicrosoftやGoogleといった大企業もOSS支援を表明している。GoogleにいたってはandroidとKubernetesという重要なOSSを世に送り出した企業でもあり、その貢献は計り知れない。 そんな中、OSSに対して敵対的、とまでは言わないにしても非常に冷淡な態度を取る企業がある。それがAWSである。本稿では

AWS News Blog Amazon ElastiCache Serverless for Redis and Memcached is now available Today, we are announcing the availability of Amazon ElastiCache Serverless, a new serverless option that allows customers to create a cache in under a minute and instantly scale capacity based on application traffic patterns. ElastiCache Serverless is compatible with two popular open-source caching solutions, Redi

こんにちは。 株式会社CHILLNNという京都のスタートアップにてCTOを務めております永田と申します。 弊社では宿泊施設様向けに宿泊施設の予約管理用のSaaSを提供しており、現時点で1000近くの施設様にご利用いただいています。 現在、これまでに溜め込んだ日本最大級の宿泊コンテンツの検索エンジンを構築しており、その過程でさまざまなデータベースを探索しています。 本記事では、AWSのKVSであるDynamoDBを題材に、公式ドキュメントに書かれているキー設計のベストプラクティスの背景を理解することを目的とします。 なお、本記事の執筆にあたって、こちらの動画を大変参考にさせていただきました。 DynamoDBとは DynamoDBとは、AWSで利用できる、あらゆる規模に対応する高速で柔軟なNoSQLデータベースサービスです。 DynamoDBが登場した背景は、アプリケーションの大規模化です。

マネージドサービス部 佐竹です。 以前 NAT Gateway 集約のためのネットワーク設計においてトラブルを発生させてしまったことがあり、その再発防止のためのブログを記載します。 はじめに 各 VPC ごとに NAT Gateway を構築した場合 NAT Gateway の利用料 AWS Transit Gateway を用いて集約する NAT Gateway 集約と経路設計 Transit Gateway を構築する Transit Gateway Attachment (Type VPC) を各 VPC で作成する 「VPC A」と「VPC C」の Subnet の経路を修正し、 NAT Gateway を削除する 一度ここで経路確認を行ってみる Transit Gateway のルートテーブルに「0.0.0.0/0」を追加する Reachability Analyzer での動作

エージェンシー事業でリードデータエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3にログ転送

Calling_Momento_API_with_Amazon_EventBridge_Destinations___Pipes.pdf

はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon

うおおおおおおおおお!!! ってなったけどなんで歓喜しているんだっけ? こんにちは、のんピ(@non____97)です。 皆さんはNetwork Load Balancer (以降NLB) にセキュリティグループをアタッチしたいなと思ったことはありますか? 私はあります。 本日8/11についにサポートされましたね! 早速、偉大な先人がアップデートをまとめてくれています。 細かい仕様は以下AWS公式ドキュメントにも記載があります。 うおおおおおおおおおおおおお!!! という感じで目が覚めたのですが、なぜ私はこんなに歓喜しているんでしょうか。 この感情を言語化してみました。 いきなりまとめ クライアントIPアドレスを保持する場合、NLBを介さずに直接アクセスされるのを防ぐことが簡単になった 従来はターゲットのセキュリティグループでクライアントのIPアドレスからの許可をする必要があったため、NL

AWS Sketch is meant to show the AWS Services as informative drawings. We write about Cloud and Engineering in a newsletter called Cloud Weekly. Advance faster in your career with us. Visit Cloud Weekly!

全AWSエンジニアに捧ぐ、CloudWatch 設計・運用 虎の巻 / CloudWatch design and operation bible

AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など

はじめに アプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。この記事では、ログ、ログの種類およびAWSのCloudwatLogsサービスについて説明したいと思います。 各個人によって好きなAWSサービスがそれぞれだと思います。これが正解という訳ではありませんが、参考にしてただければと思います。 対象者 AWSでログの記録に興味がある方。 AWSでワークロードを運用している担当者。 ログレベル ログレベルについて皆さんご存じだと思いますが、主に３種類のログがあります。 レベル 説明

ども、大瀧です。 現在開催中のAWS re:Invent 2022で発表されたVPCの新機能、Amazon VPC Latticeをご紹介します。 VPC Latticeとは VPC Latticeはサービス間通信をシンプルに実現するVPCの新しい機能です。サービス間通信に利用できるAWSの機能としてELB(Elastic Load Balalncing)やAPI Gateway、RAMによるVPCサブネット共有などがありますが、VPC LatticeはVPCの一機能という特性を活かし、ネットワーク構成を極力意識せずに利用できる点や異なるAWSアカウントおよびVPCとの連携を一元的に扱える点がユニークと言えそうです。 VPC Latticeの構成 ELBの構成によく似ています。以下をそれぞれ設定し、サービス連携に利用します。 リスナ: 1つまたは複数のリスナを任意のポート番号とプロトコルで

［速報］AWS Lambdaのコールドスタートを劇的に速くする「AWS Lambda SnapStart」発表。AWS re:Invent 2022 Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開幕しました。 毎年恒例となった月曜日夜に行われるイベント最初の大型セッション「Monday Night Live」には、AWS Utility Computing担当SVP Peter DeSantis氏が登壇。 Get out from the cold & warm up with faster startup times.#AWS Lambda SnapStart for Java delivers up to 10x faster startup performance without the added spend

Amazon Web Services（AWS）は、コンテナ化したWebアプリケーションのスケーラブルな実行を簡単に行える「AWS App Runner」で、PHP/Go/.Net/Rubyのマネージドランタイムをサポートしたことを発表しました。 App Runnerはコンテナ化したWebアプリケーションを簡単にデプロイし実行できるサービスです。オートスケール、ロードバランスなどの管理は全てクラウド側に任せることができるため、ユーザーはアプリケーションの開発に集中できます。 利用するには、コンテナイメージをApp Runnerにプッシュする方法に加えて、GitHubでソースコードをプッシュするとApp Runnerがそれを検知して自動的にコンテナ化し、実行してくれる機能も備えています。 ただしこれまではPython3もしくはNode.jsで実行可能なコードにしか対応しておらず、それ以外の言

Terraformを使用してAWSリソースを管理するにあたり最低限必要な環境設定手順をまとめました。 公式のチュートリアル等で一般的に紹介されている手順に則るとセキュリティや利便性の面で課題があります。 ここで紹介する環境設定方法はその課題を解決する私なりのベストプラクティスな環境設定になっています。 これからAWSでTerraformを始める方の参考になれば嬉しいです。

TLDR AWSで2022年の1月から9月までのアップデートが多数ありました。私（と、何人かのサポーター）が考えた、この期間内の打破されたアンチパターンを紹介します。32項目ありました！ アンチパターンって何よ？ 「AWSでこうしたい」という思いからAWSを使っていく方は多いはずです。 そのなかで、数多くのAWS使いこなしの工夫が生まれ、成功例が生まれていきました。AWSのサービスとして提供されていないことを工夫でなんとかした、そんな成功例たち。それが「秘伝のタレ」となり、「さわってはいけないもの」、あるいは「ロストテクノロジー」として、封をしたパターンとなっていないでしょうか？ 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンであり、リファクタリングするための方法が存在するパターンこそがアンチパターンです。サービスアップデートされれば、いままで