AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など

Amazon Linux 2023とAmazon Linux2のデフォルトで起動しているサービスやインストールされているパッケージに違いがあるか気になるな こんにちは、のんピ(@non____97)です。 Amazon Linux 2023がGAされましたね。 こちらの記事でも紹介した通り、Amazon Linux 2023とAmazon Linux 2とを比較して、リポジトリに追加・削除されたパッケージが相当数あります。 どのパッケージが追加・削除されたかはAWS公式ドキュメントから判断つきますが、どのサービスがデフォルトで起動していて、どのパッケージがインストールされているかの情報はありません。 気になったのでAmazon Linux 2023とAmazon Linux2のデフォルトで起動しているサービスやインストールされているパッケージを比較してみます。 検証で使用するAMIは以下の

2023年2月24日、「C7g」のインスタンスファミリー、 「Graviton3」 AWSが開発する Armプロセッサーを搭載した 最新世代のEC2インスタンスが 東京リージョンでも利用可能になりました。 Amazon EC2 C7g instances are now available in additional regions 今回、東京リージョンで「C7g」インスタンスの起動を試す機会がありましたので、紹介させていただきます。 EC2 インスタンスを起動 アーキテクチャ 「64ビット (Arm)」を指定、インスタンスファミリー「C7g」の選択が可能になりました。 インスタンスタイプ情報 2023年2月時点で 検証を試みたアカウントでは、 「C7g」 を利用可能な 東京リージョンのアベイアビリティゾーン(AZ) は、 ap-northeast-1c (apne1-az1), ap-n

AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ

はじめに 自分がAWSをこれっぽっちも知らない頃、 ググって出てきたどこか知らんサイトからだと、「欲しい情報はこれじゃない」ってのが多くあった。 そんなこと繰り返していると エラー、トラブル時に即対応できない 間違って構築したせいで運用時に悪化してしまう 古いソースコードでエラーがでて動かない これで無駄な時間を過ごすことになる。 要は「ググって得たその情報で、作ったものは正しいのか？」 AWSは常にアップデートされ続ける 欲しい情報を手に入れるまで調べる時間を割くなら、 公式展開してるサイトから得たほうが正確である。 ということで、最速でAWSを攻略するサイトをまとめる。 この記事をブックマークでもしておくと、ググる手間も省けるだろう。 目次 AWSドキュメンテーション AWSサービス別資料 トレーニングライブラリ AWSブログ アーキテクチャーセンター ワークショップをする よくある質

AWSは、ローカルマシン上にLinuxコンテナのランタイム、ビルドツール、コマンドラインツールなど一式を簡単にインストールし、コンテナを用いた開発環境を開始できるソフトウェア「Finch」をオープンソースで公開しました。 Today we are happy to announce a new open source project, Finch. Finch is a command line client for building, running, and publishing Linux containers. Learn more in this blog from @estesp and @ChrisShort https://t.co/5qDdio806E#AWSCloud #containers #opensource pic.twitter.com/TDfcYlwwIs

弊社では、プロダクトの成長を生み出すエンジニアやデザイナーのメンバーを積極採用中です。採用情報をご確認 【技術スタック】 Figma, TypeScript, Next.js, Python, FastAPI, AWS, Terraform 【採用情報】 https://todoker.notion.site/efc2eea5eb054b6e8757fa3553af58d1

はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア

ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl

Webサーバーのパフォーマンスを計測する Server Timing という規格が W3Cによって策定されており、サーバーが決められたフォーマットでメトリクスをレスポンスに含めると、Server Timing に対応したブラウザからメトリクスを簡単に確認できます。 W3C : Server Timing この仕様のエディターは、Akamai と Google のエンジニアであり、Akamai の CDN では何年も前から Server Timing を有効にでき、Chrome ブラウザからメトリクスを確認できました。 Using CDN Server Timing to Monitor CDN and Origin Performance | Akamai Developer 今回のアップデートにより、Amazon CloudFront もCDN-オリジン間の通信に対してこの Server

S3 オブジェクトの中身をローカルにダウンロードせずに参照したい コンバンハ、千葉（幸）です。 aws s3 cat を実行したい、そんな風に思ったことはありませんか？つまりは S3 オブジェクトの中身を参照するためにいちいちローカルにダウンロードしたくない、ということです。 例えばこんなふうに aws s3 ls で S3 バケットの中身を参照して…… $ aws s3 ls chibayuki-hoge-hoge/chibayuki/ 2022-02-13 13:17:45 0 2022-02-13 13:19:15 17 test.txt 2022-02-13 13:19:16 17 test2.txt 2022-02-13 13:19:16 17 test3.txt そのまま aws s3 cat でオブジェクトの中身を表示させたい、ということです。 $ aws s3 cat ch

[アップデート]GuardDutyが盗まれたEC2のクレデンシャルが別AWSアカウントで利用されたことを検知できるようになったので実際に試してついでにDetectiveで調査してみた GuardDutyがEC2から搾取されたクレデンシャルを別AWSアカウントで利用しても検知してくれるようになりました。実際にインシデントが発生した場合の対処方法も合わせて解説しています。 こんにちは、臼田です。 みなさん、GuardDuty使ってますか？(挨拶 今日は素晴らしいアップデートが来ました。EC2から搾取されたクレデンシャルが別AWSアカウントで利用されたときにAmazon GuardDutyで検知することが出来るようになりました！ Amazon GuardDuty now detects EC2 instance credentials used from another AWS account

小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載

ログ・モニタリングのやるべきこと AWS CloudTrail の設定 CloudTrail は AWS リソースを「誰が」「いつ」「何に」対して「どうような」操作をしたのかを記録するサービスです。 ログの長期保管の設定をしておくことで、トラブル発生時の解析等に利用できます。 有料です（無料利用枠もあります） [YouTube] AWS CloudTrailを触ってみた CloudTrail Insights を利用することで、機械学習により異常なアクティビティを検出することもできます。 ログは S3 と CloudWatch Logs に転送でき、S3 に保管しているログは Athena により検索することもできます。 Athena を利用する場合は、事前に CloudTrail 用のテーブルを作成しておき、検索方法を習熟しておきましょう。 インシデントが発生してから習熟では対応が遅くな

こんにちは、イムチェジョンです。 今回のブログではS3バケットのオブジェクトを開くためにAWS CLIを利用してpre-signed urlsを取得してみました。 アジェンダ pre-signed urlsとは？ pre-signed urlsの取得方法 まとめ 1. pre-signed urlsとは？ pre-signed urls すべてのオブジェクト及びバケットは基本的にプライベートだが、pre-signed urlsを使用して選択的にオブジェクトを共有できる 顧客/ユーザーがAWSセキュリティ資格証明や権限なしに、バケットにオブジェクトをアップロードすることを許容できる pre-signed urlsの構成 pre-signed urlsは下のように構成されてます。 https://s3.amazonaws.com/examplebucket/test.txt? X-Amz-Al

こんにちは、EC基盤本部SRE部ZOZOSREチームの石川です。 普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。 ZOZOTOWNには長い歴史がありますが、その中核を成すWebアプリケーションのアーキテクチャは、サービス開始当初から現在に至るまで大きく変わらず稼働しています。 一方で、インフラは少しずつ変わっています。高負荷となるセールやイベント時のスケールアウトするために、またハードウェアのライフサイクルに合わせる形で、物理サーバ → 仮想基盤 → クラウドと徐々に技術が変遷しています。 本記事では、クラウドへのスケールアウトを加速させるために、オンプレミスで稼働中のWebサーバをAmazon EC2（以下、EC2という）で動作させるまでの取り組みを紹介します。 スケールアウトに向けたZOZOTOWNの課題 ZOZOTOWNのWebサーバは、Windows

■AWSのCode シリーズ CodeCommit ソースコードを管理するGitリポジトリサービス CodeBuild ソースコードのビルド/テスティングサービス CodeDeploy ビルドされたモジュールのデプロイサービス CodePipeline 継続的デリバリー/継続的インテグレーションをサポートするサービス 1.CodeCommit 概要 - 簡単にGitリポジトリをホストすることができる。 - サードバーティ製のツールも利用可能。 - プルリクエスト機能も利用可能。 接続方法 - コンソール - https - ssh 基本的な利用の流れ その他参考情報 1-1 CodeCommitのリポジトリを作成する [リポジトリ名]に任意のものを入力 1-2 初期セットアップ、コードのPush IAMユーザの権限を使って、CodeCommitのリポジトリに接続し、Pushします。 git

概要 AWSではアプリケーションのデプロイや、システムのスケーリングを自動化することができます。 しかしそれらを実現しようとすると、似たようなサービスの中から用途に合ったものを選ぶ事になると思います。 今回は選択肢となり得るサービスを挙げて、それぞれの出来る事、出来ない事をベースに比較していこうと思います。 比較の軸 以下のように、評価軸を設けました。 サービスの機構として提供されているものは◯とします。 機構として提供されているが、使い難いものは△とします。(例: AWS CLIを利用した場合のみ利用可能など) 機構としては提供されていないが、別の機構などを組み合わせることで容易に実現可能なら△とします。 別の機構などを組み合わせても辛い場合や、実現不可能なら×とします。 デプロイ自動化 まずはアプリケーションのデプロイを自動化するサービスの比較を行います。 以下の4つの選択肢があります

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?