ログを日次で集計する時、UTCで集計される ので、日本時間で調査するときに嵌った。 ローカルタイムゾーンにしてクエリ実行すれば勝手に集計基準も判定してくれると期待していたがだめだった。 ローカルタイムゾーン 2021/03/18 00:00:00 ~ 2021/03/18 23:59:59 に対して、statsのbin(1d)を使用して集計すると、

最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio

本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs

はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅

ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では、増え続けるECS定義をモノレポとエスプレスタック（ecspresso/ecschedule）で管理した事例を紹介します。 ECSの運用で発生した悩み ECSを利用する開発者やアプリケーション数が増え

こんにちは。たかやまです。 みなさんアーキテクチャを検討するときに、なにか参考にするアーキテクチャがあると助かりますよね？ 私もアーキテクチャ検討をするときは、車輪の再発明を避けるためゼロベースではなく先人たちのアーキテクチャを参考にさせていただくことが多いです。 そのおり、ちょうどお客様にアーキテクチャ検討に役立つサイトをご紹介する機会があり、参考にしているサイトを改めて調べると結構あったので今回こちらをブログにまとめてみたいと思います。 30 の目的別 クラウド構成と料金試算例 目的別クラウド構成と料金試算例 日本利用者向けに公開されているリファレンスアーキテクチャのサイトになります。 全ドキュメント日本語で料金試算も載っているため、アーキテクチャの検討はじめにおすすめのサイトです。 サーバレスパターン サーバーレスパターン サーバレスの汎用的なユースケースがまとめられたサイトになりま

2022/12/27 一部の文章を修正・更新しています。 こんにちは！ BFT名古屋支店の佐野です。 今回はAWSのCloudWatch Logsに出力されるログから、一定のワードを検出するために使用するフィルターのお話です。 はじめに：CloudWatch Logsのフィルター機能 AWSでは、仮想マシンに相当する“EC2”やコンピューティングサービスである“Lambda”、そして“API Gateway”などのログをCloudWatch Logsに出力することができます。 そして実際の運用においては、単に出力するだけでなく「●●というログが出力されたら、○○に通知を送る」といったログ監視の機能を付けることが多いです。 CloudWatch Logsでは正にその機能に適する、出力された単語を検知するための２種類のフィルターを設定できます。 メトリクスフィルター 2種類のフィルターのうち、

AWSアカウントを組織で管理していると複数アカウント利用するケースは多いかと思う。別のアカウントに切り替えるには、WebコンソールからSwitch Roleすればよい。そして以下のように $HOME/.aws/config と $HOME/.aws/credentials を設定すればAWS CLIからもSwitch Roleできる。 $ cat $HOME/.aws/credentials [main-account] aws_access_key_id = ACCESS_KEY_ID aws_secret_access_key = SECRET_ACCESS_KEY $ cat $HOME/.aws/config [profile sub-account] source_profile = main-account role_arn = ROLE_ARN mfa_serial = MF

Amazon Web Services ブログ AWS 認定試験を受けるときのコツ こんにちは、 AWS テクニカルトレーナー 野邊 (のべ）です。 皆さんは、 AWS 認定試験に興味がありますか？ 私は、自分のスキルを測る一環として、毎年いくつかの AWS 認定試験にチャレンジするようにしています。 また私は AWS のクラスルームトレーニングをデリバリしていますが、その受講者の方から AWS 認定試験について質問されることも増えてきています。 本記事は、 AWS 認定試験にチャレンジしようとしている方向けに、私の経験を踏まえて「ちょっとしたコツ」をお伝えすることを目的としています。 AWS 認定試験に限らず、「試験」にチャレンジする際には、事前に様々な情報を仕入れておくことが重要です。その情報をベースにした「コツ」を心得ておくことで、試験に対して余裕をもって臨むことができます。 これか

私的に使いこなせたら強そうなAWSのサービスシリーズにCognitoがランキング上位にあります。 認証・認可って大体のアプリケーションに必要ですし、AWSのマネージドサービスに投げられれば非常に楽ですよね。 まぁ私は全然使いこなせてないのですが。 私はCognitoの認証・認可の機能を利用するには、Webアプリケーション側でのコード変更が必須と考えていましたが、こちらの記事を見て、ALBとCognitoを連携させて簡単に認証・認可の機能を利用できることを知りました。 以下のようなユースケースですっと導入できれば、できるエンジニア感が出せるなと思いました。 ALBの背後でウェブアプリケーションを動作させている 開発環境やステージング環境で、アクセス制限を導入したい IPアドレスによるセキュリティグループでの制限が難しい Basic認証のように既存のウェブアプリケーションに変更を加えられない

ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep

Twitter等で告知していたものの、ブログで告知できておりませんでした。AWS認定データベース 専門知識の試験対策本を書き、2021年6月17日発売開始しています！！ 要点整理から攻略する『AWS認定 データベース-専門知識』 (Compass Booksシリーズ) 作者:NRIネットコム株式会社,佐々木 拓郎,上野 史瑛,小西 秀和,小林 恭平マイナビ出版Amazon 試験対策本の内容 本書は、サービスカットとソリューションカットの両建てで、試験範囲の解説をしています。最初の1章で、AWS認定試験の概要と試験勉強の仕方、教材についての説明をしています。2〜6章がメインで、2〜4章はサービスカットでそれぞれのデータベースサービスの解説をしています。５・６章はソリューションカットで移行や監視、セキュリティなどについて、どのように対応するのか考え方をまとめています。そして7章でWell-Ar

AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 AWS Valutとは AWSのアクセスキー/シークレットキーを安全に保存・利用するためのOSSソフトウェアです。 AWS CLIだけではなく、boto3等AWS SDKを用いた開発、 Terraform等のサードパーティアプリケーションでも利用することが出来ます。 AWS VaultはIAM認証情報をOSのキーストアに保存し、認証情報の利用時

はじめに こんにちは、中山です。 先日GitHubのトレンドを見ていたところ、面白そうなツールを発見しました。Terragruntというものです。これはTerraformのラッパーツールで、いろいろと便利な機能を提供してくれます。今回このツールを利用してみたのでエントリにまとめます。 Terragruntは何を解決するために作られたのか 作者の方のブログ(Add Automatic Remote State Locking and Configuration to Terraform with Terragrunt)や、GitHubのREADMEに詳しく書かれていますが、以下の2つの問題を解決するためのツールです。 リモートステートの有効化忘れ ロック機能 以下それぞれについて説明します。 リモートステートの有効化忘れ Terraformは拡張子に .tfstate が付くファイル(ステー

Find your best for ECS/Fargate 🙌 Talked at "AWS Dev Day Online Japan" 2020.

AWS Loft好きのKyoです。CLIも好きで修行中です。 AWS CLIでスイッチロールする際の設定に困ったので情報を残しておきたいと思います。 前提 aws-cli/1.16.232 Python/3.7.3 Darwin/18.7.0 botocore/1.12.222 ベースとなるアカウントのIAMユーザから、別アカウントのIAMロールにスイッチロールして、CLIから操作を行う AWS CLIの設定は完了済み ~/.aws/にスイッチロール元のIAMユーザの aws_access_key_idとaws_secret_access_key が設定されている ~/.aws/config も以下の様に設定されている [default] region=ap-northeast-1 output=json 設定 スイッチロール先のプロファイルをtest001と名付け、default の下に

Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWSにおけるマイクロサービスアーキテクチャの設計パターン 資料及び QA 公開 先日 (2020/03/25) 開催しました AWS Black Belt Online Seminar「AWSにおけるマイクロサービスアーキテクチャの設計パターン」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200325 AWS Black Belt Online Seminar AWSにおけるマイクロサービスアーキテクチャの設計パターン AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Amazon API Gateway は複数のバックエンドを統合する機能は持たないと思います。その意味で BFF パターンの実装に位

はじめに 静的Webサイトを構築する際にAmazon S3とAmazon CloudFrontを利用するアーキテクチャは定番ですが、これらを利用したアーキテクチャには2つの手法があります。 オリジンアクセスアイデンティティを使って、S3バケットへのアクセスをCloudFrontディストリビューションからのみに制限する方法 S3の静的ウェブサイトホスティングを有効化し、CloudFrontにカスタムドメインとして設定する方法 前者がベターに思えるかもしれませんが、後者の方が良い場合もあります。それは ランディングページなどのシンプルなHTMLベースで構築するWebサイトの場合 です。 本記事では、どういった理由でS3のウェブサイトホスティングを採用するか解説します。 リダイレクト設定がかんたん 静的Webサイトホスティングにはリダイレクトを自由にカスタマイズできるRedirection Ru