概要 Githubと連携させたAmplifyを使用したいが、WAFによるアクセス制限もしたい。 しかし、WAFがAmplifyをサポートしておらず苦戦したので、メモしておきます。 TL;DR Amplify Consoleで構築したものに対してWAF適用しました。 構築内容 CloudFrontを前段に配置してWAFを適用する OriginにAmplifyのEndpointを設定する Amplify側への直アクセスも制御 ループ防止の設定をする Amplifyに関して Amplifyのメリット SPA、静的コンテンツなどを新規サービスとして配信時、スピード感を持って構築できます。 例えば、S3に配置したい静的ファイルをGithubのコミットから直接更新出来る 複数の開発環境をブランチベースで用意することが出来て管理しやすい 認証機能がコンソールで実装できる Amplify側のエラー処理やル

上層部がDevOpsに理解のない組織で働き、組織構造を変える権限を持っていない開発者であっても、チームにDevOpsを導入するための現実的な方法を紹介します。 重厚な承認プロセス、可視化されていない運用、プロセスの最後でのみ行われるソフトウェアテスト、ノイズだらけのアラート、インシデントから学習しない習慣、時間外のデプロイ、情報のため込みなどを取り上げ、ソフトウェアシステムの開発運用が滞るチームや組織に共通してみられる陥りがちな状況や犯しがちな間違いをアンチパターンとして紹介します。そして管理職やマネージャでなく、エンジニアが実行し、繰り返すことで改善できる具体的な行動を解説します。 組織で必要とされる変化を、エンジニアが行動することで実現する本書は、ソフトウェアシステムをよりよく開発運用したいエンジニア必携の一冊です。 目　次 序文 本書について 1章　DevOpsを構成するもの 1.1

こんにちは！ 先日最終話が放映された Dr.STONE 2 期が始まった頃、先が気になりすぎて漫画版を大人買いした CTO室 鹿児島オフィスチームのよしこ @yoshikouki です。これぞ社会人の嗜みだなと感慨深くなった30歳の春。 今回は私が運用・開発に携わっているホスティング事業部で Slack ワークフローと GitHub Actions を組み合わせて業務を改善しましたので紹介したいと思います。本改善は、サービスの本番環境に近いステージング環境へのデプロイ作業を Slack 上で行えるようにして、デプロイのための環境構築を不要にしたことに加えて必要なステップを 1 つだけにすることができました。 これまでステージングデプロイの問題点 環境構築についての比較 改善前 改善後 デプロイフローについての比較 改善前 改善後 どのようにして改善したのか 実際の操作画面と流れ 実装方法

プログラムの実行速度やウェブサイトの表示速度は、たった数秒の改善でも多くのエンジニアたちの苦心を必要としますが、時として拍子抜けするほどにあっけなく、かつ劇的な改善がなされる場合もあります。画像共有サービスのPinterestが自社のブログで「たった1行の変更でコードの実行時間を99％短縮した」事例を紹介しています。 How a one line change decreased our build times by 99% | by Pinterest Engineering | Pinterest Engineering Blog | Oct, 2020 | Medium https://medium.com/pinterest-engineering/how-a-one-line-change-decreased-our-build-times-by-99-b98453265370

BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py

とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ ALBでターゲットグループの重み付けができるようになり、Route53で設定しなくても良くなりました。 AWSエンジニアは朝5時に起きるらしいと聞いていましたが、まさか自分がそっち側に回るとは思ってもいなかったもこ@札幌オフィスです。 とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ Application Load Balancer simplifies deployments with support for weighted target groups New – Application Load Balancer Simplifies Deployment with Weighted T

はじめに サーバーレス開発部＠大阪の岩田です。 re:Invent2018でLambda関連の新機能としてLambda Layersが発表されました。 【速報】【アップデート】Lambdaが複数のファンクションで共有するコードを持てるようになりました(Lambda Layer) #reinvent この機能を使うことで複数のLambda Functionから共通利用するロジックやライブラリをLambda Function毎にデプロイする必要が無くなり、共通ロジックの管理が簡素化されるという待望の機能です！！ ・・・本当にそうなんでしょうか？？ マネジメントコンソールから直接コードを編集するようなレベルの小規模なLambda Functionであれば、Lambda Layersを使う事でライブラリをデプロイする手間が省けてハッピーになれそうです。 しかし、我々サーバーレス開発部における開発で

この記事はAkatsuki Advent Calendar 2018の12日目の記事です。 前回は hayamaruさんの、知覚メカニズムと網膜投影でした。 はじめに 継続的デリバリーという文脈で、素早く、安全にデプロイする手法について、近年多くの記事を見かけます。 例えば、カナリアのおかげで命拾い : CRE が現場で学んだこと でカナリアリリースについて詳しく触れられています。このアイデアは「たとえテスト環境で十分な検証をしたとしても、本番環境で問題が発生しないということを保証するのは難しいので、少しづつトラフィックを移動して問題があったらすぐにロールバックをしよう」というものです。 上記記事中に紹介されているKayentaといったツールを使ってカナリア分析を行い、自動的にカナリアリリースするというのも良いですが、人間による承認を元にデプロイするならもう少しコストの低い方法で良さそうで

こんにちは。昨晩のお夕飯は鮭のカレー風味ムニエル定食だったインフラ部 SRE グループの @mozamimy です。 鮭のカレームニエル定食 pic.twitter.com/G2c1ij2wpp— ᕱ⑅ᕱ もざみ (@mozamimy) February 6, 2018 今回は、SRE グループでの取り組みのひとつであるマルチクラウドバックアップを題材にして AWS SAM、CodePipeline (CodeBuild および CodeDeploy を含む) を用いたサーバーレスアプリケーションの構築、ビルドおよびデプロイについて書いていきたいと思います。また、1月に Lambda で Golang が利用可能になった こともあり、CodePipeline の進捗を Slack に投稿する Lambda function を Golang で作ってみたので、そちらもあわせて解説したいと思

作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │   ├── common.sh │   └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src

おはようございます。こんにちは。こんばんは。 高校野球が大好きなリードエンジニアの @itosho です。甲子園が終わってしまったので、夏も終わりです。 実は先日ひっそりとGoで書いたCLIツールをOSSとして公開したので、今回はその宣伝をさせていただきます。リポジトリはこちら！ github.com 何が出来るのか？ 一言で言うと「tagの作成とリリースノートの作成」が出来ます。はい、それだけです。 tagの作成 tagの作成と言ってしまえばそれだけなのですが、弊社のサーバーサイドのリポジトリはGitHubのmasterブランチにマージされたタイミングでステージング環境にデプロイされる運用になっています。 また、tagがpushされたタイミングで本番環境にデプロイされるようになっており、tag pushがデプロイ戦略において重要な役割を担っています。 もちろん、tagを追加してpushす

こんにちは。技術部の吉川です。 最近ではMicroservicesという言葉もかなり浸透し、そのテクニックも体系化されつつあります。 一方でMicroservicesについての話は概論や抽象的な話が多く、具体像が見えないという方もいらっしゃるのではないでしょうか。 当ブログでは1年半ほど前にMicroservicesへのとりくみについてご紹介しました。 当時社内ライブラリだったGarageはその後オープンソースとして公開され、また社内のシステムも当時と比べ飛躍的な進化を遂げています。 そういったクックパッドにおける最近のMicroservices事例を先日Microservices Casual Talksで紹介しました。 Microservicesの抽象的な話は一切割愛し、具体的な事例に終始した内容となっています。 Microservicesの基本となる考え方はわかったものの、実践方法で

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーシ

こんにちは、虎塚です。 re:Invent 2017のセッション「Serverless Architectural Patterns and Best Practices」(サーバーレスアーキテクチャパターンとベストプラクティス) の動画を視聴したのでレポートします。発表は、AWSのDrew DennisさんとMaitreya Ranganathさんでした。 本セッションでは、Webアプリケーション、データレイク、ストリーム処理、運用自動化 の4分野のインフラストラクチャについて、サーバーレスで構築する場合にどのAWSサービスをどう使うか、パターン を紹介してくれます。これらの用途でサーバーレス構成を検討している方には、参考になる部分があると思います。 AWS re:Invent 2017: Serverless Architectural Patterns and Best Practi

各サービスではなく、要件軸に絞って1つずつ見ていきます。 日本からの転送速度 Registry選定にあたって自分たちが重要視したのはここでした。 DockerHub、Quay.ioはネットワークの物理的距離があるのでDocker Push/Pull共に致命的に遅く、 Docker Push→8分 Docker Pull→10分弱 と、Docker周りのデプロイプロセスだけで20分弱掛かってしまう状態でした。 個人サービスなどであれば20分程度のデプロイ時間が気にならない場合もあると思いますが、さすがに数十回/日 デプロイするサービスの場合、リリースがボトルネックになってしまうことは避けたかったのでDockerHubとQuay.ioは選択肢から外しました。 サービス月額 ミニマムプライスは大体横並びです。が、CoreOS Registryとdocker-registryはそれぞれインストール

項目ごとにコメントしてみます。 Dockerサポート/AMIの制限 EC2インスタンスでは仮想マシンのroot権が握れるので、AMI(Amazon Machine Image)があれば好みのLinuxディストリビューションにDockerをインストールして利用できます。商用サポートを期待するのであれば、CoreOSやRHEL Atomic Hostを検討するのも良いでしょう。 ECSの場合はECSエージェントを実行していれば任意のディストリビューションで良いようですし、ECSエージェント自体Dockerコンテナで実行するので、ほぼ縛りなしと見なしてよいと思います。一方Beanstalkは、専用AMIからの起動が前提になっているのでディストリビューションはAmazon Linux一択です *1。そもそも「Dockerを利用するモチベーションとしてLinux環境に依存したくない」というのもよくあ

Blue Green Deployment Tweet はじめに デジカでは、2015年4月から Blue Green Deployment を実践しています。それについて、良かった点と課題を含めて紹介したいと思います。 Blue Green Deployment とは Blue Green Deployment という言葉は、マーチン・ファウラー氏の同名の記事 (日本語訳) から広まったものだと思います。簡単に言うと、本番用のサーバを２セット用意して、別のサーバで新しいバージョンを動かしてから切り替える形でリリースする手法です。 以下のような利点があります。 graceful restart などの複雑な機能を使わずに、ダウンタイム無しで瞬時に切り替えができる ユーザに公開する前に、本番環境そのもので最終的な動作確認テストができる 万が一、新バージョンに問題があった時、すぐに前のバージョ

6. Masashi Terui @ marcy_terui I’m a Developer and Cloud Architect. I’m a full-time employee at JIG-SAW Inc. But, I’m a part-time freelancer. I’m a member of JAWS-UG and GCPUG and MyNA←New!! I’m around 30 years old. I’m a father of my son and daughter. https://willy.works/ 6

概要 こんにちは。本日の担当の@hiro_kobaです。リブセンスでアクセスログ分析基盤の開発等をやっております。 本日は最近人気のある5個のCIツールを、色んな角度から比較してみようと思います。 背景 テスト環境でテストを実行し、通ったらステージングにデプロイ、その後動作が確認できたら本番デプロイ。 日々のオペレーションでよくある光景かと思いますが、手動での手順が多いためミスが発生しやすく、かつ手間も掛かるため、課題を感じておりました。 これらの継続的な運用フローを自動化してくれる仕組みとして、CIツールがあります。 CIツールは大きく分けて、以下3つに分類されるようです。参考 Everything（全方位型） Build, Test and Delivery（ビルド・テスト・デプロイ特化型） Specialization（その他特化型） 今回の問題には「Build, Test and