AWS Startup Tech Meetup Online #4 https://aws-startup-community.connpass.com/event/209830/

ラクスルの@nnm_techです。 ラクスルの印刷サービスではこれまでにもE2Eテストがありましたが、この度より良いシステムを目指し再構築することになりました。 本記事ではTestCafeとAWS CodeBuildを用いたE2Eテスト刷新について紹介したいと思います。 ラクスルで運用している印刷サービスは裏側で複数のサービスが協調動作しています。 入稿サービス、発注サービス、決済サービス…外部サービスとの連携も含めるとかなりの数があります。 このような中、弊社では各サービスの変更時におけるユースケースの動作担保・リグレッション検知を目的にE2Eテストを実施しています。 目次 E2Eテストを構築するにあたってのポイント ポイント1: テストの書きやすさ ポイント2: 実行環境の問題 ポイント3: 実行タイミング これまで どうしたか テストの書きやすさ: TestCafeの導入 実行環境:

こんにちは、入社 3 年目の SRE の id:kizkoh です。 今年から別のチームに異動になったのですが、以前は Mackerel チームで仕事をしていました。 このエントリでご紹介するのは私が以前担当していた Mackerel での Kubernetes(k8s) クラスタ利用の取組みになります。 はじめに 入社してから約 2 年間 Mackerel チームでサービス運用開発の仕事をしていました。直近のトピックでは 2 月に公開された Mackerel コンテナエージェントの開発、検証のお手伝いとして k8s クラスタでの検証や Mackerel のシステムのコンテナ運用として k8s クラスタ基盤の設計構築に取り組んでいました。 昨年 2018 年は国内で Japan Container Days (今年からは CloudNative Days です)が開催され k8s のトピッ

JenkinsやSpinnakerなどの開発をホストする「Continuous Delivery Foundation」発足。CI/CDの普及とエコシステムの発展を促進 Linux Foundationは「Continuous Delivery Foundation」の設立を発表しました。 Continuous Delivery Foundationは、次の4つの価値を基本原則とするとされています。 Continuous Deliveryは開発者やチームに力（パワー）を与え、高品質のソフトウェアの迅速な開発を実現できると信じます オープンソースソリューションはソフトウェアデリバリのライフサイクル全体を包括的に解決できると信じます コラボレーションと相互運用性を通じてオープンソースのエコシステムやベンダニュートラルなプロジェクトを維持し、育成していきます。 これらの考えを支持し、実践している

こんにちは。ZOZOテクノロジーズ開発部の田島です。 今時のシステム開発ではさまざまなツールを利用することが当たり前になっています。 そして各種ツールは日々新しいものが開発され、今まで当たり前だったものがレガシーなツールと呼ばれることも珍しくありません。 弊社では、GitHubやCircleCI・Slackなど様々なツールを利用しています。 私達のチームでもこれらのツールを利用していますが、それ以外にもGitBucketやJenkins・Redmineを独自で管理し利用していました。 今回ある理由からそれらのツールをSaaSへ移行しました。その経緯と移行手順を紹介します。 概要 開発支援サーバの紹介 利用しているGitBucket・Jenkins・Redmineは開発支援サーバと呼ばれる一台のEC2インスタンスの上で動作していました。 やったこと これらのツールを以下の図のように、「Git

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

Feature Flagを用いたサーバーサイドリリースの実装と柔軟な運用について/implementation_and_operation_of_server_side_release_with_feature_flag

社内外でちょいちょい聞かれるのでメモ。 前置き GitHubを使ってる場合 ライブラリを作ってる場合 Travis CIを選択する理由 2020/4/21追記 Travis CIを選択しない理由 アプリを作ってる場合 CircleCIとWerckerの共通点 CircleCIとWerckerの機能差異 GitLabを使ってる場合 GitLab CIの優位点 Jenkinsなどを使った方がいい場合 追記：2018/12/8 前置き 100%自分の主観なので偏ってます SaaSかオンプレならSaaS派。（自分でサーバの面倒身たくない） 自分が使ったことがないものは紹介していません 今回紹介してるTravis CI, CircleCI, Wercker, GitLab CI, Jenkinsに関しては仕事や趣味で各3〜4年くらいは使ってるはず GitHubを使ってる場合 ライブラリを作ってる場合

2018/11/15 Amazon Game TechNight #8 で発表した資料です。 オレ的最強ECS & Fargate build環境 on AWS - CodeBuild 基本編 - CodeBuildを使った実際のパイプライン紹介 - CodeBuild 応用編 htt…

これらのツールを組み合わせて、以下の作業を自動化しています。 Danger の実行 テストの実行 DeployGate への配信 App Store へのアップロード（１）Danger の実行Pull Request の簡易チェックツールである Danger を使って、Pull Request の一次確認を実行しています。 Danger は旧 CI マシンである Jenkins から起動しています。Jenkins である理由は、「Pull Request の本文やタイトルに変更があった場合、そのコメント欄に "danger please" と書き込むことで、Danger に再チェックしてもらいたい。これは、今のところ Bitrise ではできない」という事情があります。 例えば Zaim の iOS 版では「Pull Request のタイトルに必ず呼応する issue 番号を入れる」とい

こんにちは。18新卒でサービスインフラチームの小笠原 (@0gajun) です。 今日はCircleCIのPerformance Planを用いて、CI環境の改善を行った話をします。 （決してCircleCIの回し者ではありません :wink: ） Summary 今までJenkinsをCI環境として用いており、様々な問題を抱えていた CI環境を改善するためにCircleCIに移行した CircleCIにはPerformance Planという従量課金プランが存在する コンテナの並列実行数に制限がなく、実行時間ベースでの従量課金 ただし、まだ Early Accessの段階。 JenkinsからCircleCIに移行することで、次のメリットが得られた CI時間の短縮 CIジョブがキューイングされる問題からの開放 CI環境のメンテナンスコスト削減 CIコストの削減 CircleCIのPerf

AWS Fargate早く東京に来てくれという願いをこめて、東京で1つでも事例を増やそうと記事を書いていたら公開する前にAWS Fargateが東京に来ることが先日発表されました！めでたいです。アリネ事業部の平田です。 今日はARINEで使っていく(かもしれない) AWS Fargate を使ったRSpecの実行環境の話と、Docker Compose使っているならFargateいいかもしれませんよ、という話をします。 背景 アリネ事業部では、なりたい自分がきっと見つかる美容メディア ARINE を運用しています。 ARINEのサーバサイドはRubyで書かれており、ウェブアプリケーションフレームワークはRuby on Railsを採用し、テストにはRSpecを使っています。 テストは徐々に増えており現在テストが1000件ほどで、テストにかかる時間も徐々に長くなり、完走するのに10分以上かか

リクルートライフスタイルにおける Frontend Ops の取り組み とその中で開発した OSS 「status-back」の紹介 Airシリーズのフロントエンジニア日野澤 (@kt3k) です。今日はリクルートライフスタイル Airシリーズのフロントエンドチームで行なっている Frontend Ops の取り組みを紹介させて頂きます。また、その過程で開発した OSS ツール status-back について紹介します。 (なお本稿では、Frontend Ops とは Frontend における DevOps の取り組み、すなわち各種ツールチェインや自動化手法を用いて、フロントエンドにおける開発及びデリバリーパフォーマンスの向上を行う手法及びその実践と定義します。参考1, 参考2) Jenkins による lint / テスト / モックビルドの自動化 Airフロントエンドチームでは、数

「Jenkins X」発表。Git/Docker/Kubernetesに特化したことでCI/CD環境の構築運用を自動化 ソフトウェアの開発プロセスにおいて、「Jenkins」はビルドやテスト、デプロイなどを自動化してくれるツールとしてよく知られています。 そのJenkinsの派生プロジェクトとして、「Jenkins X」が発表されました。Jenkins Xは、Git、Docker、Kubernetesの環境を前提とすることで、Jenkinsの設定、運用などを大幅に自動化し、より簡単な導入と運用を実現するものです。 Jenkins Xは、Git/Docker/Kubernetes環境に特化 オリジナルのJenkinsは汎用的なビルドやテストの自動化ツールとして、さまざまな環境やツールと連係できるように作られています。そのため柔軟なコンフィグレーションが可能になっていますが、一方でそれが導入や

こんにちは、スマートデバイス基盤チームの段です。 スマートデバイス基盤チームでは、リクルートライフスタイルのスマホアプリ開発における開発標準・品質指標の策定、新技術の検証及び横断推進、また、可視化及びCIシステムの運用改善など横断ミッションを担っています。 継続的インテグレーション（CI）はアプリ開発プロセスにおける重要な一環で、そのシステム運用改善を横断チームで実施するか各サービス側で実施するかの選択肢があると思いますが、弊社ではスマートデバイス基盤チームが担当しています。日頃の安定運用も勿論ですが、サービス側要件の柔軟対応、CIノウハウの属人化回避、運用工数削減などを意識した改善活動を積極的に行っています。 本記事では、現在運用しているAndroid向けのCI環境をご紹介します。 全体構成 ビルド処理〜配布はジョブ毎にDockerコンテナで実施 Jenkins Pipelineを導入し

git challengeのインフラを担当している2016年度新卒エンジニアの轟 (@tdrk18) と、2017年度新卒エンジニアでSREの見習いをやっております佐藤 (@jtwp470) です。今回は、git challengeという技術競技イベントの自動採点の高速化に向けたインフラのお話です。 git challengeとは git challengeとは、gitを使う上で起こり得る問題を、ふたり一組のチームで解いていく競技形式のイベントです。 各チームに設問ごとのリポジトリが与えられ、問題点を解消した差分をコミットし、それをリモートリポジトリにpushして解き進めていきます。 git challenge についてはこちらをご覧ください。 また、git challengeの運営に関するインタビュー記事も用意していますので、あわせてご覧ください。 git challengeのインフラに

　継続的インテグレーション（CI）ツールとして有名なJenkinsは、ソフトウェア開発におけるテストやビルドと言った作業を自動化するツールだ。後編となる今回は、Dockerを使ってコンテナ内に構築したビルド環境をJenkinsから利用する例を紹介する。 Jenkinsの「マスター/スレーブ」機能 前回記事では、Jenkinsをインストールしたサーバー内でソフトウェアのビルドやテストを行うことを前提に環境を構築していった。Jenkinsをインストールしたサーバーと、対象とするソフトウェアのビルド/実行環境が同じで構わなければこれで問題はないが、たとえばそれぞれビルド/実行環境が異なる複数のソフトウェアをJenkinsで管理したい場合、このやり方では複数台のサーバーを用意しなければならない。 Jenkinsではこういった問題を解決するため、Jenkinsがインストールされたサーバーとは異なる

渋滞情報のクラウド サービスを手がける私たち Waze は、サービスを利用するユーザーの貴重な財産である時間にとても気を配っています。私たちのクラウド サービスは、ユーザーから寄せられたデータを基に最適なルートを見つけやすくし、ユーザーの時間節約に貢献しています。 当然ながら、クラウド サービスは利用できなければ話になりません。Waze では、複数のクラウド プロバイダーを使って本番システムの回復力を高めています。Google Cloud Platform（GCP）と AWS の全体にわたってアクティブ / アクティブなアーキテクチャを採用することで、DNS DDOS 攻撃、地域レベルの障害、すなわちクラウド プロバイダー全体でのグローバルな障害が起きたとしても、サービスの維持という点で有利なポジションを確保しています。 それでも、ルーティングや ETA 計算のバグがいつの間にか本番環境に

JenkinsのUXをシンプルかつビジュアルにする「Blue Ocean」バージョン1.0がリリース。パイプラインの設定や実行状況などをGUIで実現 ビルドやテスト、デプロイなどの自動化ツール「Jenkins」のUXをシンプルかつビジュアルにする「Blue Ocean」が、正式版のバージョン1.0に到達。リリースが発表されました。 Blue OceanではJenkinsのUXが一新され、コードをリポジトリから取り出してテストを実行し、成功したらデプロイをする、といったパイプラインの設定を「Visual Pipeline Editor」によってビジュアルに設定できます。

実はガンダムを見たことがないので、時々社内のガンダムトークについていけないことがあります、中村です。今日は、 Jenkins のビルドを高速化し、リリースまでの時間を大幅に短縮した、改善策をご紹介します。全体で2~3倍程度、一部処理では何と10倍以上もビルドを高速化できました。 改善策1 : push 型デプロイから pull 型デプロイへ 改善策2 : テストケースを自動分割して、よりアグレッシブに並列実行 全体のリリース時間に対する改善結果 ビルド時間の可視化 改善策1 : push 型デプロイから pull 型デプロイへ まずはデプロイ時の方式を、push型デプロイからpull型デプロイに変更した改善策を説明します。ここで、push型デプロイは中央サーバからデプロイ用ファイルを転送する方式で、pull 型デプロイは各サーバがファイルを取得する方式とします。 各フェーズの構成は、下図の