こんにちは、Software Engineer in Qualityチーム(通称SEQチーム)の @teyamagu です。 私たちのチームは普段自動/手動テストの基盤開発や開発フィードバックサイクルの高速化に向けた開発をおこなっています。 その一環で、先日、社内でfreeeの自動テストシステム全体像を共有したのですが、この辺りのことを社外の友人達と話したところ、自動テストの具体的な構成や普段の運用など事例が少なく、どんなことをやっているのかイメージしにくいとの話を伺ったので、社内向け原稿をちょっと手直しして、おすそ分けと言うことで、ここで紹介します。 特に変わったことをおこなっているわけではありませんが、自動テストの関係性の理解に参考になれば幸いです。 基本的な考え方 自動テストが既存のデプロイ・リリースのブロッカーではなく、開発のフィードバックを加速させるために、自動テストそのものが高

みなさんこんにちは。Backlog課のGitチームに所属するテリーです。今回は僕たちが日々運用するECS Fargate上のアプリケーションのデプロイ方法とそれをどう改善してきたかについてまとめました。デプロイについて迷っている方や日々の業務の改善が好きな人に読んでもらえたらと思います。 Git機能におけるデプロイ ECS上で動くアプリケーション BacklogのGitはEC2上で動くアプリケーションとECS Fargate上で動くアプリケーションで構成されています。 アーキテクチャの外観は上記のようなになっています。Gitのアーキテクチャについて過去に詳しく説明したブログを発表していますので詳しくはこちらを参照ください。 僕たちは上記のアーキテクチャ中の4つのアプリケーションをECS Fargate上で運用しています。また、内部的な話になりますがBacklogには内部構造として複数の本番

世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（前編）。DevOps Days Tokyo 2022 世界中のITエンジニアが悩まされている問題の1つに、テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。 フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。GoogleやFacebookやGitHub、Spotifyといった先進的な企業でさえもフレイキーテストには悩まされています。 このフレイキーテストにどう立ち向かうべきなのか、Jenkinsの作者として知られる川口耕介氏がその最新動向を伝えるセッション「Flaky test対策の最新動向」を、4月21日、22日の2日間行われたイベント「DevOps Days Tokyo 2

(はてなブックマークやTwitterでの対話で詳しい人が色々教えてくれたのでそれに伴って改稿) VMwareがBroadcomに8兆円(!)で買収されるというニュースが報道されている。 Broadcomは通信に必要なチップを寡占している地味なベンダという印象であったので、なんじゃそりゃと思ったら、2005年にプラベート・エクイティが作った会社が買収と売却を繰り返して急成長して、2015年にはBroadcomを5兆円で買収して社名を引き継ぎ、2017年には更にQualcommを買収しようとして米国政府に阻止され、2018年にはCAを買収、2019年にはSymantecを買収と、そういう流れである。 要するに、マーケットを寡占している製品を持つ低成長・斜陽の会社のIPを割安で買って、セールスもマーケティングもR&Dもお金のかかる事は全部辞めて、既存のお客さんからライセンス料をとれる間だけとろう

クラウドの運用者に焦点を当てた、技術者向けの新しいテックイベント「Cloud Operator Days Tokyo 」。ここで株式会社カサレアルの新津氏が「これやったの誰？」をテーマに登壇。自動化したオペレーションに対して生じた疑問と学びについて紹介します。 自己紹介と今回のテーマ 新津佐内氏（以下、新津）：みなさん、こんにちは。株式会社カサレアルの新津佐内と言います。本日は「これやったの誰？」というタイトルのお話をします。 「これやったの誰？」についてですが、DevOpsと合わせて自動化を進めていく中で、自動化したオペレーションに対しても生じたこの疑問に、実業務の中であらためて向き合ってみました。上記事例の詳細と現時点での我々の答えを紹介します。 まず本日お話しする内容ですが、スライドに書かれているような基盤の運用担当者のユースケースに関わるお話になります。どのようなユースケースかとい

本日10月1日、LaunchableにPrincipal Software Engineerとして入社しました。最近日本のエンジニア界隈でも少しづつ聞かれるようになったIC(Individual Contributor)としてのキャリアです。 ご存知の方も多いとは思いますが、LaunchableはあのJenkinsを作った川口さんらが2年前に創業された、まだ若いスタートアップです。自動テストにおける、スローテストやflakyテスト等の痛みを、AIの力で解決するプロダクトを作っています。 シリーズAの調達を終え、採用にも力を入れています。現在は、サービスの肝に関わるData Scientistを一番求めているようなので、興味のある方は是非採用応募してください。 Careers: Data Scientist - US or Japan | Launchable Inc. 元々優秀なスタッフ揃

こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容

エンジニアリング界をリードする著名人が「いま話を聞きたい」開発者を直接指名し、日頃なかなか聞けない開発トピックについて語り尽くすオンライントークセッション「DevLounge.jp」。このイベントのオープニングを飾ったのは、Nature株式会社VPoEのSongmuこと松木雅幸氏と、ローンチャブル(Launchable）Co-CEOの川口耕介氏です。 Songmu氏は日本で、川口氏はアメリカ・カリフォルニアでそれぞれ活躍されています。セッションでは、お二人が感じるオープンソースソフトウェア(OSS)とSaaSの違いから、グローバル展開を目指す際の考えなどを語っていただきました。その一部をご紹介します。 Songmu(松木雅幸)Nature株式会社VPoE。大学で中国語と機械翻訳を学び、中国でIT分野での起業、語学学校でのシステム担当兼営業、印刷系SIerでの金融系Webシステムや物流システ

Oracle Cloud、最大160コアのArmプロセッサを用いた「OCI Ampere A1 Compute」開始。無償で4CPU/24GBメモリを期限なく提供、Arm対応のJenkinsやKubernetesも オラクルは、同社が提供するクラウドサービス「Oracle Cloud Infrastructure」でArmプロセッサベースの新コンピュートサービス「OCI Ampere A1 Compute」（以下、A1 Compute）の提供開始を発表しました。 Armベースのコンピューティング・サービス「OCI Ampere A1 Compute」を発表。1コア/時間１セントで、優れた価格性能を実現しています。発表資料はこちら→ https://t.co/wFzXZnneHt #OracleLive pic.twitter.com/dRieE7e6c7 — Oracle Japan/日本

6 月 30 日付けで退職、昨日 28 日が最終出社日でした。 2018 年 2 月から、約 1 年半お世話になりました。 マーソ株式会社 is 何 ( 2019 年 6 月末時点の情報です ) www.mrso.jp MRSO という Web サービスを運営している会社です。 MRSO は、人間ドックや検診を全国の医療施設から検索・予約できるポータルサイトです。 登録されている医療施設数は、国内の類似サービスの中ではトップクラスの規模です。 他にもこんな事業をやっています。 MRSO で利用できるギフト券、マーソギフト券の販売 健康をプレゼントするとう考え方 ご両親に人間ドックを受けてほしい！　というユースケースが多いようです 企業向けの健診結果管理システムの開発・運用 ( toB ) 何をしていたのか MRSO の開発・運営に必要なほとんどの領域を担当していました。 具体的には、 新機

AWS Startup Tech Meetup Online #4 https://aws-startup-community.connpass.com/event/209830/

はじめに SWETグループiOSチームのkariad(@kariad_uu)です。 本記事はiOSDC 2020 Japanにて発表した「継続的にアプリのパフォーマンスを計測する」の内容を元にブログという形で改めて紹介する記事となります。 発表時のスライドは以下を参照ください。 iOSチームではiOSアプリのパフォーマンス計測に取り組んできました。 iOSアプリのパフォーマンス計測方法はたくさんありますが、中でもInstrumentsを利用したパフォーマンス計測とその自動化について紹介します。 なぜパフォーマンス計測が必要なのか？ 取り組んだ計測方法についてご紹介する前にアプリにとってパフォーマンスとその計測がなぜ重要なのかという点を説明します。 起動に時間がかかる、読み込みに時間がかかるアプリは動作が遅くユーザにストレスを与えてしまいます。 短時間で熱くなってしまうアプリでは端末が熱くて

かつて Kyoto.なんか #4 で発表した話題ですけれども: moznion.hatenadiary.com これはもうやってません！！！（正確に言うと運用している組織内ではリタイアメントの段階に入っています） 今はCodeBuildを単体で使っています． かつての AWS CodeBuild は ビルド結果の通知が貧弱 Trigger が貧弱 (pull-requestに引っ掛けてビルドタスクを回す，みたいな機能が微妙だった) ビルド履歴の一覧性が貧弱 という感じだったので，その不便さを補うために Jenkins を挟んで運用していましたが，今やこれらのペインポイントはほぼ解決しており*1 CodeBuild を単体で使っても充分に快適な開発体験が得られます． むしろ今となっては Jenkins という部品を間に挟んでしまうとシステムの複雑度が上がってとっつきにくくなってしまいますし，

CEDEC2020の講演資料です。 『「龍が如くスタジオ」のQAエンジニアリング技術を結集した全自動バグ取りシステム』 株式会社セガ 第1事業部 阪上直樹 / 株式会社セガ 開発技術部 粉川貴至Read less

複雑化するIT環境において、運用管理の効率化を実現する手段の一つとして「インフラ運用のコード化」（Infrastructure as Code：IaC）が重要視される中、自動化に対する期待が高まっている。一方で、実際の運用現場は複雑だ。事業部門からの要望対応、突如発生した障害の解消作業など非定型業務が多々ある中で、自動化はもとよりIaCを実現させることも容易ではない。 2020年7月に開かれた「Cloud Operator Days 2020」では、国の研究機関として効率的な研究環境の構築と運用が求められる国立情報学研究所（以後、NII）でクラウド運用チームに所属するボイスリサーチ 取締役の谷沢智史氏が登壇。クラウド運用にまつわる課題にどう取り組んでいるのか紹介した。 「真のフルスタック地獄」で完全な自動化は難しい NIIでは、オープンソースソフトウェア（OSS）のクラウド運用基盤「Euc

JenkinsとKubernetesを連携させてCIパイプラインを構築する時に、一番悩むの点は、いろいろな方法があるために、何を選択して良いか解らない。そして、実際に実装を進めると、様々な問題が発覚して、時間がかかってしまうことがある。 Jenkinsのプラグインで、Dockerに関するものだけでも約20種類、Kubernetesの関係するもので 約17種類もある。しかも、これらが問題なく動作するという保証も無い。筆者が経験したケースでは、資料が作られた時期から時間が経過すると共にプラグインが更新され、新たな問題が生じてしまい、動作しなくなっているなどがあった。そして、ドキュメントは、Jenkinsに詳しいエンジニア向けに書かれているために、普段触り慣れないJenkins初心者には難解な内容となっていることもある。 そして、Kubernetes上でJenkinsを動作させる場合にも問題が多

ソフトウェアテストの実行を機械学習で効率化する。Jenkins作者の川口氏が立ち上げた「Launchable」で実現しようとしていることとは（前編） Jenkinsの作者として知られる川口耕介氏は、昨年米国で新会社「Launchable」を立ち上げ、日本にもその100％子会社であるLaunchable Japanを近日中に立ち上げ予定です。 Jenkinsの登場がテストやビルドの自動化を促進し、ソフトウェアの開発生産性を向上させたことは明らかでしょう。川口氏によると、Launchableは機械学習などの技術を用いてそれをさらに前進させるものだとしています。 インタビューを行った5月末の時点で、同社は米国に6人、日本に4人と10人ほどの体制で製品開発を進めています。 果たしてLaunchableはどのようなビジョンで何を実現しようとしているのか、同社共同創業者兼共同CEOの川口氏と、Laun

AWS で環境を構築する際はマルチアカウントになることが多い、これは理解していたつもりでした。 stg 環境と prod 環境は AWS アカウントごと分ける。dev 環境も分ける。 しかし、世の中のベストプラクティスはもっと先を行っていました。 なぜアカウントを分けるのか isolation authz & authn auditing and reporting 世の中のマルチアカウント構成 各企業の事例 AWS が提供するベストプラクティス Gruntwork から見た AWS ベストプラクティス 各社のプラクティスから読み取れること なぜアカウントを分けるのか AWS アカウントを分ける理由は 3 つあります。 isolation authz & anthn auditing and reporting isolation そもそもとして、環境は分離しないと、というものです。 st

こちらの反響もよかったこともあり、KubernetesにおけるCI/CD（継続的インテグレーションと継続的デリバリー）に焦点を絞って、いままでの経験も含めて大事なポイントをいくつかの切り口でまとめることにしました。 一部は書籍の内容とかぶる部分もあるのですが、わたしが普段Kubernetesでのアプリケーション運用に携わる中で大事だと思うことなど含めてご紹介します。 KubernetesにおけるCI/CDとしていますが、項目は必ずしもKubernetesに限った話ではありませんのでご了承ください。 また、もっといろんなトピックを書きたいのですが、すべてのトピックを揃えると記事自体のボリュームも大きくなり公開も遅くなりそうだったので、基本的な内容のみ選んでみました。随時追加されていく（あるいは別記事？）可能性があります。 ブランチ戦略 CI/CDの実践にまず根本的に関わるポイントとして、ブラ

Monitor server status by pinging them, check a port to ensure that something is listening behind, display your CI state, and follow its progress live. Most popular services like GitLab, GitHub, Azure DevOps, Pingdom, Jenkins, Travis CI, ... are already supported. Feel free to request new features. Discover all tiles types