最近話題になっている？Daggerを使用して typescriptをトランスパイルしS3へdeployするパイプラインを作成してみました。 Daggerとは Daggerは、CICD向けのポータブルなdevkitです。 DaggerはDocker互換のランタイムでパイプラインが実行されるため、Docker互換のランタイムが動く環境であれば Daggerをそのまま実行し、同一の結果を得ることができます。 Daggerではパイプラインの記述を一般的な yaml などではなくcuelangを使用して記述します。 module/packageや型定義などの強力な構文を使用することができます。 チュートリアルなども用意されています。 メリット 上記のことからDaggerを使用することで 開発環境とCI環境の統一 CIロックインをなくすことができる といったメリットを受けることができます。 Dagge

CI・CD界隈期待の星!!Daggerに入門してローカルとGithubActionsでCIを動かしてみた こんにちは、AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 みなさん、CI・CDのプラットフォームは何を利用されていますか？ AWS CodePipeline AWS CodeDeploy AWS CodeBuild GitHub Actions CirleCI GitLab CI/CD など、沢山の魅力的なサービスがありますね。 一方で以下のような悩みを抱えていらっしゃいませんか？ CI/CDサービスの移行が必要になり、設定ファイルを大きく書き換える必要がある ↑が大変だったので、SaaSの製品を使うようにしたら割と費用がかかるようになった CI/CDの設定をyamlで書いているが、ローカルでの開発が大変 書いた設定ファイルをCI/CDのサービス

最近よく話題になっているDaggerというCI/CD向けのdevkitについて、実際にコードを書きながら検証してみる記事です。 Daggerについて Daggerは、CIにポータビリティを持たせるためのdevkitです。Daggerでは、パイプラインの全てのアクションがDockerコンテナ上で実行されるため、Docker互換のランタイムが動作するマシン上であればどこでも同じ結果を得ることができます。 Daggerでは、パイプラインの記述をCUE（cuelang）で行います。CUEはGoogleが開発した設定ファイル記述向けの言語で、moduleやtemplate等強力な構文を兼ね備えたものになっています（jsonの拡張言語のような位置づけです）。JSONやYAMLにエクスポートも可能です。 上記より、Daggerは既存のCI/CDツール（CircleCI、jenkins、Github Ac

CircleCI + GitHub + Amazon Elastic Container Registry (Amazon ECR) + Amazon Elastic Container Service (Amazon ECS) (+ AWS Fargate) で継続的デリバリー環境を構成する クラウド事業部の上野です。 AWSにあるコンテナサービスを使ってみたい！今後の弊社のサービスで活用できるかも！ついでにCIツールでデプロイまで自動化したい！ ということでAmazon ECSとAmazon ECRで継続的デリバリー環境を作ってみました。 今回はCIツールとしてCircleCIを利用してみます。 簡単に各サービスを説明しますと、 CircleCIはCI／CD(継続的インテグレーション／継続的デリバリー)を行うサービスです。 Amazon ECSはDocker コンテナをサポートするAW

※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と

Docker創始者らが開発、ビルド／テスト／デプロイの自動化をポータブルにするツール「Dagger」登場。そのままローカルでもGitHubでもCircleCIでも実行可能に Dockerの創始者であるSolomon Hykes氏らが中心となって開発しているオープンソースのCI/CD環境構築ツール「Dagger」が公開されました。 Windows、Mac、Linuxで試すことができます。 And we are live! Introducing Dagger, a new way to build CI/CD pipelines. By the creators of Docker. https://t.co/DU8racmoUo — dagger (@dagger_io) March 30, 2022 Daggerが定義したCI/CDパイプラインはポータブルになる Daggerとは「A P

概要 Open Government Licenceに基づいて翻訳・公開いたします。 英語記事: A new standard of testing for GOV.UK - Technology in government 著者: Ben Thorner、Peter Hartshorn -- 英国GDS（Government Digital Service）所属の開発者です 原文公開日: 2021/10/08 サイト: GOV.UK blogs 日本語タイトルは内容に即したものにしました。GOV.UKのRFCは以下で公開されています。 GOV.UKには、アプリに加えた変更をテストするという強靭な文化が根付いています。私たちは多くの場合、変更を加える前に（テスト駆動開発に沿って）テストを書き、変更をデプロイする前に（回帰テストに沿って）既存のテストがすべてパスする必要があります。 GOV.

AWS が提供するサービスを組み合わせて、Git で管理された Markdown を PDF に一括変換する CI/CD パイプラインを構築した。 パイプライン構成図 処理フロー Markdown を含むファイルを Git で CodeCommit のリポジトリにプッシュ CodeBuild で CodeCommit から Markdown を含むソース一式を取得 ECR にある Pandoc の Docker イメージを利用して Markdown から PDF に変換 PDFをまとめて zip に圧縮し S3 へ転送 パイプライン構築手順 【注意】各種サービスのリージョンは同一リージョンに揃える必要がある S3 生成したPDFを格納するS3バケットを構築する。特に注意点はなし。 ECR Pandoc の Docker イメージをプッシュするためのレジストリを予め作成しておき、Docker

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 何度も調べて何度もテストしたりしたので、多用するものをまとめていきたい。 項目 push時に実行 // feature/aaaで動く。 feature/aaa/bbbでは動かない on: push: branches: - feature/* // feature/aaa, feature/aaa/bbbで動く on: push: branches: - feature/** // なにかしらのtagがpushされたときに実行、branchのpushは無視 on: push: tags: [ '**' ] branches-ignore: [ '**' ] // 指定したpathの変更だけでは実行しない on: push: branches: - main paths-ignore: - '*.md' - 'docs/**' on: workflow_dispatch: inputs

やってること メモ Jenkins を動かす環境 Docker イメージ itamae レシピ Serverspec テスト Jenkins の準備 プラグイン Docker 周り ジョブ infra-itamae の設定 infra-serverspec の設定 動いてる図 Build Pipeline ログ 以上 やってること 今更かもしれないけど, ギョームで以下のようなことをやって, ここ数日で運用も回ってきた気がするのでメモしておく. itamae のレシピを amazonlinux コンテナに適用 適用したコンテナに対して Serverspec でテスト 1 と 2 を Jenkins のビルドパイプラインで流す 3 が正常に終了したら, pull request を作成, 又はマージ master ブランチのレシピをサーバーに手動で適用 Jenkins のポテンシャルと it

以前のエントリ（ http://knjname.hateblo.jp/entry/2014/05/03/190842 ）で自分でJenkinsのDockerイメージを作成したりしてみましたが、 Jenkins公式でDockerイメージを配布するようになったので、それを使用したほうがいいと思います。 Github https://github.com/cloudbees/jenkins-ci.org-docker DockerHub https://registry.hub.docker.com/_/jenkins/ 普通に使うだけなら、下記のようにすればいいだけですが、 docker run -p 8080:8080 jenkins これだと何も細かいことを設定できていないので、いくつか補足。 Dockerイメージ内のJenkinsのバージョンについて 永続化ディレクトリ(JENKINS_

この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2015 の投稿記事です。 こんにちは、2015年新卒インフラエンジニアの河合です。アドベントカレンダー2015の3日目を担当します。現在の担当プロダクトは英語/英単語サプリです。そういえば10月末に英語サプリのiOS版がリリースされました。 英語サプリ 英語サプリリリースに伴い、インフラ業務としては Terraformの運用の話 Amazon EC2 Container Serviceで構築した話 などと色々なネタがあるのですが、本日はDockerを用いたJenkinsの運用をしてみた話をします。 Jenkinsと数ヶ月ほど戯れてみて… Jenkinsと戯れてみて思ったのは以下のとおりです。 拡張性の代償として保守運用コストを要求する プラグインが豊富なので、設定が容易に済むことがある 各ジ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 Jenkins、SonarQube、Nexusを使用してCI環境を構築する手順を記載する。 どのようなCI環境を構築するか GitリポジトリにソースコードがPushされると、自動的にJenkinsがJunitテストとCheckstyle、FindBugs、SonarQubeによる静的解析を行う。 Junitテストと静的解析の結果をJenkinsの画面で確認できる。 GitリポジトリにライブラリモジュールがPushされると、自動的にNexusのプライベートMavenリポジトリにartifactとして登録される。 前提 Linux(C

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? アジャイル開発での何度も行われるプロダクトリリース アジャイル開発は早いサイクルが回っているチームでは１週間のうちに何度もリリースを行います。 リリースを何度も行うメリットは 開発中も常に動く状態のアプリケーションが確認できること 壊れたときにすぐに気がつけること 変更箇所を他の人もすぐ取り込むことが出来ること マネージャや顧客に対して常に進捗をデモという形で見せれること 他にも色々 このようなものがあります。 そもそもビッグバンリリースはテストも大変ですし、問題が起こったときに、どの箇所に問題があるかを調査する範囲を調べることが大変で

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

はじめに 皆様、こんにちは。あるいは初めまして。 PIALab.のつくるひと、西です。 今回は構成管理ツールで Ansibleを拡張したデプロイツール「Ansistrano」について紹介します。 デプロイ作業に対するエンジニアの本音 Webシステム開発において、避けては通れない最後の関門、それがサービスイン直前のデプロイ作業ですが、 結局のところ 運用が始まっているシステムに対して更新作業は怖い ((´д｀)) シンプルかつ手堅いリリース手法を確立したい どのようなプロジェクトでも同じ手順、簡単にリリースしたい ということは、サーバにsshログインしてgit pullでもいいよねと思ったのですが、 人間が作業するのでミスを起こす可能性が残っている サーバごとにgit pullを行うためのセットアップを行う必要があって、なかなか面倒かも… という課題があり、解決策がないか調べているところ、

現在のソフトウェア開発は一昔前と比べると、以下のような特徴があります。 リモートワークが多くなり開発拠点が分散 開発環境も個人によって差異がある リリース頻度とスピードが速い APIを使った他サービスとのインテグレーションが多い アプリでは動作環境がデバイス種類だけある このような中でソフトウェアの品質を保証するためにCI（継続的インテグレーション）が必須になっている組織・企業が多くあります。そのためCIツールの選定、他CIツールへのリプレイスは開発するソフトウェアに大きく影響します。 この記事ではCIツールの鉄板と言えるJenkinsを評価して行きます。 プラグインの多さ Jenkinsのプラグイン一覧をご確認ください（https://wiki.jenkins-ci.org/display/JENKINS/Plugins#Plugins-Pluginsbytopic）。これらがJenki

当社はCookieを使用して、お客様が当社のWebサイトでより良い体験を得られるようにしています。引き続き閲覧する場合は、プライバシーポリシーに同意したことになります。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS CodeStarを使っていい感じの開発環境を爆速で作る この記事は Recruit Engineers Advent Calendar 2017の19日目です。 この記事を書くに至った背景 2017/12/26~2017/12/1に渡って開催されたAWSのカンファレンス re:inventに参加してきました。 みなさまもご存知の通り想像を超える新機能や追加機能が発表されとても賑わいました。 今回発表された新機能というわけではないのですが、前から気になっていたCodeStarがいくつかのセッションで紹介されていたので自分でも実際に