「CI/CDのサービスは素晴らしいけど、ローカルPCで動作を確認したい」「Daggerっていうサービスは可能性を感じるけどCUE言語の学習コストがなぁ・・・」。そんな悩みを解決できるかもしれないDaggerのNode.js SDKを試してみました！ こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 みなさんはどのCI/CDツール・サービスがお好きでしょうか？ GitHub Actions・CircleCI・GitLab CICD・AWS CodePipeineなど、さまざまな便利なツールがありますよね。 どれも素晴らしいサービスだと思うのですが、「CI/CDをローカル環境でテストしたい」「どのサービスでも使えるラッパーツールが欲しい」と思ったことはありませんか？ 私は以前、それらの悩みを解決できるかもしれないdagger.ioというサービスを

最近話題になっている？Daggerを使用して typescriptをトランスパイルしS3へdeployするパイプラインを作成してみました。 Daggerとは Daggerは、CICD向けのポータブルなdevkitです。 DaggerはDocker互換のランタイムでパイプラインが実行されるため、Docker互換のランタイムが動く環境であれば Daggerをそのまま実行し、同一の結果を得ることができます。 Daggerではパイプラインの記述を一般的な yaml などではなくcuelangを使用して記述します。 module/packageや型定義などの強力な構文を使用することができます。 チュートリアルなども用意されています。 メリット 上記のことからDaggerを使用することで 開発環境とCI環境の統一 CIロックインをなくすことができる といったメリットを受けることができます。 Dagge

CI・CD界隈期待の星!!Daggerに入門してローカルとGithubActionsでCIを動かしてみた こんにちは、AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 みなさん、CI・CDのプラットフォームは何を利用されていますか？ AWS CodePipeline AWS CodeDeploy AWS CodeBuild GitHub Actions CirleCI GitLab CI/CD など、沢山の魅力的なサービスがありますね。 一方で以下のような悩みを抱えていらっしゃいませんか？ CI/CDサービスの移行が必要になり、設定ファイルを大きく書き換える必要がある ↑が大変だったので、SaaSの製品を使うようにしたら割と費用がかかるようになった CI/CDの設定をyamlで書いているが、ローカルでの開発が大変 書いた設定ファイルをCI/CDのサービス

最近よく話題になっているDaggerというCI/CD向けのdevkitについて、実際にコードを書きながら検証してみる記事です。 Daggerについて Daggerは、CIにポータビリティを持たせるためのdevkitです。Daggerでは、パイプラインの全てのアクションがDockerコンテナ上で実行されるため、Docker互換のランタイムが動作するマシン上であればどこでも同じ結果を得ることができます。 Daggerでは、パイプラインの記述をCUE（cuelang）で行います。CUEはGoogleが開発した設定ファイル記述向けの言語で、moduleやtemplate等強力な構文を兼ね備えたものになっています（jsonの拡張言語のような位置づけです）。JSONやYAMLにエクスポートも可能です。 上記より、Daggerは既存のCI/CDツール（CircleCI、jenkins、Github Ac

Dagger という CI/CD のツールが話題になっているのをみかけました。 なんでも Docker の創始者さんが開発しているとか。 どんなものかと Getting Started をなぞってみました。今回はその記録です。 https://docs.dagger.io/getting-started/ まずは CI/CD in your local dev のページから実行します。 業務では windows の利用が多いのですが、私物では MacBook Pro を使っているので macOS の手順に従い実行します。 まずは brew でインストール # brew でのインストールが久しぶりだったので update から始めています $ brew update -v # dagger をインストールします $ brew install dagger/tap/dagger # バージョン

CircleCI + GitHub + Amazon Elastic Container Registry (Amazon ECR) + Amazon Elastic Container Service (Amazon ECS) (+ AWS Fargate) で継続的デリバリー環境を構成する クラウド事業部の上野です。 AWSにあるコンテナサービスを使ってみたい！今後の弊社のサービスで活用できるかも！ついでにCIツールでデプロイまで自動化したい！ ということでAmazon ECSとAmazon ECRで継続的デリバリー環境を作ってみました。 今回はCIツールとしてCircleCIを利用してみます。 簡単に各サービスを説明しますと、 CircleCIはCI／CD(継続的インテグレーション／継続的デリバリー)を行うサービスです。 Amazon ECSはDocker コンテナをサポートするAW

※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と

基本的に継続的な開発を行っていく上で、CI/CDは避けて通れなくなっています。CI/CDといえば、これまでも様々なツールやサービスがありました。 クラウドの発展やインフラ環境の変化などもあり、個々の特性を生かした機能やサポートなどを持つツールやサービスが生まれてきています。 OSSで基本的に自身で環境を構築する汎用ツール：Jenkinsなど CI/CD専用のSaaS：Circle CI、Travis CI、AWS Codeシリーズ、Google Cloud DevOps、GitHub Actionsなど クラウドやKubernetes環境向けのCD：Spinnakerなど アプリケーション実行環境とCDがセットになったPaaS：GAE、AWS Beanstalkなど 一方、この各ツールやサービス間で移行することになると、複雑になりがちな設定の書き換えや、特定ツールのサポートやプラグインに乗

Dagger は、Docker を開発した人たちによるポータブルな CI/CD ツールです。先月末公開されました。 Introducing Dagger: a new way to create CI/CD pipelines ポータビリティ実現のためコンテナ環境が前提になっています。 Dagger は DAG (Directed Acyclic Graph)に由来するものと思われますが、CI/CD の文脈で DAG はパイプラインを構成するジョブの依存関係グラフのことです。 Dagger はビルドエンジンとして BuildKit を利用しています。BuildKit は Docker に統合されたツールキットで docker build の高速化・ルートレス化を実現したテクノロジーです。 GitHub - moby/buildkit: concurrent, cache-efficient

Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local machine and/or post-push in CI Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local machine and/or post-push in CI Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local ma

Docker創始者らが開発、ビルド／テスト／デプロイの自動化をポータブルにするツール「Dagger」登場。そのままローカルでもGitHubでもCircleCIでも実行可能に Dockerの創始者であるSolomon Hykes氏らが中心となって開発しているオープンソースのCI/CD環境構築ツール「Dagger」が公開されました。 Windows、Mac、Linuxで試すことができます。 And we are live! Introducing Dagger, a new way to build CI/CD pipelines. By the creators of Docker. https://t.co/DU8racmoUo — dagger (@dagger_io) March 30, 2022 Daggerが定義したCI/CDパイプラインはポータブルになる Daggerとは「A P

概要 Open Government Licenceに基づいて翻訳・公開いたします。 英語記事: A new standard of testing for GOV.UK - Technology in government 著者: Ben Thorner、Peter Hartshorn -- 英国GDS（Government Digital Service）所属の開発者です 原文公開日: 2021/10/08 サイト: GOV.UK blogs 日本語タイトルは内容に即したものにしました。GOV.UKのRFCは以下で公開されています。 GOV.UKには、アプリに加えた変更をテストするという強靭な文化が根付いています。私たちは多くの場合、変更を加える前に（テスト駆動開発に沿って）テストを書き、変更をデプロイする前に（回帰テストに沿って）既存のテストがすべてパスする必要があります。 GOV.

AWS が提供するサービスを組み合わせて、Git で管理された Markdown を PDF に一括変換する CI/CD パイプラインを構築した。 パイプライン構成図 処理フロー Markdown を含むファイルを Git で CodeCommit のリポジトリにプッシュ CodeBuild で CodeCommit から Markdown を含むソース一式を取得 ECR にある Pandoc の Docker イメージを利用して Markdown から PDF に変換 PDFをまとめて zip に圧縮し S3 へ転送 パイプライン構築手順 【注意】各種サービスのリージョンは同一リージョンに揃える必要がある S3 生成したPDFを格納するS3バケットを構築する。特に注意点はなし。 ECR Pandoc の Docker イメージをプッシュするためのレジストリを予め作成しておき、Docker

はじめに おはようございます、もきゅりんです。 CodePipeline は使いたいのだけど、どんなデプロイフローにするか迷ってるといったことを聞くことがあります。 本稿では、CI/CDツールを CircleCI でも GitHub Actions でもなく、CodePipeline を前提として、そして代表的と思われる Git フローでどのように考えるかをまとめてみました。 諸事情と背景があって、基本的には AWSのサービス限定で CI/CDを利用したいというケースはよくあると思います。そういった状況に限定して、かつ、よくある環境セット、一般的なステージを利用した CodePipelineの CI/CDを想定しています。 とりあえず検討してみる材料にでもなれたら幸いです。 なお、どのタイプの Gitブランチフローが一番使いやすいとかそういう話はしません (できません)。 想定とする方 C

9/6 メモ吐き出し。 3行まとめ Docker on WSL2はいいぞ なぜAsciidocを使うのか Asciidoc文章の所感 Asciidoc スライドの所感 Asciidoc を使う Asciidocのイメージをインストール Revealjsのプレゼン資料を作る Gitlab CIと連携して静的なページを作成する。 まとめ 3行まとめ WSL2上で動かすDockerはいいぞ Windowsだと設定が面倒なAsciidocも簡単に使えるぞ ということです。 Docker on WSL2はいいぞ 自前の環境を汚さずになにか作業したい場合，Dockerは非常に便利なツールです。 WSL1やDOSネィティブの環境でDockerを使おうとした場合，従来はHyper-Vが必要（Windows Homeでは無理）だったのですが，WSL2のUbuntu環境を立てることで，Ubuntu上でaptか

うちのチームでは、AsciiDoc で仕様書や技術メモを書きGitlab で管理しています。 あるとき、Redpenを紹介されたのを機会に、ドキュメントのCIを回すようにしたので、そのお話です。 AsciiDoc って？ 軽量マークアップ言語の一つです。 以下のような過程を経て、AsciiDocを利用するようになりました。 Word を共有フォルダで管理 重い。差分管理しづらい。同時編集がしづらい Markdown をgitlabで管理 軽い。Gitで編集履歴が簡単に確認可能。 Gitlab上で、整形された状態でプレビュー可能。 方言がある（エディタのプレビューではきちんと表示されても、gitlab上で崩れる） テーブルの編集が大変（特に更新の時が。。。） AsciiDoc をgitlabで管理 軽い。Gitで編集履歴が簡単に確認可能。 テーブル編集が楽。複雑な構造のテーブルもかける。As

こんにちは。iOS担当の荒井です。 今回はiOSチームで構築しているCI/CDのWorkflowについて紹介します。 CI/CD環境 はじめに、ZOZOテクノロジーズのiOSチームがどのようなCI/CD環境を整えているかを簡単に説明します。ZOZOテクノロジーズではZOZOTOWNやWEAR、プライベートブランドZOZOなど様々なサービスを運営しています。プロダクトによりCI/CD環境は違うのですが、多くのプロダクトでBitrise + DeployGateという構成をとっています。今回お話するWorkflowもBitriseを例に紹介していきます。 Bitrise 多くのCIサービスが存在していますが、以下の理由でBitriseを選定しています。 導入時、利用目的に対して価格面が見合っていた Xcodeバージョンアップへの対応速度 日本市場に注力 日本市場に注力していくという話もあり、今