「CI/CDのサービスは素晴らしいけど、ローカルPCで動作を確認したい」「Daggerっていうサービスは可能性を感じるけどCUE言語の学習コストがなぁ・・・」。そんな悩みを解決できるかもしれないDaggerのNode.js SDKを試してみました！ こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 みなさんはどのCI/CDツール・サービスがお好きでしょうか？ GitHub Actions・CircleCI・GitLab CICD・AWS CodePipeineなど、さまざまな便利なツールがありますよね。 どれも素晴らしいサービスだと思うのですが、「CI/CDをローカル環境でテストしたい」「どのサービスでも使えるラッパーツールが欲しい」と思ったことはありませんか？ 私は以前、それらの悩みを解決できるかもしれないdagger.ioというサービスを

最近話題になっている？Daggerを使用して typescriptをトランスパイルしS3へdeployするパイプラインを作成してみました。 Daggerとは Daggerは、CICD向けのポータブルなdevkitです。 DaggerはDocker互換のランタイムでパイプラインが実行されるため、Docker互換のランタイムが動く環境であれば Daggerをそのまま実行し、同一の結果を得ることができます。 Daggerではパイプラインの記述を一般的な yaml などではなくcuelangを使用して記述します。 module/packageや型定義などの強力な構文を使用することができます。 チュートリアルなども用意されています。 メリット 上記のことからDaggerを使用することで 開発環境とCI環境の統一 CIロックインをなくすことができる といったメリットを受けることができます。 Dagge

CI・CD界隈期待の星!!Daggerに入門してローカルとGithubActionsでCIを動かしてみた こんにちは、AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 みなさん、CI・CDのプラットフォームは何を利用されていますか？ AWS CodePipeline AWS CodeDeploy AWS CodeBuild GitHub Actions CirleCI GitLab CI/CD など、沢山の魅力的なサービスがありますね。 一方で以下のような悩みを抱えていらっしゃいませんか？ CI/CDサービスの移行が必要になり、設定ファイルを大きく書き換える必要がある ↑が大変だったので、SaaSの製品を使うようにしたら割と費用がかかるようになった CI/CDの設定をyamlで書いているが、ローカルでの開発が大変 書いた設定ファイルをCI/CDのサービス

最近よく話題になっているDaggerというCI/CD向けのdevkitについて、実際にコードを書きながら検証してみる記事です。 Daggerについて Daggerは、CIにポータビリティを持たせるためのdevkitです。Daggerでは、パイプラインの全てのアクションがDockerコンテナ上で実行されるため、Docker互換のランタイムが動作するマシン上であればどこでも同じ結果を得ることができます。 Daggerでは、パイプラインの記述をCUE（cuelang）で行います。CUEはGoogleが開発した設定ファイル記述向けの言語で、moduleやtemplate等強力な構文を兼ね備えたものになっています（jsonの拡張言語のような位置づけです）。JSONやYAMLにエクスポートも可能です。 上記より、Daggerは既存のCI/CDツール（CircleCI、jenkins、Github Ac

Dagger という CI/CD のツールが話題になっているのをみかけました。 なんでも Docker の創始者さんが開発しているとか。 どんなものかと Getting Started をなぞってみました。今回はその記録です。 https://docs.dagger.io/getting-started/ まずは CI/CD in your local dev のページから実行します。 業務では windows の利用が多いのですが、私物では MacBook Pro を使っているので macOS の手順に従い実行します。 まずは brew でインストール # brew でのインストールが久しぶりだったので update から始めています $ brew update -v # dagger をインストールします $ brew install dagger/tap/dagger # バージョン

CircleCI + GitHub + Amazon Elastic Container Registry (Amazon ECR) + Amazon Elastic Container Service (Amazon ECS) (+ AWS Fargate) で継続的デリバリー環境を構成する クラウド事業部の上野です。 AWSにあるコンテナサービスを使ってみたい！今後の弊社のサービスで活用できるかも！ついでにCIツールでデプロイまで自動化したい！ ということでAmazon ECSとAmazon ECRで継続的デリバリー環境を作ってみました。 今回はCIツールとしてCircleCIを利用してみます。 簡単に各サービスを説明しますと、 CircleCIはCI／CD(継続的インテグレーション／継続的デリバリー)を行うサービスです。 Amazon ECSはDocker コンテナをサポートするAW

基本的に継続的な開発を行っていく上で、CI/CDは避けて通れなくなっています。CI/CDといえば、これまでも様々なツールやサービスがありました。 クラウドの発展やインフラ環境の変化などもあり、個々の特性を生かした機能やサポートなどを持つツールやサービスが生まれてきています。 OSSで基本的に自身で環境を構築する汎用ツール：Jenkinsなど CI/CD専用のSaaS：Circle CI、Travis CI、AWS Codeシリーズ、Google Cloud DevOps、GitHub Actionsなど クラウドやKubernetes環境向けのCD：Spinnakerなど アプリケーション実行環境とCDがセットになったPaaS：GAE、AWS Beanstalkなど 一方、この各ツールやサービス間で移行することになると、複雑になりがちな設定の書き換えや、特定ツールのサポートやプラグインに乗

Dagger は、Docker を開発した人たちによるポータブルな CI/CD ツールです。先月末公開されました。 Introducing Dagger: a new way to create CI/CD pipelines ポータビリティ実現のためコンテナ環境が前提になっています。 Dagger は DAG (Directed Acyclic Graph)に由来するものと思われますが、CI/CD の文脈で DAG はパイプラインを構成するジョブの依存関係グラフのことです。 Dagger はビルドエンジンとして BuildKit を利用しています。BuildKit は Docker に統合されたツールキットで docker build の高速化・ルートレス化を実現したテクノロジーです。 GitHub - moby/buildkit: concurrent, cache-efficient

Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local machine and/or post-push in CI Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local machine and/or post-push in CI Powerful, programmable open source CI/CD engine that runs your pipelines in containers — pre-push on your local ma

Docker創始者らが開発、ビルド／テスト／デプロイの自動化をポータブルにするツール「Dagger」登場。そのままローカルでもGitHubでもCircleCIでも実行可能に Dockerの創始者であるSolomon Hykes氏らが中心となって開発しているオープンソースのCI/CD環境構築ツール「Dagger」が公開されました。 Windows、Mac、Linuxで試すことができます。 And we are live! Introducing Dagger, a new way to build CI/CD pipelines. By the creators of Docker. https://t.co/DU8racmoUo — dagger (@dagger_io) March 30, 2022 Daggerが定義したCI/CDパイプラインはポータブルになる Daggerとは「A P

AWS が提供するサービスを組み合わせて、Git で管理された Markdown を PDF に一括変換する CI/CD パイプラインを構築した。 パイプライン構成図 処理フロー Markdown を含むファイルを Git で CodeCommit のリポジトリにプッシュ CodeBuild で CodeCommit から Markdown を含むソース一式を取得 ECR にある Pandoc の Docker イメージを利用して Markdown から PDF に変換 PDFをまとめて zip に圧縮し S3 へ転送 パイプライン構築手順 【注意】各種サービスのリージョンは同一リージョンに揃える必要がある S3 生成したPDFを格納するS3バケットを構築する。特に注意点はなし。 ECR Pandoc の Docker イメージをプッシュするためのレジストリを予め作成しておき、Docker

9/6 メモ吐き出し。 3行まとめ Docker on WSL2はいいぞ なぜAsciidocを使うのか Asciidoc文章の所感 Asciidoc スライドの所感 Asciidoc を使う Asciidocのイメージをインストール Revealjsのプレゼン資料を作る Gitlab CIと連携して静的なページを作成する。 まとめ 3行まとめ WSL2上で動かすDockerはいいぞ Windowsだと設定が面倒なAsciidocも簡単に使えるぞ ということです。 Docker on WSL2はいいぞ 自前の環境を汚さずになにか作業したい場合，Dockerは非常に便利なツールです。 WSL1やDOSネィティブの環境でDockerを使おうとした場合，従来はHyper-Vが必要（Windows Homeでは無理）だったのですが，WSL2のUbuntu環境を立てることで，Ubuntu上でaptか

はじめに GitLabを使いはじめて1年半になりますが、.gitlab-ci.yml に関するノウハウがほどほどに溜まってきた気がするのでTipsとしてまとめてみました。 注意 Webアプリケーションの CI/CD に関するTipsが多いです。 .gitlab-ci.yml の例は Python/Django で書いていますが、特に難しいことは書いていないつもりです。適宜得意な言語に置き換えて読んでください。 本記事では公式ドキュメントに倣い、 .gitlab-ci.yml の一つの実行単位を ジョブ、ジョブに定義する image や stage, script などのジョブのふるまいを キーワード と呼びます。 Index Services：コンテナイメージを複数扱う Anchors：ジョブのテンプレートでスリムなYAMLに Predefined environment variable

やってること メモ Jenkins を動かす環境 Docker イメージ itamae レシピ Serverspec テスト Jenkins の準備 プラグイン Docker 周り ジョブ infra-itamae の設定 infra-serverspec の設定 動いてる図 Build Pipeline ログ 以上 やってること 今更かもしれないけど, ギョームで以下のようなことをやって, ここ数日で運用も回ってきた気がするのでメモしておく. itamae のレシピを amazonlinux コンテナに適用 適用したコンテナに対して Serverspec でテスト 1 と 2 を Jenkins のビルドパイプラインで流す 3 が正常に終了したら, pull request を作成, 又はマージ master ブランチのレシピをサーバーに手動で適用 Jenkins のポテンシャルと it

以前のエントリ（ http://knjname.hateblo.jp/entry/2014/05/03/190842 ）で自分でJenkinsのDockerイメージを作成したりしてみましたが、 Jenkins公式でDockerイメージを配布するようになったので、それを使用したほうがいいと思います。 Github https://github.com/cloudbees/jenkins-ci.org-docker DockerHub https://registry.hub.docker.com/_/jenkins/ 普通に使うだけなら、下記のようにすればいいだけですが、 docker run -p 8080:8080 jenkins これだと何も細かいことを設定できていないので、いくつか補足。 Dockerイメージ内のJenkinsのバージョンについて 永続化ディレクトリ(JENKINS_

この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2015 の投稿記事です。 こんにちは、2015年新卒インフラエンジニアの河合です。アドベントカレンダー2015の3日目を担当します。現在の担当プロダクトは英語/英単語サプリです。そういえば10月末に英語サプリのiOS版がリリースされました。 英語サプリ 英語サプリリリースに伴い、インフラ業務としては Terraformの運用の話 Amazon EC2 Container Serviceで構築した話 などと色々なネタがあるのですが、本日はDockerを用いたJenkinsの運用をしてみた話をします。 Jenkinsと数ヶ月ほど戯れてみて… Jenkinsと戯れてみて思ったのは以下のとおりです。 拡張性の代償として保守運用コストを要求する プラグインが豊富なので、設定が容易に済むことがある 各ジ

Jenkins on Docker 最近では Jenkins サーバーを Docker 上で構築するケースが増えてきています。CI 環境は、簡単に作り直したり複製したりすることができる Docker のメリットを活かせる環境であると言えます。 ということで、Docker を使って Jenkins サーバーをローカルに構築する方法をご紹介したいと思います。また Jenkins にはプラグインをインストールして使うことが多いと思うので、プラグインがインストール済みの Docker イメージをビルドする方法も併せてご紹介します。 Docker のインストール まずはローカルに Docker が実行できる環境を作りましょう。以下のドキュメントを参考にしてください。Mac では Docker Toolbox をインストールする方法と Docker for Mac をインストールする方法の2通りがあり