危険な Terraform Provider の実行を防いで Security を担保するためのコマンドラインツールを作ったので紹介します。 # Only google provider and azurerm provider are allowed $ cat .tfprovidercheck.yaml providers: - name: registry.terraform.io/hashicorp/google version: ">= 4.0.0" - name: registry.terraform.io/hashicorp/azurerm # tfprovidercheck fails because aws provider is disallowed $ terraform version -json | tfprovidercheck FATA[0000] tfpro

こちらはエムスリー Advent Calendar 2022 Advent Calendar 2022の一日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。今回はPrivate Terraform Registry周りを調べていて学んだTerraform Provider Registryを自作する方法を紹介します。 Overview Terraform Providerについて Terraform Registry API GoによるTerraform Provider Registry実装 Service Discovery API Regist Provider API List Available Versions API Find a Provider Package AP

HashiCorp NomadでGitHub Actions Self-hosted Runnerを簡単にautoscale運用する HashiCorp Nomad おさらい Nomad は HashiCorp が2015年から開発を続けている、非常に軽量かつ高速なワークロードスケジューラーです。Nomad が管理するクラスターに対して、コンテナアプリケーションはもちろん、Java アプリ (.jar)、任意のバイナリ、QEMU 仮想マシンなど、レガシーアプリを含む様々な種類のワークロードをオーケストレーション・スケジューリング実行することができます。GPU を利用するワークロードにも対応しています。 世界で見ると実際のミッションクリティカルな本番環境での稼働実績も多数あり、下記では利用事例の一部が紹介されています。 有名な例としては、Cloudflare 内部での利用事例や、Circle

我らの時代のコンテナデプロイ – Nomad, Consul, Vault 2020年12月11日 金曜日 【IIJ 2020 TECHアドベントカレンダー 12/12（土）の記事です】 システムクラウド本部の坂口です。 私たちは現在、新サービスを開発しています。 今やサービス開発ではコンテナ技術を無視できません。 我々のサービスでも開発したアプリケーション群は自動でコンテナイメージ化され、様々な開発者が簡単に手元で動作確認できるようになっています。 マイクロサービスアーキテクチャを採用し柔軟かつ高速な開発体制を敷けた一方で、それらをデプロイするコンテナ管理基盤をどうするかが問題になります。 今回はコンテナオーケストレーションシステムとしてnomad、並びにhashicorpのプロダクトを利用した感想をご紹介します。 デプロイを巡る冒険 Kubernetes コンテナオーケストレーションシ

この記事は BASE Advent Calendar 2020 の 18 日目の記事です。 こんにちは。BASE BANK 株式会社 Dev Division にて、 Software Developer をしている東口（@hgsgtk）です。 先月・先々月と連続で Terraform に関連したブログを投稿しているのですが 2020 年最終月も Terraform 話で締めさせていただきます^1。 TL;DR Terraform 0.14 が GA(General Availability)になった dependency lock file .terraform.lockが追加され、VSC 管理化に含めるかについてプロジェクトによって扱いの検討が必要 0.14.0 では、ignore_changes = allを使用したリソース定義の扱いにバグがあり 0.14.1 で修正された 当該機能

data "aws_caller_identity" "current" {} output "account_id" { value = data.aws_caller_identity.current.account_id } 若干補足しておくと、 "${}" 自体が廃止されたわけではなく、今でも文字列の中に変数を埋め込む場合には必要ですが、式が変数の参照しか含まない場合は不要で、v0.13.4以降は冗長な書き方は警告が出ます。ちなみにv0.14のfmtはもう一歩踏み込んで、この書き方を自動で修正するようになりました。古いサンプルコードを雑にコピペできるようになってべんり。 Terraformではなく汎用的なHCLそのものの仕様を調べたいときは、 hashicorp/hcl にありますが、本稿執筆時点ではデフォルトのmasterブランチはまだHCL1であることに注意して下さい。 HCL

はじめに 私が所属するaslead DevOpsチームでは、日々変化するユーザの開発サーバ構成に対して、セキュリティを保ちつつ開発業務の効率化・自動化ができないかを検討しています。 この記事では、AWSにログインして作業するIAMユーザの扱い方についてご紹介します。AWSの中でもセキュリティの基礎となる重要サービスであり、ユーザの棚卸しや権限の管理に時間を割かれているチームも多いのではないでしょうか。 そこで、Hashicorp社が提供しているVaultを利用し、作業のタイミングでIAMユーザを作成し、終わったら削除するアプローチを考えてみます。IAMユーザの作成自体はVaultの標準機能ですが、複数アカウントの権限制御ができるスイッチロールとの組み合わせを提案します。 Vaultとは (画像は　https://medium.com/hashicorp-engineering/vault-

mitchellh/cli について Go にはコマンドラインツールを書くのに役立つフレームワークが数多くありますが、今回はググってもあんまり日本語情報が出ず、また godoc に example も少なくて掴みどころが難しい、 mitchell/cli に触れてみます。正直、有名どころの urfave/cli や alecthomas/kingpin に比べて使い勝手が良いとは言いづらいフレームワークだと感じていますが、 mitchellh氏のレポジトリにあることからもわかる通り、 Terraform 等の HashiCorp OSS 群で使われているフレームワークということで、あえて学んでみました。 なお、ただ実装を読むだけではつまらないですし、せっかくなら使ってみたかったので、現在拙作の nature-remo-cli 内でも活用しています。実例として良ければご参照ください。 基本

In this blog post, we will walk you through the reliability model of services running in our more than 200 edge cities worldwide. Then, we will go over how deploying a new dynamic task scheduling system, HashiCorp Nomad, helped us improve the availability of services in each of those data centers, covering how we deployed Nomad and the challenges we overcame along the way. Finally, we will show yo

こんにちは、ななです。 皆さんはTerraformを使っていますか？ちなみに私は最近、Terraformを触り始めました。 今回はTerraformのAWSプロバイダに関して本日2019年12月14日にアップデートがあったため、早速試してみた話を書いてみます。 はじめに Terraformとは、HashiCorpにより作成されたInfrastructure as a Codeを実現するためのオープンソースなツールを指します。 Application Load Balancer (ALB) とは AWSが提供するElastic Load Balancing (ELB) というサービスにおいてサポートされ、かつOSI参照モデルの第7層 (アプリケーション層) で機能するものです。 (図引用元： https://docs.aws.amazon.com/ja_jp/elasticloadbalan

2019年3月から、さくらインターネットで働いている、自称「構成管理おじさん」です。 チームでの役割としては下記のようなことをやっています。 コンテナ実行基盤の構築 メトリクス管理、監視基盤の構築 ログ管理、監視基盤の構築 今回は、コンテナ実行基盤の構築について少しだけお話しさせていただきます。 内容 世の流れは Kubernetes だけど、 Docker + Nomad + Consul + Traefik を組み合わせるとこんなことができ、この構成に至るまでにどのように思考していったのかについて書いています。 Nomad + Consul を利用したコンテナオーケストレーションを行っている国内の企業がここにもいますよということをアピールしておきます。(いつか対面でお話できる日がくるとよいなと思っています。) LINEの金融系サービスを支えるサーバーエンジニアの仕事 Consul・No

［速報］HashiCorpが「Terraform Cloud」機能強化、5人まで無料。チームでのクラウドインフラの管理を容易に。HashiConf '19 HashiCorpが主催する年次イベント「HashiConf '19」が9月10日（現地時間）サンフランシスコで開幕しました。 基調講演で同社共同創業者兼Co-CTOのArmon Dadgar氏は、マルチクラウドに対応するクラウドインフラのプロビジョニングツール「Terraform」のクラウド版「Terraform Cloud」の機能強化を発表しました。 Terraformは、AWSやMicrosoft Azure、VMwareなどさまざまなクラウドインフラのプロビジョニング情報を特定のインフラベンダに依存しない形式で、コードとして記述し適用できる、いわゆる「Infrastructure as Code」（IaC）を実現する代表的なソフ

Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌

Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌

今回はTerraformから提供されているprovider frameworkを利用した独自のプロバイダーの実装について扱います。 カスタムプロバイダーについての基本的な知識〜実装上の注意点などをサンプル実装を通じて見ていきます。 注:この記事はTerraform v0.11に対応しています。 === UPDATE: 2022/05 この記事執筆当時と筆者の状況が変わり、この一連の記事は完結する見込みがほぼ無くなっています。 また、Terraform側も進化しており、Terraform SDKが生まれ、SDK v2に変わり、現在ではTerraform Plugin Frameworkというものが生まれています。 この一連の記事の内容はSDK v2でも若干の調整(エラーハンドリングなど)だけで通用しますが、Plugin Frameworkについては全く新しい作りとなっていること、新規にプロバ

AMI生成部分を自動化できたので、ちょっとだけまとめておく。 CodeBuild AWSのDockerで動くCIツール。 CodeBuildの名前の通り、ソースコードをビルドする環境を簡単に作れることをウリにしている CircleCIなどのサービスでビルドしたり、Jenkinsを自前で用意するのと比較してそれほど違いはない 利点があるとすれば、AWS上で動くためサービスロールを使って権限を付与できるところか packerを使う都合上、EC2へのアクセスが必要になるため、外部サービスの場合アクセストークンの発行と管理が必要になる 料金はビルド時間ごとの課金 一応無料枠もある Packer HashiCorp製のマシンイメージ自動生成ツール Goで書かれていて機能が豊富 AWS以外にもいくつかのクラウドサービスに対応している Ansible Python製のプロビジョニングツール シェルスクリ