この記事は、Finatextグループ Advent Calendar 2024の3日目の記事です。 はじめに ナウキャストでデータエンジニア/データプラットフォームエンジニアとして働いている@mt_musyuです。ナウキャスト社内のデータ基盤の構築や運用を行い、また社内の知見を生かしてクライアント企業様のデータ基盤の構築や運用の支援を行っています。 近年、データ利活用の推進や生成AIの利用が進む中で、データ基盤の重要性が増しています。単にデータ基盤を構築するだけでなく、増え続けるデータやユーザーを考慮した運用も求められています。そのため、データ基盤の構築や運用を効率化するために、IaC（Infrastructure as Code）の導入が重要であると考えています。もちろん、通常のシステム開発においてもIaCは重要ですが、データ基盤においては特にその重要性が際立っていると考えています。そう

はじめに 個人的な感想です。 長年AzureのインフラをIaCで開発してきましたが、最近はTerraformも覚えてきて一応以下の3つは習得できたかなと。 Azure Resource Manager Template(ARM) Bicep Terraform それぞれ構文も異なりますが、作りたいAzureリソース、設定したいリソースパラメータの指定方法が異なるだけです。 いずれしても結局はAzureインフラの設計が行えないとダメです。 それぞれの特徴などについて、私見で記しました。 各テンプレートの概要 Azure Resource Manager Template(ARM) 記述形式はjsonです。 こちらをゼロから作成するのはとても大変ですが、以下のドキュメントを読み進めると作れるようになるでしょう。 Bicep 記述形式はMicrosoftのオリジナルです。 jsonによくあるカン

はじめに インフラストラクチャ・アズ・コード（IaC）の次世代技術として注目を集めているインフラストラクチャ・アズ・ランゲージ（IaL）。本記事では、IaLを活用してAWS FargateにStreamlitアプリケーションをデプロイする過程を詳細に解説します。AIによるコード生成と自然言語での要件定義を組み合わせることで、インフラ構築のプロセスがいかに簡素化されるかをご覧いただけます。 プロジェクト概要 本プロジェクトでは、ねこねこカンパニーの工場ダッシュボードをStreamlitで作成し、AWS Fargateにデプロイします。主な特徴は以下の通りです： Streamlitを使用した対話的なダッシュボード AWS FargateとECSを利用したサーバーレスデプロイ Terraformによるインフラのコード化 IPホワイトリストによるセキュアなアクセス制御 IaLによる要件定義 IaL

最近は関わる案件の多くで IaC を前提とすることが多くなってきました。 Azure においては、主に Terraform と Bicep という選択肢があると思うのですが、改めて自分なりにどちらを使うと良さそうか考えてみたので、残しておこうと思います。 1. それぞれのメリット／デメリット 「👍️」は特に良いと感じる点、「🤯」は特に辛いと感じる点です。 Terraform のメリット 👍️マルチクラウド対応: Azure だけでなく、AWS, GCP などのクラウドプロバイダに対応しているため、異なるクラウド環境で一貫した管理が可能。 大規模なエコシステム: Terraform には多くのプロバイダとモジュールが存在し、広範なコミュニティサポートがある。 成熟したツール: 長く利用されているため、ドキュメントが充実しており、企業での導入事例やベストプラクティスも多い。 プランニング

PackerBuild and manage images as code​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌‍‌​‍​‍‌‍‍‌‌‌​‌‍‌‌‌‍‌‌‌‌‌​‌‍‌‌​​‌‍‌‌‌​​‍‌‌‍‌​‌‍‌‍‌‍

私を含めた最初からTerraformを使おうとして挫折した方々，いかがお過ごしでしょうか この記事では，Terraformで未知のリソースを定義しようと思ったときに私がしていることを紹介しています．読者対象としては「Terraformを導入したはいいけれど，リソースの定義方法がわからないまま挫折して自然消滅させた方」を対象としています．まあ，Terraformの公式ドキュメントを読んでわかる人は直接の対象ではありませんが，「こういう人もいるんだな」くらいで見ていただければ幸いです． 口を大にして言いますが，この記事の合言葉は 「公式ドキュメントを読んでわかるならそれに越したことはない」 です．そのうえで，公式ドキュメントを読んでわからなかった人が，Terraformを利用するるための足がかりをこの記事ではECS on Fargateのサービス作成とS3バケットの作成を例に挙げながら提案して

Overview タイトルの通りですが、技術書博5向けにInfrastructure as Code (IaC)に関する技術書を執筆しました。 gishohaku.dev 一応、僕がそれなりにAWS x IaCにどっぷり浸かっていることもあり、題材のクラウドはAWSを主軸にしています。 TerraformやPulumiに関しては、別にAWSに限らずAzureやGoogleCloud利用者の方々にも通ずる部分があると思います。 執筆に至ったモチベーション 僕自身、IaCサービスに関してはCloudFormation 数ヵ月、terraform 2年、Pulumi 8ヶ月ほど経験しており、 それぞれの特徴も知れてきたのでナレッジを形にしたいなと思い、同僚と執筆しました。 ※ちなみに、共著の同僚である@HorseVictoryはAWS Top Engineersの一人です。 クラウドネイティブな

PackerBuild and manage images as code​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌‍‌​‍​‍‌‍‍‌‌‌​‌‍‌‌‌‍‌‌‌‌‌​‌‍‌‌​​‌‍‌‌‌​​‍‌‌‍‌​‌‍‌‍‌‍

技術 1 課の水本です。 最近 Terraform のリファクタリングを行っているのですが、ベストプラクティス迷子になっています。 HashiCorp でも明確な方針は打ち出していない為、Terraform を利用する各プロジェクトで方針を決めているのが現実のようです。 今回は私が出会ってきた問題と、それについての対応、見解を書き連ねていきます。 あくまでも私が思ったことですので、「こうしたほうがいいよ！」というネタも募集しています。 workspace 使うのか使わないのか問題 結論として、私自身は workspace という機能を知ったものの、使うことは考えませんでした。 Terraform では workspace という個別のエリアを設けることが可能で、これを prod や staging と命名し作成しておくと、完全に環境を分離できるというメリットがあります。 ただしデメリットと

Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌

今時の現場では、管理対象のリソースの大半はIaC(Infrastructure as a Code)化されており、 PRを契機にリソースのプロビジョニングを行うように綺麗に管理されている現場も多いかと思います。 一方で、前任のインフラ担当がリソースをIaC化せずに退職してしまったような荒れた現場や、 あるいはIaC化が浸透しきっておらず、部署によっては担当者がWebコンソールを介してリソースを作ってしまっているような現場もまだまだ存在します。 通常、そのような現場の場合、コード管理されていない野良リソースの追跡は困難を極めますが、 それを手助けするツールとして、driftctlというツールが登場しました。 driftctlとは driftctlは、IaC化されていない野良リソース——driftctlの文脈で言うところのDrift——を検知するツールです。 また、厳密には異なりますが、Ter

この記事はWanoグループ Advent Calendar 2020１9日目の記事になります。19ったら19です。 AWSでInfrastructure as Code、やってるでしょうか。 やるにしても辛いことも多いですね。 最近やってるものの構成や困ったところをメモしておきます。 今やってる構成 現行プロダクトでは、 s3やrdsなどステートフルなものや、ライフサイクル上いろんなアプリから参照されるものは「コンポーネント目線で水平分割」(terraform) インフラという以上にアプリ寄りのコンポーネントや最悪消えてもいいものは「サービス目線で自由に垂直分割」(ツール自由) くらいでふわふわやってます。 以下のような構成です。 v2 ├── data_id │   ├── 01_emulated_resources.tf │   ├── 02_existed_resources.tf

PackerBuild and manage images as code​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌‍‌​‍​‍‌‍‍‌‌‌​‌‍‌‌‌‍‌‌‌‌‌​‌‍‌‌​​‌‍‌‌‌​​‍‌‌‍‌​‌‍‌‍‌‍

はじめに1 この記事は terraform Advent Calendar 2020 2日目の記事です。 1日目は rakiさん の 2020年の terraform-jp 振り返り です！ 3日目は rakiさん の aws iam policy で s3 の bucket 制限を書く時に便利かもしれない小技 です！ はじめに2 こんにちは。みなさんterraform書いてますか？ 最近は日に日にterraformがIaCのデファクトになりつつあるように感じます。 Google Trend もちろんterraform本体の開発が活発なのも一因ですが、terraformを取り巻くecosystemの隆盛も近年普及してきた要因の一つなのかなと感じます。適切にecosystemを使いこなせば一般的なwebアプリケーションの開発時のライフサイクルと同じようなDeveloper Experienc