JAWS DAYS 2021の登壇資料です。 詳細はブログをご参照ください。 https://dev.classmethod.jp/articles/jaws-days-2021-control-tower/

こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

こんにちは。HashiCorp Japanの伊藤です。HashiCorpには４つのEnterprise製品があります。以下がそれぞれのプロダクトのOSS vs enterpriseの比較資料になります。 Terraform EnterpriseVault EnterpriseConsul EnterpriseNomad Enterprise今回はこの中のVaultについての説明をしたいと思います。(はじめに謝っておきます。Enterpriseの機能紹介まで書きたかったのですが、Vaultの基本概念だけで結構なボリュームになったので、Enterprise版については次回書きます・・・) Vaultとは？まずはVaultという製品について、ざっくりと説明させていただきます。 Vaultは従来のStaticなインフラからDynamicなインフラへ切り替わっている昨今において、従来のセキュリティモ

2. © 2018 HashiCorp Networking Connect infrastructure and applications Development Run applications Security Secure applications and infrastructure Operations Provision Infrastructure The 4 essential elements of dynamic infrastructure 2THE HASHICORP STACK 3. © 2018 HashiCorp Connect THE HASHICORP STACK Infrastructure and applications Development Run applications Security Secure infrastructure and

インフラをコードで管理するInfrastructure as Codeだからこそ、必要なドキュメントについての考察とそれの管理方法についてLTした様子です。 「なんや、この視聴者数…　震えが来るぜ・・・」 先日開催されたInfra Study Meetup #2「VM時代の開発とCloud Native時代の開発」 - connpassにおいて、「IaCにおける理想のドキュメント管理を目指す」という内容でLTしてきましたので、その内容をお届けします。 当日は、イベント内容も登壇者も超絶豪華で、なんとリアルタイム視聴者数1000人超えということで、さすがに自分も緊張しました。まじで。 青山さんのメインテーマがKubernetesの話であり、前後それに関わるテーマが中心の中、Kubernetesもコンテナも1ミリもでてこない発表にしたのですが、IaCに関わる普遍的な考慮ポイントについて喋れたの

はじめに アプリケーションには、DBの認証情報やAPIキーなど、リポジトリにはコミットするべきではない機密情報がつきものですよね。AWSでは、情報を暗号化／復号化するための鍵を管理するAWS KMSというサービスと、鍵を使って情報を管理するためのAWS Systems Manager パラメータストアやAWS Secrets Managerというサービスが統合されており、それらを使うことで機密情報を管理することができ、他のAWSのサービスとも統合されているのでアプリケーションへの受け渡しも容易です。 GCPでは、Cloud KMSという鍵を管理するためのサービスはありますが、鍵を使って情報を管理するためのサービスはないため、GCPが開発しているOSSのBerglasというツールか、HashiCorp社のOSSであるVaultを使って管理することが推奨されています。 本記事ではBerglas

前書きこんにちは、TIG所属インフラエンジニアの市川です。GCP連載の5本目です。 突然ですが、普段生活するうえでカギ🔑をなくした、忘れたことはないでしょうか。私はあります。なくしたことはないけど、うっかり置き忘れちゃうんですよね。 それがことインフラ構築の場面ではどうでしょうか。最近はとにかく多くのカギを管理しなくてはなりません。API Keyとか気づいたら何が何だか分からなくなり、苦渋の決断の末、再度払い出すことも多いのでは無いでしょうか。検証ならまぁ…ギリギリですが、本番ではやっちゃダメ絶対です。 ということで、そんな管理人の皆さんに朗報です。 遂にGCPにシークレット管理機能がやってきました！ CLIツールのBerglasとGUIで管理するSecret Managerを簡単にご紹介したいと思います。 Berglasを使ってみるサクっと利用するならCloud Shellだよね！ と

GCP(Google Cloud Platform)の開発・運用者へ付与する権限の管理について、現状のベストプラクティスを考えてみました。 ※Googleが推奨する権限管理の形とは異なる部分があります。あくまで個人の考えたベストプラクティスですので、ご了承下さい。 目次 はじめに なぜ権限管理が必要なのか どうしたいのか GCPの権限管理 アクセスする主体と役割の管理方法 アクセス対象と権限の管理方法 GCP権限周りの困りポイント・注意すべきポイント こんな運用もあり 現状のベストプラクティス　←時間のない人はこちら コード化して管理する 運用してみて良かったこと・課題と今後 おわりに はじめに GCPの権限管理(IAM)周りについての基礎知識はこちら。 Cloud IAM 概念 Google Cloud Platform(GCP)のCloud IAM Qiita記事, GSuiteやCl

こんにちは、IT 基盤部ネットワークグループの谷崎です。 DeNA のインフラは現在オンプレミスデータセンタ（以下、オンプレ DC）からパブリッククラウド（以下、クラウド）へ移行の過渡期にあります。 そこで我々ネットワークグループはオンプレ DC とクラウド間のセキュアな通信を提供すべく、プライベートネットワークを設計、実装しました。 今回はその中でも GCP とのプライベートネットワーク（以下、内部通信）についてご紹介いたします。 なお、3 月開催の DeNA TechCon 2020 にて AWS との内部通信を含めたセッション内容で 登壇 いたします。 興味のある方は足をお運びいただけますと幸いです。 従来の構成 全社的なクラウドへの移行方針が決定する以前から小規模にはクラウドを利用しており、GCP との内部通信は下記のような構成で運用していました。 各プロジェクトの VPC で C

【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する 中山（順）です 「AWS Organizationsをコードで管理したい・・・」 そんなことを思ったことはありませんか？ 今日はAwsOrganizationFormationというOSSのご紹介です。 READMEには以下のように記載されています。 AWS Organization Formation is an Infrastructure as Code (IaC) tool for AWS Organizations. OlafConijn/AwsOrganizationFormation AWS Organizationをコードで管理するツールのようです。 これは俺得。 AwsOrganizationFormationの機能 主要な機能として、以

こんにちは、筋肉系インフラエンジニア見習いのつるべーです。 私は今、GMOペパボ株式会社でペパボカレッジという第二新卒エンジニア向け研修を受けている真っ最中です！ 今回のエントリーは、私が研修中に感じた素朴な疑問を会社のコミュニケーションツールに書いたら、そこから議論が広まって、最終的にはInfrastructure as Codeという重要な概念への理解を深めることができたよ、という話です。 Infrastructure as Codeって？ Infrastructure as Codeを一言で表すと「コードによりインフラの管理をすること」です。 コードで管理することのメリットとしては、 コードのバージョン管理ができる 設定変更の適用前にプルリクエストベースで確認が行える 設定の共有・再利用が容易である オペレーションミスが防げる インフラ構築の属人化が防げる などが挙げられます。 現在

最近、5kgの重しを背負って懸垂していますプリンシパルエンジニアの @linyows です。 みなさん、NHKの「筋肉は裏切らない！」（正しくは筋肉体操）見てますか？ … はい。ですよね。 GMOペパボは、ロリポップ！やminneなど様々なサービス（microservices的なものではない）を運営しており、それぞれにおいて、秘密情報を管理している状態にあります。この秘密情報を独自に管理するのは、専門のスキルやノウハウとしてあらゆるコストがかかります。 そこで僕（ら）は、秘密情報管理ソフトウェアであるHashiCorp Vaultを各サービスに導入し、サービスを堅牢にするというゴールをもとに社内でVaultのWorkshopを幾度となく開催しています。 今回は、そのWorkshop「やわらかVault」のご紹介です。 やわらかVault これは、HashiCorp Vaultを正しく理解し

欠陥を早期に発見するための Software Engineer in Test とその重要性 / What is Software Engineer in Test and How they works

Slack、Gmail、Google Drive、Trello、GitHub……などを1つのウィンドウで管理することができるアプリはいくつかありますが、個人的には「Station」が一番オススメ。無料だし対応しているウェブサービスは500以上だし、気軽に試してみると仕事が捗るかもしれないですよ。

こんにちは。バックエンドエンジニアの田島(@katsuyan121)です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になってしまいます。 そこで、データマートをすべてGitHub上でバージョン管理し、運用の効率化をしました。また、差分更新の導入や依存関係のあるデータマートへの対応などのデータマート構築に必要な機能を作成しました。 弊社のデータ基盤をざっくり紹介します。まずデータはBigQueryへ集約し、Digdagを用いてデータ基盤を構築しています。以下がその概要図です。S3などの分散ストレージや各種DBからデータをBigQueryへ同期

こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問

多くのLinuxディストリビューションで採用されているsyslogサービス「rsyslog」は現在でも活発に開発が進められており、ネットワーク経由でのログ転送だけでなくログの整形や柔軟な条件分岐、さまざまなデータベースへのログ出力サポートといったさまざまな機能が追加されている。本記事ではまず入門編として、このrsyslogの基本的な機能や設定方法について紹介する。 クラウド環境ではログ収集手法の検討が必須 昨今ではサービスのインフラとしてクラウドサービスやコンテナを利用するケースが増えている。こういったクラウドサービスでは、インスタンスを削除すると、そのインスタンスに割り当てられていたストレージは消滅してしまうことが多い。一部のクラウドサービスではストレージを削除せずに残すことも可能だが、その場合別途コストがかかるのが一般的だ。Dockerなどのコンテナでも同様にコンテナの削除後はそのコン