ETLのワークロードが単一のGlueジョブ（以下、ジョブ）で済むのであれば、Glueのトリガー（以下、トリガー）や、EventBridgeと連携させたLambda Functionなどで実行すればいいと思いますが、ジョブ同士が依存関係を持ったり、Glue以外での処理が見込まれる場合、どう設計しておくべきか... 今回はジョブの実行/管理で検討できそうな、トリガー、ワークフローがどういったものか簡単に整理しつつ、どうやって実行/管理した方がよさそうか考えてみました。 トリガー Glueにはトリガーと呼ばれるオブジェクトがあり、手動または自動で1つ以上のクローラーや、ジョブを実行することができます。 トリガーには起動方法が設定でき、以下を指定することが可能です。 スケジュール…固定のサイクルを指定（毎日24時など） オンデマンド…コンソールやAPIから実行 ジョブイベント…他のジョブイベント

本連載では、DX（デジタルトランスフォーメーション）、その中でも特に業務効率化をテーマに、プロトアウトスタジオの生徒や関係者が日々の生活や業務で発生している課題を見直し、技術を活用しながら解決していく方法をご紹介していきます。第7回となる本記事は、作図作業を効率化すべく作成した「AWSシステム構成図生成アプリ」（以後、図生成アプリ）を紹介します。 面倒な作図の作業を楽にしたい こんにちは、プロトアウトスタジオ卒業生の周防（スオウ）です。普段はクラウドサービスAWSを使いインフラの設計／構築などをしているインフラエンジニアです。 突然ですが、IT業界では図をかく仕事があることをご存じでしょうか。自社サービスの魅力を分かりやすく伝えるために図をかくことがあります。また、システムのネットワークや構成を関係者と共有するために構成図を作成します。 この作図作業は、時に多くの時間を費やす大変な仕事にな

AWSをはじめとするクラウドプラットフォームの普及に伴い、DevとOpsの境目はかなり曖昧になっています。その中でもIAMの管理は設定によっては権限昇格を引き起こしかねないことから、その管理権限は慎重な管理になりがちです。結果的に、IAMは属人的な管理を行っている組織が多いのではないでしょうか。 …

実際の暗号システムがセキュアに動作し続けるためには、暗号アルゴリズム自体がセキュアであるだけでは不十分で、データが保護される期間中、その暗号アルゴリズムが使用する暗号鍵もセキュアに管理されている必要があります。そのため、暗号鍵やデータのライフサイクルを踏まえた運用、安全な暗号鍵の保管、暗号鍵危殆化時の対策などを行う上で参考となるガイドラインを取りまとめています。 「暗号鍵管理システム設計指針（基本編）」の内容 「暗号鍵管理システム設計指針（基本編）」は、あらゆる分野・あらゆる領域の全ての暗号鍵管理システムを対象に、暗号鍵管理を安全に行うための構築・運用・役割・責任等に関する対応方針として考慮すべき事項を網羅的に提供し、設計時に考慮すべきトピックス及び設計書等に明示的に記載する要求事項を取りまとめたガイドラインとして作成されたものです。 具体的には、暗号鍵管理の必要性を認識してもらうために「

園部です。 開発やステージング環境の EC2 を不要な時に、停止して利用料金を削減するという取り組みは多くのユーザーで実施されている施策ではないかと思います。私も以前所属していた会社では平日夜間・土日は停止し、平日朝に起動を行っていました。 そんな EC2 停止＆起動処理ですが、いくつかの実現方法があります。（たぶんもっとある... CloudWatch Event（ EventBridge ） + Lambda CloudWatch Event（ EventBridge ） + SSM Automation AWS Instance Scheduler サードパーティ製品 EC2（Linux なら cron 、Windows ならタスク）上で CLI 等から実行 先に挙げた方法は、一長一短で例えば以下のような課題があげられます。 実行用 EC2 を用意すると管理が必要となる 対象リストを

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、CloudFormationを実運用で使い始めました。開発環境／QA環境／本番環境ともにCloudFormationで運用できる目途がついたので、ポイントをまとめてみます。 なお、CloudFormationは名称が長いのでCFnと略します。 基本方針 CFn templateの作成・管理 管理手法 templateはyamlで書く。 templateはGitリポジトリで管理する。 template構成 templateはある程度独立した単位に分割する。 template間で共有するパラメータは、Stack作成時にPar

CloudFormationの全てを味わいつくせ！「AWSの全てをコードで管理する方法〜その理想と現実〜」 #cmdevio AWSにおける代表的なIaCの手段、CloudFormationについて、その使いこなしについて主観強めに喋ってきました。あまりマニュアルにも乗ってないような事項も結構あるので、是非参考にしてください。 「俺は、なんだかんだCloudFormationが大好きだ！」 うららかな小春日和の11月、下記イベントで登壇してきました。 【11/1（金）東京】国内最大規模の技術フェス！Developers.IO 2019 東京開催！AWS、機械学習、サーバーレス、SaaSからマネジメントまで60を越えるセッション数！ ｜ Developers.IO このブログでは、「AWSの全てをコードで管理する方法〜その理想と現実〜」というタイトルで思う存分喋ったその様子を丸ごと喋り含めて

こんにちは、臼田です。 みなさん、AWSをセキュアに利用できてますか？(挨拶 今回は少し前にGAとなったマルチアカウントで統制を利かせて管理するAWS Control Towerについて実際に触りながら学んでいきたいと思います。 「Control Towerって何？」「マルチアカウントでのAWS環境の管理手法に興味がある」「実際にやってみたい」という方に参考になるように書いていきます。 このブログではAWSから提供されているAWS Management Tools Lab ContentというコンテンツのLabsをベースに進めます。 上記ラボは廃止され、現在はAWS CONTROL TOWER IMMERSION / ACTIVATION DAYに変わっています。手順も変わっているのでラボの内容をご参照ください。このブログは雰囲気を味わう用途でご利用ください。 ラボにはBase Labsと

技術部 SRE グループの mozamimy です。 クックパッドでは、 SRE が中心となって、サービスを動かす基盤の大部分である AWS のコスト最適化を組織的に取り組んでいるため、今回はそれについてご紹介します。 前半では、そもそもの話として「なぜコスト最適化が重要なのか」「何が難しいのか」「何をすべきなのか」といったことを述べます。これは、当たり前すぎて逆に陽に語られることが少ない (とわたしは感じています) トピックで、一度しっかり言語化しておいてもいいかなと考えたからです。内容のほとんどはわたしの脳内ダンプで、クックパッドという会社のコンテキストや組織としてのステージが前提になっているため、大多数の組織について当てはまる内容とは限りません。 後半では、コスト最適化の一例として、リザーブドインスタンス (以下 RI と略記) を維持管理するためのフローと、それを支えるモニタリング

AWS OrganizationsのSCPでresourceやconditionが指定できるようになりさらに便利になりました AWS Organizationsに待望のアップデートがありました！SCPでresourceやconditionの指定が可能となり、柔軟によりきめ細やかなアクセス制御が可能となりました。 こんにちは。サービスグループの武田です。 AWS Organizationsに待望のアップデートがありました！AWS OrganizationsにはSCP（サービスコントロールポリシー）という機能があり、IAMポリシーと同じ文法で組織内のアカウントに対して一括で制限がかけられます。これまでSCPではresourceやconditionの指定ができず、ある操作に対してオンかオフすることしかできませんでした。今回のアップデートでそれが可能となり、柔軟によりきめ細やかなアクセス制御が可能

ネット上にあるWindowsの環境構築やソフト紹介の記事を見て、まず「クリック」という単語を見ないことはないと思います。 あまつさえエクスプローラー間でのドラッグアンドドロップに設定フォームへの入力をするだなんて……AnsibleやDockerがすでに浸透しきった昨今、果たしてこれ以上に異常かつ原始的なことが他にあるのだろうか? ……と、そんな反語表現をWindowsの環境設定のたびに考えているアナタのための記事になります。 なお内容があまりにも長くなりそうなので、以下の3記事に分割してお伝えする予定です。 総じて、マウスなしでの全環境構築の完遂を究極目標に、Scoopを主体として自動化できるものは自動化し楽をすることに主眼を置いた内容になります。 守章:　Scoopの基礎、簡単なManifestの作成　←　今回はこれ 破章:　バージョン管理と自動アップデート 離章:　Scoopを用いた環

これはG*Advent callender 2017の24日の記事です。 昨日23日の記事は mshimomuさん、明日25日の記事は未定です。 完全に一年ぶりの記事です。みなさん、いかがお過しでしたでしょうか。今年Qiitaとかに書いた記事を別にまとめましたが、わたしはReactを良く書いてた一年でした。 本記事のテーマは以下の2つです。 GrailsのWeb APIサーバのCRUDビューをいかに簡単に作るか RESTfulサーバ/任意のサーバに対する強力なダッシュボード・管理コンソール開発用ReactコンポーネントライブラリであるAdmin-On-Restの紹介、使い方 もくじ もくじ 去年までのあらすじと今年の方針 Admin-On-Restとは何か Admin-On-Restのデモ動画 Admin-On-Restの特記すべき点 REST Clientによるデータソースの抽象化 Ad

ここでいうリビジョン管理とは、JavaScriptファイルやスタイルシートのファイル名に、ハッシュ値などのユニークな値（リビジョン）を付与すること。 そうすることで、ブラウザが古いファイルのキャッシュを利用してしまい変更が反映されない、という事態を回避できる。 手動でファイル名を更新することも可能ではあるが、ビルドの際に自動的に付与されるようにするのが一般的。 ここでは、webpackのv4でリビジョンを付与する方法を書いていく。 この記事で出てくるライブラリについては以下のバージョンで動作確認している。 webpack@4.23.1 webpack[email protected] html-webpack[email protected] css[email protected] mini-css[email protected] clean-webpack[email protected] 出力するファイルにハ

Cockpitはかんたんに使えて、軽量で、マルチサーバーにも対応したウェブベースのLinuxシステム管理ツールです。シェル端末機能もついているため、ウェブブラウザーから直接システムを管理することも可能です。今回はこのCockpitをUbuntuにインストールする方法を紹介します。 Linuxサーバーの「UI」となるCockpit Cockpitをインストールすると次のような処理を、ウエブブラウザーから行えるようになります。 ユーザーアカウント管理 システムの再起動やシャットダウン systemdを使用したサービスの起動・停止・有効化・無効化などの設定 systemdのjournalctlを利用したシステムログの閲覧 udisks2もしくはstoragedを利用したストレージ関連のモニタリング NetworkManagerを利用したネットワーク管理 Performance Co-Pilotで

新機能としてIAMの委譲権限を制限可能なPermissions Boundaryが登場したので試してみました。 にしざわです。ブログというか新機能について触るのも久々な感じですが、大好きなサービスの1つであるIAMサービスに、"Permissions Boundary"という新たな機能が登場したので、試してみたいと思います。ほぼ下記のドキュメントのシナリオ通りなのですが、よりシンプルに説明できるように少し設定を変えながら試した結果をご紹介します。 AWS Developer Forums: Delegate Permission Management to Employees by Using IAM Permissions Boundaries Permissions Boundaries for IAM Identities - AWS Identity and Access Mana

Applies to: Windows Admin Center, Windows Admin Center Preview Windows Admin Center is a remote management tool for Windows Server running anywhere—physical, virtual, on-premises, in Azure, or in a hosted environment—at no extra cost. To find out what's new, see Release history. Download now Download Windows Admin Center from the Microsoft Evaluation Center. For installation help, see Install. For

SREチームの那須です。 3/7に開催されたピクスタさんの 大規模プラットフォームを支えるエンジニアの技術と工夫〜Web現場Meetup #3〜 で登壇させていただきました。そのときにお話ししたgrpc-gatewayを使った管理画面の構築について改めてまとめてみます CrowdWorksのマイクロサービス化の試み CrowdWorksでは現在マイクロサービス化を進めています。 CrowdWorksはモノリシックなアプリケーションです。様々な機能が一つのアプリケーションに同居し、サービスを提供しています。 モノリシックなアプリケーションの問題点としては一つの問題が全体に波及してしまうということがあります。メッセージの機能を改修したところ問題が発生しアプリケーション全体が不安定になるということもありえます。 そこでCrowdWorksでは最初の試みとして、新しく作るサービスをCrowdWor

こんにちは、ももんが大好きの小山です。みなさんいかがお過ごしでしょうか? 今日は、Windows Server の Remote Management (WinRM) を他のサブネットから使えるようにする方法についてご紹介します。 動機 Server Core の Windows Server インスタンスを管理するために用意した作業用インスタンスでサーバーマネージャーに Server Core インスタンスを追加しようとすると、以下のようなメッセージが表示されリフレッシュに失敗します。 これは、Windows Server のファイアウォールが既定のルールでリモート管理に関する通信を同一サブネット (Local Subnet) からしか許可していないために起こる問題です。 ということで、今回はこのルールを PowerShell コマンドレット、MMC スナップインの両方で変更してみたいと