■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【０】教訓：S3バケットのアクセストラブルの勘所 【１】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

■ はじめに Snowflakeのストレージ統合（Storage Integration）について 予習をする 目次 【１】ストレージ統合（Storage Integration） 【２】利点 【３】基本操作 １）ストレージ統合作成 - CREATE STORAGE INTEGRATION - ２）ストレージ統合確認 - DESC I…

■ はじめ 小ネタ。 よく使うし、今後も使いそうなので、メモ。 目次 【１】対象リソースのみデプロイ 【２】対象リソースのみ削除 【３】複数指定したい場合 【４】使用上の注意 １）URNを引用符「'」で囲った方がいい ２）親子関係があるリソースは親リソー…

■ はじめに * Pythonにまつわる以下の事項について扱う [1] egg / wheel ファイルをGithub Actionsを使って作成する その際に学べたことメモする。 [2] Python の Linter について実装する なお、Pythonを実行させる場合は、以下の関連記事を参照のこと Gith…

■ はじめに Snowflake の generator() ってメソッドで、 テストデータを簡単に作れるって聞いたので調べてみた。 調べてみて generator() だけでなく、 他のメソッドと組み合わせる必要があるので、それらもまとめてみる。 Snowflakeに関して、調べてみたも…

■ はじめに Snowflake の 日時（日付、時刻含む）について 少しづつだが、まとめておく。 目次 【１】日時（日付、時刻含む）のデータ型 【２】現在日時を返す関数 【３】日時（日付、時刻含む）の変換 １）キャスト ２）DATE_FROM_PARTS関数 【４】日時の計…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 の続き。 今回は、ハンズオン的なことをやってみる。 目次 【１】Github Actions の書き方 １）イメージ 【２】Hello world １）手順 ２）動作確認 【３】actions/checkout@vX について…

■ はじめに Azure にファイル転送することになったので、メモ。 また、そもそも Azure (アジュール) が全く分からないので、 そういったことも簡単だが調べてみた。 目次 【１】Azure の ストレージサービス １）Azure Blob Storage ２）Azure Data Lake Sto…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…

■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【１】AWS Service Catalog １）利点 【２】用語整理 １）Product (製品) ２）Portfolio（ポートフォリオ） ３）制約 ４）Provisioned product (プロビジョニングされた製品) 【３】設…

■ はじめに 業務でシングルサインオン（Single Sign-On; SSO）のSAML認証について 扱ったので、メモしておく。 目次 【１】シングルサインオン（SSO） １）認証方式 【２】SAML (Security Assertion Markup Language) 【３】SAML認証方式の構成要素 １）SP（…

■ はじめに Snowflakeのデータ取り込みで、 重複データの調査を依頼されたのでメモ。 目次 【０】お題 補足：単純にそのデータがユニークどうか調べる場合 【１】関連するSQL １）GROUP BY ２）HAVING ３）自己相関サブクエリ ４）DISTINCT 【２】サンプル …

■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【０】Service Catalog の AWS CLI １）使用上の注意 【１】aws servicecatalog provision-product 【２】aws servicecatalog describe-record 【０】Service Catalog の AWS CLI * 以…

■ はじめに AWS CLI実行で少しハマったのでメモ。 【１】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…