■ はじめに dbt の良さとか、何ができるかってのを徐々にだがメモしていく 目次 【１】dbt 【２】サポートデータプラットフォーム 【３】利点 １）環境の切替が容易 ２）シンプルな実装が可能 ３）ドキュメント生成 ４）テストの自動化 【４】動画 【１】dbt…

■ はじめに ER図を作成してほしいって要望があがったので 調べてみたら、以前、業務で使っている方がいたので 調べてみた。 感想としては、Jarを叩くだけなので、簡単に導入できるので 英語に抵抗がなければいいかも。 PostgreSQL/Redshift なら、pg_dump / …

■ はじめに Apache Flink でのロギングを調べていたので そこら辺の周辺の知識を纏めておく 目次 【１】SLF4J 補足：Facade (ファサード) 【２】Hello world １）sbt ２）サンプル 【３】SLF4J + Log4j 2 １）sbt ２）設定ファイル ３）サンプル ４）出力例 …

■ はじめに 仕事でやりたいことが全く手が付けられないので 超個人的なツールの元なるソースをメモ。 https://dk521123.hatenablog.com/entry/2023/06/18/102448 https://dk521123.hatenablog.com/entry/2023/06/14/174104 を組み合わせて、１つのDOTファイ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/10/000000 で、Snowflakeのビューをやったが、 Materialized View (マテリアライズドビュー; マテビュー) が ちょくちょくキーワードとしてでてくるので、この機会に 徐々にまとめていく。 ちなみ…

■ はじめに 現場作業で動画撮影しているのだが その方法について、教えてもらったので、メモ。 環境設定や手順について、動画が纏めて伝えるなど 今後の仕事でも使えそうだし、 YouTubeとかにあげて小遣い稼ぎもできそーだし。 目次 【１】方法１：PowerPoin…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【１】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【２】Windowsで「pip install --upgrade pip wheel s…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 https://dk521123.hatenablog.com/entry/2023/06/16/000531 で、度々登場したDOT言語のPlayground （graphviz-visual-editor） を使ってｍ各DOTの移り変わりをアニメーション化して 表…

■ はじめに 超個人的なツール。 https://dk521123.hatenablog.com/entry/2023/06/18/102448 と組み合わせればアニメーションで動くものになるので。 【１】サンプル フォルダ構成 + dot_viewer_creator.py + delete + 01.txt + 02.txt + 03.txt + add + 01.t…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 の続き。 今回は、DOT言語の使えそうな文法について、 ちょこちょこ書き溜めていく なお、以下のPlayground で触りながらやるのが一番わかりやすい Playground http://magjac.com/graph…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/14/174104 で扱った DOT言語 に関して、ちょこちょこまとめる 目次 【１】学習サイト 【２】構文 １）テンプレート 【３】用語整理 １）Node / Edge ２）GraphViz 【４】サンプル 【１】学習サイ…

■ はじめに 以前のTerraformの記事で https://dk521123.hatenablog.com/entry/2019/12/09/222057 ~~~ terraform graphで、Terraformの依存関係をグラフ化することが可能 terraform graph | dot -Tsvg > graph.svg ~~~ って、Terraformの依存関係をグラフ化し…

■ はじめに Snowflake のコストの見積もりについて分かったことを纏める 目次 【１】見積もり算出ツール 【２】公式ドキュメント 【３】クレジット 【４】コストを決める3要素 １）コンピューティング ２）ストレージ ３）データ転送 【１】見積もり算出ツー…

■ はじめに 小ネタ。 業務で、複雑なSQLを解析するために、 sqlparser-rs を使ってParseして、 そのParse結果をDOT言語化して、 それを、コマンドもしくは、以下の関連記事でやったようなツールで SVG画像化するといったことをやっていた。 そこで、その元と…

■ はじめに Python の 再帰関数について徐々にメモる。 目次 【１】再帰関数 １）基本的な考え方 【２】サンプル 例１：階乗（n!） 【１】再帰関数 １）基本的な考え方 def <再帰関数>(引数, ...): if 抜ける判定: # ★ポイント：ここで無限ループを抜けるよ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/10/193805 で、Windwos で、Scala 開発環境を構築したが Windows/WSL + IntelliJ IDEA + Scala の開発環境を構築しようって 話になったので構築してみる 目次 【１】IntelliJ IDEA １）IntelliJ I…

■ はじめに 小ネタ。 現場で、VimGolf なるものを教えてもらったので調べてみた。 目次 【１】基礎操作を学ぶには １）動画で学ぶ ２）コマンド「vimtutor」 【２】解説サイトなどで学ぶ 【３】VimGolf 【４】VIM Adventure 【１】基礎操作を学ぶには * いき…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/07/144114 で、Kafka用Snowflakeコネクタ について扱ったが 必須で「snowflake.private.key (必須)」って項目があり 以下のような説明だった https://docs.snowflake.com/ja/user-guide/kafka-con…

■ はじめに 業務で、 Kafka用Snowflakeコネクタ を試すことになったのでメモ。 徐々に書き足していく、、、 目次 【１】Kafkaコネクタ 【２】仕様 【３】設定 １）Kafkaコネクタの種類 ２）設定手順 【４】Kafka構成ファイル １）構成ファイル例 ２）Kafka構…

■ はじめに Scala の パターンマッチング が強力って話が業務中にでてきたので 調べて、まとめる 目次 【０】パターンマッチング 【１】定数パターン - 定数でのマッチング 【２】条件束縛パターン - ガード条件（if）でのマッチング 【３】関数として定義 …

■ はじめに 小ネタ。 Terraform の default_tags などでトラブルがあったのでメモ。 目次 【１】tags 【２】default_tags １）モジュールへのタグ設定の継承方法 【３】merge関数 【１】tags * AWS の Tag で利用できる https://registry.terraform.io/provi…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 https://dk521123.hatenablog.com/entry/2023/05/25/000000 の続き。 今回は、AWS MSK Connect の 設定部分、特に、機密に関わるDBなどの接続情報を Secret Manager から取得することを…

■ はじめに Amazon MSK Connect （Amazon Managed Streaming for Apache Kafka） の REST API について、調べていたのだが、 結局は、AWS CLIの方がいいといったこともあるので、そこらへんをメモ。 目次 【１】Amazon MSK の AWS CLI １）MSK ２）MSK Conne…

■ はじめに 今日ってゆーかー昨日、 Kafka Connect の Connector 構成プロパティの指定がミスってて 2～3日ハマって迷惑かけたので、メモ。 目次 【１】接続 １）connection.url ２）connection.user ３）connection.password ４）connection.attempts ５）d…

■ はじめに 小ネタ。 パフォーマンステストする際に、 Rest APIを（できる限り）同時にKickしたい時に 調べていたことをメモ。 目次 【１】シェルでの非同期処理 【２】サンプル 【１】シェルでの非同期処理 * （色々な方法があるみたいだが）実行したい行の…