■ はじめに Airflow で、Task 間で値を受け渡す際に必要な XComs について 多く触れることになりそうなので、メモっておく 目次 【１】XComs 【２】関連するAPI １）xcom_push ２）xcom_pull 【３】サンプル 例１：Airflow v1 例２：Airflow v2 【１】XComs …

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/04/230703 で、S3 Sensorを取り扱ったが Apache Airflow の Sensor (センサ) 自体を扱うことになったので メモる。 目次 【１】Sensor 【２】主なSensor １）ExternalTaskSensor ２）FileSensor …

■ はじめに Scalaで高階関数（こうかいかんすう）を知る機会があったが Pythonでもfunctoolsモジュールで扱えるとのことなので メモってみた。 目次 【１】高階関数 (Higher-Order Functions) 【２】functools 【３】cache １）@cache ２）@cached_property …

■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【１】MWAA Local で AWSに繋げるようにするには Case１：docker/config/.env.localrunner に追…

■ はじめに Python で Snowflake の 非同期クエリを実行することになったので これを機にPython用Snowflakeコネクタを学んでみる 目次 【１】Python用Snowflakeコネクタ 【２】環境設定 【３】同期クエリ実行 １）サンプル ２）関連するAPI 【４】非同期クエ…

■ はじめに 小ネタ。 Apache KafkaでDB/Schemaを切り替える方法についてメモ。 【１】KafkaでDB/Schemaを切り替えるには * Topic を [DB].[Schema].[Table] のようにする 【２】影響する点 １）Kafkaの設定 topics # topics=db_name # 修正前 # topics=[DB].…

■ はじめに bashによる文字列置換をメモ。 【１】bashによる文字列置換 パースには、 以下の関連記事で扱った sedコマンドなど ではない方法「bashによる文字列置換」を使っている awkコマンド https://dk521123.hatenablog.com/entry/2019/11/22/223043 sed…

■ はじめに https://dk521123.hatenablog.com/entry/2023/10/22/220717 でKafka / Kafka connect を設定したので 簡易的に、kafka-python を使って、Hello worldをやってみる 目次 【１】前提条件 【２】環境設定 【３】ドキュメント 【４】サンプル 例１：P…

■ はじめに 小ネタ（本当にメモ）。 Kafka の リモートデバッグについて触れたので、メモ。 【１】環境変数 https://github.com/ppatierno/kafka-connect-amqp/blob/master/README.md#debugging export KAFKA_DEBUG=y export DEBUG_SUSPEND_FLAG=y https://g…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、Kafkaの環境構築を行い https://dk521123.hatenablog.com/entry/2023/08/11/220921 で、Kafka Connectの環境構築をDocke…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 からの分冊。 文字列操作について、メモ。 目次 【１】置換 / 除去 １）replace ２）removeprefix / removesuffix (From Python3.9) 【２】分割 １）split ２）rsplit 【３】連結 １）j…

■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【０】今回の教訓 【１】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【２】エラー「SQLException: No suitable driver found for ...」…

■ はじめに 業務で、kafka-consumer-groups.sh を使ったので Consumer や Consumer Group について、 徐々にではあるがまとめてみる 目次 【１】Consumer (Subscriber) 【２】Consumer Group 【３】Kafka Command-Line Interface (CLI) Tools １）kafka-cons…

■ はじめに https://dk521123.hatenablog.com/entry/2015/01/26/000000 で、Antにてpatch を当てることを大昔にやったが Linuxコマンドでやることになったので、メモっておく 目次 【１】diffコマンド：差分ファイル作成方法 １）オプション 【２】patchコマ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/01/24/000000 で述べた通り、Scala には、 break / continue が基本使用しない。 そこでどうするかを纏める 目次 【１】break / continue の代替案 １）break の代替案 ２）continue の代替案 【２】…

■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2020/07/15/162459 の続き。 Lake Formation + Athena のデータアクセス調査の一環で AWA Athena （アテナ）に関連するAWS CLI を使ったので メ…

■ はじめに ScalaのモジュールをJARファイル化して JAVAしか入っていない環境で実行するってことをやっていて 意外と手間取ったので、メモ。 目次 【１】前提条件 １）sbt 含む Scala 環境 ２）sbtプラグイン「sbt-assembly」 【２】JAR作成 １）作成コマン…

■ はじめに 今回は、Scala で乱数やランダム文字列についてまとめてみる 目次 【１】UUID 例１：java.util.UUID 【２】乱数 例１：scala.util.Random 【１】UUID 例１：java.util.UUID * JavaのUUIDを使う => 結局、これが一番めんどくない => 以下の関連記…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/03/000000 で、Scala の メソッド について扱ったが 今回は、Scala の 関数 について扱う。 目次 【１】関数 (Function) 【２】用語整理 １）無名関数 / 匿名関数 / 関数リテラル (Function liter…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/16/012034 https://dk521123.hatenablog.com/entry/2023/04/04/000733 の続き。 今回は、Scala で TOMLファイルの扱いについてまとめる TOML https://dk521123.hatenablog.com/entry/2023/04/25/1…

■ はじめに クラス図を書くためにUMLetを使い始めたのでメモ 目次 【１】UML Sequence Diagram Online Tool 【２】UMLet 【３】Draw.io 【４】Miro 【１】UML Sequence Diagram Online Tool * 以下のサイトにアクセスするとシーケンス図を作成できる https:/…

■ はじめに Scala の 例外処理について扱う。 基本、Javaに近いが、Scala特有の機能もある。 なお、Option / Either については、以下の関連記事を参照のこと Scala ～ 基本編 / Option型 ～ https://dk521123.hatenablog.com/entry/2023/03/09/000000 Scala…

■ はじめに https://dk521123.hatenablog.com/entry/2023/10/03/212007 の続き。 Flinkによる Lake Formationとの接続を ChatGPT でサンプルコード出してもらったら（） 目次 【１】Table API & SQL １）Table API ２）SQL ３）Catalogs 【２】準備 - 依存ラ…

■ はじめに Flinkによる Lake Formationとの接続を調べる際に DataStream API が候補に挙がったので調べてみた 目次 【１】DataStream API １）公式ドキュメント ２）一般サイト 【２】準備 - 依存ライブラリ - １）sbt 【３】サンプル 例１：Hello World 【…

■ はじめに WSL + Python 時でのトラブルについてまとめた 【１】エラー「bad interpreter」が表示 pip install しようとした際にエラー「bad interpreter」 １）エラー内容 bash: /mnt/c/Users/user/.pyenv/pyenv-win/shims/pip: /bin/sh^M: bad interprete…