■ はじめに https://dk521123.hatenablog.com/entry/2024/05/09/144826 で、Confluent の REST API を試したいのだが、 まだ開発環境が用意できない状況だったのだが 調査する過程で、どうやらDockerでローカル上で 簡単に試せそうだったので、実際にやって…

■ はじめに Confluent の Kafka を使うことになり TopicのREST API で作ることになりそうなので 調べてみた 目次 【１】Confluent の REST API １）REST Proxy API のバージョン 【２】発生するエラー一覧 【３】Kafka cluster １）Kafka cluster一覧表示 ２…

■ はじめに Apache Kafka ～ 環境構築 / Windows編 ～ https://dk521123.hatenablog.com/entry/2023/04/23/235534 のLinux版。 目次 【１】構築手順 - 通常版 ０）前提条件 １）Kafka のインストール 【２】モジュール起動 １）zookeeper起動 ２）Kafka brok…

■ はじめに 小ネタ。 Apache KafkaでDB/Schemaを切り替える方法についてメモ。 【１】KafkaでDB/Schemaを切り替えるには * Topic を [DB].[Schema].[Table] のようにする 【２】影響する点 １）Kafkaの設定 topics # topics=db_name # 修正前 # topics=[DB].…

■ はじめに https://dk521123.hatenablog.com/entry/2023/10/22/220717 でKafka / Kafka connect を設定したので 簡易的に、kafka-python を使って、Hello worldをやってみる 目次 【１】前提条件 【２】環境設定 【３】ドキュメント 【４】サンプル 例１：P…

■ はじめに 小ネタ（本当にメモ）。 Kafka の リモートデバッグについて触れたので、メモ。 【１】環境変数 https://github.com/ppatierno/kafka-connect-amqp/blob/master/README.md#debugging export KAFKA_DEBUG=y export DEBUG_SUSPEND_FLAG=y https://g…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、Kafkaの環境構築を行い https://dk521123.hatenablog.com/entry/2023/08/11/220921 で、Kafka Connectの環境構築をDocke…

■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【０】今回の教訓 【１】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【２】エラー「SQLException: No suitable driver found for ...」…

■ はじめに 業務で、kafka-consumer-groups.sh を使ったので Consumer や Consumer Group について、 徐々にではあるがまとめてみる 目次 【１】Consumer (Subscriber) 【２】Consumer Group 【３】Kafka Command-Line Interface (CLI) Tools １）kafka-cons…

■ はじめに 小ネタ。 現在、ローカル環境で、Flink/Kafka connect/PostgreSQLの Hello worldを行っているのだが、その際のデバッグ方法が分かったので 一旦メモしておく 【１】デバッグ方法 # 以下のREST APIを呼び出す $ curl -s http://localhost:8083/con…

■ はじめに ローカル環境に、Dockerで Flink -> Kafka/Kafka Connect -> PostgreSQL の環境一式作るのを、コツコツやってきたのだが やっとできた、、、 あと、ついでに、開発用なんで KafkaとPostgreSQLのWeb UIも導入している 目次 【０】Github 【１】サ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/07/30/174239 の続き。 Apache Kafka の Web UI である kafka-ui ってのも学んだので メモしておく。 目次 【１】Kafdrop 【２】できること 【３】サンプル １）動作確認 【１】Kafdrop * Kafka 用の…

■ はじめに Apache Kafka の Web UI である Kafdrop を学んだので メモしておく。 目次 【０】KafkaのWeb UI 【１】Kafdrop 【２】できること 【３】サンプル １）動作確認 【４】おまけ：Kafka Topics UI １）サンプル ２）動作確認 【０】KafkaのWeb UI [1…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/24/153846 において、Docker compose で Kafka の開発環境構築を行ったが どうせなら、Topic 作成とか環境の初期処理を行えるようにしたいので 調べてみた。 目次 【１】Docker compose で Kafka…

■ はじめに 業務で、 Kafka用Snowflakeコネクタ を試すことになったのでメモ。 徐々に書き足していく、、、 目次 【１】Kafkaコネクタ 【２】仕様 【３】設定 １）Kafkaコネクタの種類 ２）設定手順 【４】Kafka構成ファイル １）構成ファイル例 ２）Kafka構…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 https://dk521123.hatenablog.com/entry/2023/05/25/000000 の続き。 今回は、AWS MSK Connect の 設定部分、特に、機密に関わるDBなどの接続情報を Secret Manager から取得することを…

■ はじめに Amazon MSK Connect （Amazon Managed Streaming for Apache Kafka） の REST API について、調べていたのだが、 結局は、AWS CLIの方がいいといったこともあるので、そこらへんをメモ。 目次 【１】Amazon MSK の AWS CLI １）MSK ２）MSK Conne…

■ はじめに 今日ってゆーかー昨日、 Kafka Connect の Connector 構成プロパティの指定がミスってて 2～3日ハマって迷惑かけたので、メモ。 目次 【１】接続 １）connection.url ２）connection.user ３）connection.password ４）connection.attempts ５）d…

■ はじめに Kafka Connect で 期待した通りのパフォーマンスがでないので どう調査するのだろうって調べてた過程で、Rest API を見つけたので メモしておく。 目次 【１】Kafka connect の Rest API 一覧 １）おさらい：curlコマンド 【２】コネクタ １）コ…

■ はじめに AWS MSK（Amazon Managed Streaming for Apache Kafka） を使ったシステムのパフォーマンステストを行っているが てんでダメダメだった。 そこで、Kafkaに関するパフォーマンスに関わるプロパティなどを 調べてみたので、徐々にメモ。 （物凄い種…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 から分冊。 今回は、AWS MSK Connect をTerraform で作成する MSK = Managed Streaming for apache Kafka Amazon MSK ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2023/04/21/…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/05/14/122215 で、AWS環境に Amazon MSK（Managed Streaming for apache Kafka）の Cluster および Connector を構築することが…

■ はじめに https://dk521123.hatenablog.com/entry/2024/02/05/153202 https://dk521123.hatenablog.com/entry/2023/04/23/235534 などで使ったKafkaのコマンドについて、徐々にまとめていく 目次 【０】コマンド一覧 【１】Topic １）Topic作成 ２）Topic…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の際に、Apache Kafka を AWS 上で環境構築する際に 「Amazon EKS（KubernetesのマネージドAWSサービス）」をあげたが Kubernetes上でApache Kafka を構築するのに「Strimzi」ってのが …

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/29/185133 の続き。 今回は、Kafka connect + PostgreSQLで試してみる。 目次 【１】今回やること 【２】実行前の下準備 １）JDBCプラグイン設定 ２）zookeeper起動 ３）Kafka broker起動 ４）ト…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 の続き。 今回は、Apache Kafkaの基本となる構成要素などについ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/26/103421 https://dk521123.hatenablog.com/entry/2023/04/27/235703 https://dk521123.hatenablog.com/entry/2023/04/28/014737 の続…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/27/235703 の続き。 前回は、Apache Kafkaへの送信部分（Producer）を実装したので 今回は、Apache Kafkaへの受信部分（Consumer）を Scala で実装してみる 目次 【１】サンプル 補足： build.sbt…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Apache Kafkaについて、取り上げた。 今回は、Apache Kafka…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 の続き。 前回・前々回で、いきなり、Apache Kafka環境を構築したが、 もともとは、仕事で、ストリーミングデータを扱うもの…