■ はじめに https://dk521123.hatenablog.com/entry/2023/07/30/174239 の続き。 Apache Kafka の Web UI である kafka-ui ってのも学んだので メモしておく。 目次 【１】Kafdrop 【２】できること 【３】サンプル １）動作確認 【１】Kafdrop * Kafka 用の…

■ はじめに Apache Kafka の Web UI である Kafdrop を学んだので メモしておく。 目次 【０】KafkaのWeb UI 【１】Kafdrop 【２】できること 【３】サンプル １）動作確認 【４】おまけ：Kafka Topics UI １）サンプル ２）動作確認 【０】KafkaのWeb UI [1…

■ はじめに 最近、EMRに対して悪戦苦闘していて 開き直って、チュートリアルを行ったら 少し道が開いた感じになったので、 EMRのチュートリアルに関する有用性も含めてメモる。 目次 【１】EMRのチュートリアルの有用性 １）ハマりポイントの回避 【２】チュ…

■ はじめに Apache Flink をやっているのだが、 ほとんど情報がない。 ましてや、ちょっとハードルをあげる、 例えば、Flinkで処理したデータをDBに入れる ってなると、ほぼほぼ皆無な状況。 そこで、今回は、そんな試行錯誤した Apache Flink + PostgreSQL …

■ はじめに 久しぶりに、業務で https://dk521123.hatenablog.com/entry/2022/06/29/221037 でやったSnowflake の ストレージ統合 を使って、 アンロードをやったのだが、結構、ハマったので メモっておく なお、ハマった箇所の一部としては、以下の ステッ…

■ はじめに ファイル内容を操作するコマンドを書き溜めていく 目次 【１】sort 【２】uniq 【３】何もしない組み込みコマンド「:」でファイルを空にする 【１】sort * 並び替え https://atmarkit.itmedia.co.jp/ait/articles/1611/09/news020.html オプショ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/03/000000 で、ICMPを行ったが、今回は、 ICMPメッセージを利用した利用価値の高いコマンド tracert / traceroute コマンド について扱う 目次 【１】traceroute . tracert 【２】追跡の仕組み 【…

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/13/155755 の続き。 Amazon EMR の IAM Role周りについて 学んだので、徐々にメモっておく。 （インフラ超大変、、、） 目次 【０】EMRで関連するロール種類 【１】Service-linkedロール １）作成…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/01/235100 https://dk521123.hatenablog.com/entry/2023/05/29/000000 の続き。 今回は、Apache Flink の ベースとなるAPIやサンプルをまとめる。 目次 【１】Flink ソース外観 １）外観 【２】主…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/24/153846 において、Docker compose で Kafka の開発環境構築を行ったが どうせなら、Topic 作成とか環境の初期処理を行えるようにしたいので 調べてみた。 目次 【１】Docker compose で Kafka…

■ はじめに 小ネタ。 以下「やりたいこと」をしたいので、 Dockerfile / Docker Compose でシェルを実行する方法を調べてみた やりたいこと * DB構築後、マスタデータを入れる * Kafka構築後、Topicなどを作成する => Kafkaについては、以下の関連記事を参照…

■ はじめに Docker compose で ローカル開発環境用のPostgreSQLを立ち上げる Web UI が欲しい場合は、以下の関連記事を参照のこと Docker compose ～ Pgweb/pgAdmin ～ https://dk521123.hatenablog.com/entry/2023/08/10/111919 目次 【１】環境確認 １）コ…

■ はじめに 前々からやろうと思っていたPythonのPDF化について 纏めてみる。 （半自動的にドキュメントを作れるようにしておくために） 目次 【１】PythonでのPDF化 【２】インストール 【３】API仕様 １）cell ２）image 【４】サンプル 例１：Hello World …

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 の続き。 仕事で「DOT言語の環境設定に関して情報展開してほしい」と言われて 展開しようと思ったが、意外と全然まとまってなかったので 今回、整理して、まとめておく。 目次 【１】Gr…

■ はじめに 小ネタ。 Docker をTry＆Errorで使っていくと、 ゴミが溜まってえらいことになってきたので、 クリーンアップ方法を調べてみた。 目次 【１】docker prune 【２】オプションコマンド １）-a, --all ２）--filter ３）-f, --force 【３】コマンド …

■ はじめに EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく 目次 【１】AWS環境でFlinkを実行するには 【２】ドキュメント 【３】バージョンの関連性 【４】ログの場所 【１】AWS環境でFlinkを実行するには * AWS環境でFlinkを実行する際…

■ はじめに Airflow から EMR を立ち上げる方法についてメモる。 目次 【０】EMR種類 【１】EMR Serverless 【２】EMR 【０】EMR種類 * EMR には、以下の種類があり、使用するOperatorも変わる １）EMR Serverless ２）EMR (on EC2) など # 他にも「Amazon E…

■ はじめに 小ネタ。 Snowflake の SEQUENCE について扱う 目次 【１】SEQUENCE 【２】SQL文 １）CREATE 文 ２）SHOW 文 ３）ALTER 文 ４）DROP文 【３】Tips １）バックアップ＆所有権付与 【４】使用上の注意 １）シーケンス作成後、初期値変更不可 ２）連…

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【１】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…

■ はじめに Python の 画像処理ライブラリである Pillow について 徐々にまとめていく。 目次 【１】Pillow 【２】インストール １）トラブル 【１】Pillow * Python の 画像処理ライブラリ cf. Pillow (ピロー) = まくら？ 【２】インストール pip install …

■ はじめに 久しぶりのGlueネタ。 https://dk521123.hatenablog.com/entry/2022/12/03/000119 で、Glue のパフォーマンスチューニングに関して書いたが 更に、AWS Black Belt Online Seminarで学ぶべきことが多かったので 徐々にメモしておく 目次 【１】AWS…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/19/232949 で、非同期処理について扱ったが、 今回は、非同期処理の基本、マルチスレッドを扱う。 後、現場で、GIL(Global Interpretation Lock)がでてきたので とりあえず、メモる。 目次 【１】…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/15/225515 で、Snowpipe を扱ったが、 今回は、Snowpipe Streaming について、徐々にメモっていく 目次 【１】Snowpipe Streaming １）Snowpipe との比較表 【２】必要最小バージョン 【３】構成…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Kafkaの有用性を述べたが 仕事で、ストリーミング処理のメリデメなどを 纏めることになった。 そこで、ストリーミング処理と対比される処理として バッチ処理と比較して、その優位…

■ はじめに 久しぶりに、AirflowのDAGを作成することになったのだが 大分時間が経ってしまったので、ほとんど覚えておらず。。。 なので、今回は、そんなダメな自分への備忘録として DAGを作成することに特化したものを作る。 完全なリハビリ（復習）みたい…