■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、AWS 上で、 Apache Airflow（NWAA：Amazon Managed Workflow for Apach Airflow）を 動かした際に、ちらほら抜けている部分が多かったので 基本的なTip集をメモしておく。 目次 【…

■ はじめに MWAA（Amazon Managed Workflow for Apache Airflow） に関して、触れるのでメモ 目次 【１】MWAA（Amazon Managed Workflow for Apache Airflow） １）メリット ２）デメリット ３）サポートバージョン 【２】技術メモ １）DAG の作成 ２）DAG …

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 https://dk521123.hatenablog.com/entry/2021/07/28/234319 で、Airflowを予習していたのだが、すっかり忘れてしまった。 と…

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/13/120956 にあるように、CSVの値を連想配列に詰めて、 マップを作成しようとしたけど、失敗したので、 その解決策について、記しておく。 目次 【１】トラブル 【２】原因 【３】解決案 解決案１…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/18/232556 で、Glue3.0 を扱ったが、その中で、 Apache Arrow (v2.0)を使っているようなので、 どんなものか調べてみた。 目次 【１】Apache Arrow １）公式サイト ２）特徴 ３）サポート言語 【…

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/19/130118 で、AWS Glue2.0 を扱ったが、 2021/08/19に Glue3.0がリリースされたらしいので、 調べてみた。 まずは、ざっくり知りたいなら、以下の公式サイト参照のこと。 https://aws.amazon.com…

■ はじめに Hive と Redshift で カウントなどの集計情報するのに 全く関係ないテーブルを結合したので、 そのことについて、メモっておく。 （もっといい方法があれば、随時、更新していく） 目次 【１】結合方法 方法１：JOINを使った結合 【２】サンプル …

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/23/223401 で触れた「set -- xxxx」について よく分からなかったので調べてみた。 【０】set コマンド 【１】シェルの設定を確認、変更する １）エラーがあった場合、そこで打ち止める 【２】現在…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/11/000000 https://dk521123.hatenablog.com/entry/2021/09/12/000000 https://dk521123.hatenablog.com/entry/2021/09/23/223401 で、パイプラインに関して、少し触れたが、 今回は、掘り下げて…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/23/223401 で触れた「shopt -s lastpipe」について よく分からなかったので調べてみた。 目次 【１】shoptコマンド 【２】構文 【３】主なオプション 【１】shoptコマンド * bashのシェルオプショ…

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/11/000000 の続き。 今回は、連想配列を扱う。 目次 【１】連想配列 - ディクショナリ 【２】構文 １）定義方法 ２）キーが存在しているか確認 【３】サンプル 例１：Hello world 例２：キーの存…

■ はじめに SQL の Window関数 (分析関数) について扱う。 PostgeSQLだけでなく、Redshiftでも使える。 今回は、その中で、 LAG / LEAD に絞る。 なお、ROW_NUMBER / RANK については、 以前やった以下の関連記事を参照のこと。 ROW_NUMBER / RANK + PARTITI…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/08/202004 の続き。 Redshiftは、PostgreSQL互換と言われているが ちょこちょこ異なっていること見つかる今日この頃。 今回は、文字列結合について扱い、 PostgreSQLとの差異についても扱う。 目…

■ はじめに 小ネタ。 Amazon Redshiftを使っていて、 キャストの仕方が色々あるようなので、纏めてみた。 特に、「２）「::」 を使用したキャスト」が知らなかったので、 自戒の意味を込めて、記しておく。 目次 【０】公式サイト 【１】Amazon Redshiftでの…

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/21/000000 の続き。 今回は、split_part について、扱う。 目次 【１】split_part 【２】構文 【３】サンプル 例１：Hello world 例２：S3パスのパース 例３：Emailのパース 【１】split_part * …

■ はじめに ファイルを結合する必要がでてきたので、 catコマンド で簡単にできたので、メモしておく。 目次 【１】catコマンド 【２】使い方 １）閲覧 ２）ファイル結合 ３）空ファイルを作成する 【３】サンプル 例１：ファイル結合 例２：指定フォルダの…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/04/172021 において 「３）インターリーブソートキー（Interleaved SortKey）」 の「デメリット」より ~~~~~~~~~~~ * インターリーブソートキーの性能を維持するためには 定期的に VACUUM REINDEX…

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL と Amazon Redshift との違いに触れたが 「【０】サンプルテーブル」をPostgreSQLで実行したら いくつもエラーになった。 その中で、「distkey(listid)」「compound sor…

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【１】COPYコマンド時にエラー「Forbidden: HTTP…

■ はじめに シェルで、split する必要がでてきたので、メモしておく。 目次 【１】シェルで split するには 【２】サンプル 例１：カンマ区切り 例２：ドット区切り（IPアドレス） 例３：export XXX1=YYY1;export XXX2=YYY2;... 【３】補足：配列の長さを求…

■ はじめに Hiveテーブルデータ を Redshift に移行することをやったので ざっくり方針などをメモ。 目次 【１】Hiveテーブルデータ を Redshift に移行するには １）移行手順案 ２）トラブルについて 【２】サンプル １）HiveのExternal TableでS3上に保存…