Google Cloud Platform Japan 公式ブログ

ステップ構成の表示

パイプラインのオプションに加えて、Cloud Dataflow パイプラインのすべてのステップについても詳しい構成情報を表示できます。たとえば、Source の読み取りパスや Sink の書き込み先、ウィンドウのトランスフォーム（変換）タイプ（FixedWindow、SlidingWindow など）などを参照することが可能です。


次の例では、Window.into() トランスフォームが SlidingWindows を 30 分間適用しており、各ウィンドウの表示時間は 5 秒です。

Read ステップをクリックすると、このパイプラインのソースに関する情報が表示されます。

PubsubIO.Read のソースは Google Cloud Pub/Sub のトピックから要素を読み取ります。この Pub/Sub トピックは現在はサイドバーに表示され、パイプラインのソースがどのように構成されたかを特定したり、それらの要素がどこから読み取られているかを把握したりするのに役立ちます。

複合トランスフォームのグラフ ノードを展開すると、そのステップの構成が表示されます。たとえば、BigQueryIO.Write ステップを展開し、ParDo(StreamingWrite) をクリックすると、シンクの書き込み先となる BigQuery テーブルのスキーマが表示されます。

他のソースやシンクの構成パラメータについても表示が可能です。たとえば、テキストや Avro ファイルを読み書きするときは、Google Cloud Storage のファイル パターンが表示されます。

パイプラインのカスタム詳細の表示

display data は、SDK で提供されるトランスフォーム機能に特別に組み込まれているわけではなく、気になる詳細データを表示できる Dataflow Programming Model の一般的な要素です。このモデルでは、アノテーションを使用してトランスフォーム関数に構成パラメータを渡すことで、display data を任意の DoFn、CombineFn、もしくは WindowFn に追加できます。

再び AutoComplete を例に見てみましょう。以下の AllPrefixes は、さまざまな長さのプレフィックスを抽出する ParDo です。

private static class AllPrefixes extends DoFn<CompletionCandidate, KV<String, CompletionCandidate>> { private final int minPrefix; private final int maxPrefix; public AllPrefixes(int minPrefix) { this(minPrefix, Integer.MAX_VALUE); } public AllPrefixes(int minPrefix, int maxPrefix) { this.minPrefix = minPrefix; this.maxPrefix = maxPrefix; } @Override public void processElement(ProcessContext c) { String word = c.element().value; for (int i = minPrefix; i <= Math.min(word.length(), maxPrefix); i++) { c.output(KV.of(word.substring(0, i), c.element())); } } }

この実装にはプレフィックスの最小長と最大長が隠れており、これらは Dataflow Monitoring Interface では表示されません。とはいえ、こうした限界値がわかれば、デバッグにおいて有益です。

populateDisplayData() メソッドで DoFn をオーバーライドすると、最小長と最大長の display data を登録できます。

@Override public void populateDisplayData(DisplayData.Builder builder) { super.populateDisplayData(builder); builder .add(DisplayData.item("MinimumPrefixLength", minPrefix)) .addIfNotDefault(DisplayData.item("MaximumPrefixLength", maxPrefix), Integer.MAX_VALUE); }

populateDisplayData メソッドは新規の HasDisplayData インターフェースで定義されています。このメソッドは、パイプライン作成時に display data を登録する柔軟な DisplayData.Builder インスタンスを渡します。HasDisplayData は、DoFn や CombineFn、さらには PipelineOptions や PTransform のようなユーザー関数タイプに追加されています。

このメソッドの追加後に再びパイプラインを実行すると、Dataflow Monitoring Interface でその display data を見ることができます。

SDK に含まれるトランスフォームは、display data を登録できるように改良されています。そのため、一般的なコンポーネントを使って、目的の詳細データを無料で設定できます。

次の例では、Sliding Windows の構成を登録しています。

@Override public void populateDisplayData(DisplayData.Builder builder) { super.populateDisplayData(builder); builder .add(DisplayData.item("size", size) .withLabel("Window Size")) .add(DisplayData.item("period", period) .withLabel("Window Period")) .add(DisplayData.item("offset", offset) .withLabel("Window Start Offset")); }

ぜひ活用を！

Dataflow ユーザーの皆さんがパイプラインで display data をどのように活用されるのか、それをお聞きすることを私たちは楽しみにしています。ぜひフィードバックをお寄せください。

最後に、display data を利用する方法の大枠をあらためて示します。

1. Google Dataflow SDK 1.6 を使ってパイプラインを作成します。
2. Dataflow Monitoring Interface でパイプラインの display data をチェックします。
3. 関数に display data を追加してみます。詳細は HasDisplayData に関する javadoc を参照してください。