ジョブグループ

Pipeline Builder では、デプロイに成功するたびに1回のビルドが開始されます。デフォルトでは、バッチパイプラインの各出力はそれぞれ独立したジョブとしてビルドされ、それらのジョブは個別に成功または失敗します。ストリーミングパイプラインでは、すべての出力が1つの Flink クラスターで実行される単一のジョブにまとめられるため、すべての出力ストリームがまとめて成功または失敗します。

Pipeline Builder のジョブグループ化を使用すると、バッチパイプラインでは出力を1つのジョブにまとめ、ストリーミングパイプラインでは各出力を独立したジョブに分割できます。また、ジョブグループごとにコンピューティングプロファイルを指定して、出力のビルド方法を細かく制御できます。コンピューティングリソースは、ジョブグループ内のすべての出力で共有されます。

出力を1つのジョブにグループ化すると、出力のロジックを並列で更新したい場合に役立ちます。バッチパイプラインでは、Checkpoint を通じて共有ロジックを効率的に計算するために、出力を同じジョブグループに配置する必要があります。Pipeline Builder の Checkpoint について詳しくはこちらをご覧ください。

出力を小さなグループや単一出力のジョブに分割すると、出力をほかの出力から独立して実行したい場合に役立ちます。ストリーミングパイプラインでは、ジョブグループごとに専用の Flink クラスターが必要になり、計算コストが増加することに留意してください。

ジョブグループを割り当てる

ジョブグループを割り当てるには、Pipeline Builder のグラフで任意の出力ノードを右クリックして、コンテキストメニューを開きます。次に、ジョブグループを割り当てるにカーソルを合わせます。バッチパイプラインでは、デフォルトで各出力が個別のジョブになります。ストリーミングパイプラインでは、デフォルトですべての出力が1つのジョブグループになります。

バッチ表示 | ストリーミング表示 -------- |------------------ |

新規グループを選択すると、出力が新しいジョブグループに割り当てられます。デフォルトを使用を選択すると、出力のジョブグループ化の動作がデフォルトに戻ります。右側にビルド設定パネルが開き、グラフ上で簡単に識別できるように、ジョブグループに色が自動的に割り当てられます。

ビルド設定パネルには、グループ化されていない個別のジョブ専用のセクションが表示され、グループ化された出力とグループ化されていない出力を区別しやすくなります。デフォルトでは、バッチパイプライン内のグループ化されていないすべてのジョブが、このセクションに表示されます。

バッチ表示 | ストリーミング表示 ------ |------------------ |

引き続きほかの出力を編集して、既存または新しいジョブグループに追加します。または、サイドパネルを使用して出力を新しいグループに移動します。

パネルの上部には、デフォルトのコンピューティングプロファイルが表示されます。ジョブグループごとにカスタムプロファイルを追加するには、各グループのヘッダーでプロフィールを追加を選択します。以下の例では、デフォルトのコンピューティングプロファイルは小ですが、グループ1には中のコンピューティングプロファイルが設定されています。

ジョブグループを作成したら、パネルの右上にある適用を選択して、変更を保存します。

これで、パイプラインをデプロイする準備が整いました。

ジョブグループ化とマーキング

Pipeline Builder では、同じジョブグループ内のほかの入力によってマーキングが適用される可能性がある出力に、バッジアイコンが表示されます。この視覚的なインジケーターは差分表示とリベース表示にも表示され、共有ジョブグループ内のほかの入力がマーキングの変更に影響する可能性がある場合に、それを把握するのに役立ちます。

以下の例では、Input_A にはマーキングがあり、Input_B にはマーキングがありません。Output_X と Output_Y は同じジョブグループに属しています。Output_Y は Input_A に直接接続されていませんが、デプロイ時に Input_A のすべてのマーキングを継承します。

Output_Y にマーキングをつけたくない場合は、ジョブグループ化によって継承されるマーキングを事前に削除できます。