Pipeline Builder のサブグラフ

Pipeline Builder のサブグラフ機能を使うと、1個以上のデータ加工を再利用可能なブロックにまとめられます。そのブロックは、毎回ロジックを作り直すことなく、パイプライン内のどこにでも適用できます。サブグラフには次のような利点があります。

• ロジックの再利用： 複雑なロジックをまとめて、複数のパイプラインやブランチに適用できます。
• 重複の削減： サブグラフを1回更新すると、そのすべてのインスタンスに変更が反映されます。
• パイプラインの簡素化： 長く連なるノードを1個のサブグラフノードに置き換えることで、グラフが読みやすくなり、保守しやすくなります。

このガイドでは、次の方法を説明します。

• 新しいサブグラフをゼロから作成する
• パイプラインにサブグラフを追加する
• 既存のノードからサブグラフを作成する
• 複数入力のサブグラフを追加する

新しいサブグラフをゼロから作成する

再利用可能なサブグラフは、変数・関数メニューから作成および管理します。

1. Pipeline Builder で、サブグラフを定義するパイプラインを開きます。

2. グラフの上部で変数・関数を選択し、次にサブグラフを選択します。

   

3. サブグラフウィンドウで、カスタムサブグラフを追加を選択します。

   

サブグラフの入力を設定する

新しい空のサブグラフが開きます。

1. キャンバスの中央で入力を追加を選択します。

   

2. 入力ノードが表示されます。その下にある編集を選択します。

   

3. 右側のペインで、この入力の必須列を設定します。列を手動で追加することも、既存のデータセットからスキーマをコピーすることもできます。

   • 列を手動で追加するには、列を追加を選択して列名を入力します。
   • 既存のデータセットからスキーマをコピーするには、データセットからを選択します。

   

データセットからを選択した場合は、使用するスキーマを持つデータセットを選び、選択で確定します。これにより、入力ノードは選択したデータセットの列を必要とするようになります。

サブグラフのロジックを構築する

入力を定義したら、ほかのパイプラインと同じようにサブグラフを構築できます。

1. 入力ノードのノードメニューから、データ加工、分割、結合、その他のロジックを追加します。
2. データ加工の経路の最後に出力ノードを作成します。
3. 期待される出力列がすべて、出力ノードのスキーマで正しく定義されていることを確認してください。

完了したら、右上のサブグラフのすべての変更を適用を選択します。サブグラフに分かりやすい名前を付けます。この例では、サブグラフの名前を Manually created subgraph としています。閉じるを選択してサブグラフエディターを終了します。これで、サブグラフを再利用可能なブロックとして利用できます。

パイプラインにサブグラフを追加する

出力がサブグラフの入力スキーマと一致するノードであれば、その後にサブグラフを追加できます。次の2か所から操作を開始できます。

• ツールバーからサブグラフをテーブルに適用を選択します。

• ノードメニューからサブグラフを選択します。

サブグラフを選択してマッピングする

1. サブグラフの開始位置となるパイプラインノードを選択します。

2. サブグラフをテーブルに適用を選択するか、ノードメニューからサブグラフを選択します。

3. 表示されたバナーで、サブグラフを選択ドロップダウンを開き、サブグラフを選択します。

   

4. サブグラフの入力を、グラフで選択したノードにマッピングします。そのノードから操作を開始した場合、Pipeline Builder が自動的にマッピングします。編集開始を選択します。

確認して適用する

サブグラフの設定パネルが開きます。

• インプットには、選択したノードがサブグラフにどのように入力されるかが表示されます。
• サブグラフに設定が必要なパラメーターがない場合、設定は空になります。

出力タブで結果のスキーマを確認し、適用、閉じるの順に選択します。

既存のノードからサブグラフを作成する

再利用したい一連のノードがすでにある場合は、それらのノードを直接サブグラフに変換することも、すでに作成したサブグラフに置き換えることもできます。

まとめるノードを選択する

1. メインパイプラインで、まとめるノードを選択します。たとえば、結合、並べ替え、集計という一連のノードを選択します。
2. 選択したノードを右クリックし、サブグラフを選択します。
3. ノードを新しいサブグラフにまとめるには、サブグラフを作成を選択します。選択したノードを既存のサブグラフに置き換えるには、サブグラフで置き換えを選択します。

新しいサブグラフエディターが開き、選択したノードに加えて、スキーマが設定された入力ノードと出力ノードが自動的に作成されて表示されます。

サブグラフが有効で、スキーマエラーが表示されていなければ、サブグラフのすべての変更を適用を選択します。

複数入力のサブグラフを追加する

サブグラフに複数の入力がある場合、適用時に入力をそれぞれ個別にマッピングします。

1. メイングラフで、サブグラフの各入力に対応する開始ノードを選択します。
2. ツールバーからサブグラフをテーブルに適用を選択するか、ノードメニューからサブグラフを選択します。
3. ドロップダウンメニューからサブグラフを選択します。
4. 入力をマッピングセクションで、サブグラフの各入力をグラフ上のノードにマッピングします。たとえば、Student を名前変更のデータ加工に、Class をデータ型変換のデータ加工にマッピングします。編集開始を選択します。

サブグラフの設定ウィンドウが開き、マッピングされた入力と出力のプレビューが表示されます。出力が正しく表示されていることを確認し、適用、閉じるの順に選択します。

メインキャンバスに戻ると、サブグラフが1個のノードとして表示され、プレビューパネルには class_id や avg_score などの出力スキーマが表示されます。

その後、接続されているノードの接続先を変更してサブグラフの出力を使用し、ほかの場所にある重複したロジックを、同じサブグラフの追加インスタンスに置き換えることができます。