注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、Pipeline Builder でのパイプライン管理に関する機能とベストプラクティスの概要を説明します。
Pipeline Builder では、パラメーターとカスタム関数を使用して、パイプライン全体でロジックを再利用できます。パラメーターは、パイプライン内の複数のデータ加工で使用できる値です。カスタム関数には、ロジックを1か所で再利用するためのカスタム式とカスタムデータ加工が含まれます。カスタム式では、任意のパラメーターを持つ単一の式を保存でき、カスタムデータ加工では、一連のデータ加工ボードを単一のデータ加工として保存できます。
Pipeline Builder は、大規模なパイプラインの管理に役立つグループ化機能と最適化機能をサポートしています。
Pipeline Builder では、フォルダーとサブフォルダーを作成してノードをグループ化できます。これにより、ノードを整理し、一部のフォルダー内のノードの表示設定を切り替えて、パイプラインの表示範囲を絞り込めます。
Pipeline Builder では、ノードのカラーグループを使用して同じ色のノードを折りたたみ、グラフを見やすくできます。
ノードの表示と非表示を切り替えることで、グラフの一部分に集中できます。対象のノードを手動で選択することも、色によるグループ化に基づいて表示と非表示を切り替えることもできます。
Pipeline Builder のジョブのグループ化では、出力をジョブに分割する方法と、各ジョブのコンピューティングプロファイルを制御できます。サイドパネルには、グループ化されていない単独のジョブ専用のセクションが表示されるため、グループ化された出力とグループ化されていない出力を簡単に区別できます。
パイプラインを構築する際には、複数の出力で共有されるデータ加工ノードを Checkpoint として指定できます。これらの中間結果は次回のビルド時に1回だけ計算されるため、コンピューティングリソースを節約できます。
プレビューを高速化するには、パイプラインのプロトタイプを作成する際に入力サンプリングを追加して、入力データをダウンサンプリングできます。パイプラインのデプロイ時には、引き続きデータセット全体が処理されます。入力サンプリングの方法にエラーがある場合は、グラフ上のノードバッジとパイプラインのエラーパネルに表示されます。
また、プレビューの動作を設定して、プレビューを自動で実行するか、確認を必要とするかを、エンロールメントレベルとユーザーレベルの両方で制御できます。
パイプラインの構築の高速化、パフォーマンスの向上、パイプラインの整理に関する実践的なガイダンスについては、Pipeline Builder のヒントとコツを参照してください。