データ接続と統合Data Lineageデータセットの理解と管理データセットのビルド

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

データセットをビルドする

Data Lineage のグラフを使って、パイプライン内で最新ではないデータセットを確認し、ビルドヘルパーを使って Data Lineage から直接ビルドを開始できます。

Data Lineage からトリガーされるビルドは、常にグラフで設定されたブランチ(フォールバックブランチを含む)に適用されます。

一般的なビルドワークフローには、次のようなものがあります。

すべての祖先をビルドする

この戦略では、選択したデータセットとすべての祖先データセットをビルドし、選択したデータセットを完全に最新の状態にします。

デフォルトでは、最新ではない祖先のみをビルドしますが、最新のデータセットを強制的に再ビルドすることもできます。強制的な再ビルドは、ビルド時間とリソースの面でコストが高くなる場合があります。

  1. グラフにデータセットを追加するか、保存済みのスナップショットを開きます。
  2. ビルドするデータセットを選択します。
  3. ビルドヘルパーで、すべての祖先データセットを選択し、次へをクリックします。

次へをクリックしても、この時点ではビルドはトリガー_されません_。ビルド対象のデータセットのプレビューが表示されるだけです。対象となるデータセットを変更するには、ビルドプレビューでキャンセルをクリックし、選択したノードを変更します。ビルドプレビュー画面では選択を変更できません。

ビルドヘルパー

  1. 最新のデータセットを強制的に再ビルドする場合は、最新のデータセットで強制 Build をクリックします。
  2. ビルド対象のデータセットのリストを確認した後、Build の実行をクリックしてビルドをトリガーします。

すべての祖先をビルドする

選択したデータセット間のすべてのトランスフォーム

この戦略では、ビルドの対象をパイプラインの一部に限定できます。この戦略の一般的なユースケースとして、新しい生データが定期的にパイプラインに入り、その新しいデータを反映するために特定のデータセットを更新したいものの、最新ではない祖先をすべてビルドしたくない場合があります。その場合は、Data Lineage を使って、対象のデータセットをより最新の状態にするためにビルドが必要なほかのデータセットを特定できます。

  1. 最終的にビルドするデータセットをグラフに追加します。
  2. 生データセット(または任意の上流データセット)をグラフに追加します。
  3. すべてのノードを選択します。
  4. ビルドヘルパーで、選択したデータセット間のすべてのトランスフォーム戦略を選択し、次へをクリックします。

次へをクリックしても、この時点ではビルドはトリガー_されません_。選択したノードに基づいて、ビルド対象のデータセットのプレビューが表示されるだけです。ここで、対象のデータセットを更新するために何をビルドする必要があるかを正確に確認できます。たとえば、1日に1回だけビルドすべき非常に大きな派生データセットがあるなど、_すべて_のデータセットをビルドしたくない場合もあるため、リストの下部にあるすべてをグラフに追加をクリックします。

選択したデータセット

この戦略では、ビルドするデータセットを個別に選択できます。データセット間に依存関係がある場合は、祖先のビルド後に子孫がビルドされるよう、正しい順序でビルドが実行されます。

ビルド対象のデータセットの最終的なリストを確認した後、実行をクリックしてビルドをトリガーします。

ビルドするデータセットを変更する場合は、現在のビルドプレビューでキャンセルをクリックし、選択したノードを変更してから、新しいプレビューを開く必要があります。ビルドプレビュー画面では、ビルド対象の選択を変更できません。