データ接続と統合パイプラインの構築スケジューリング一般的なスケジュール設定

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

一般的なスケジュール設定

一般的なスケジュールの例からはじめましょう。

データセットを定期的にビルドする

この例では、raw_taxi (cleaned) を平日の午前9時に更新し、raw_taxi (cleaned) だけでなく、その上流の依存関係もすべてビルドします。スケジュールを次のように設定します。

image-time-based-full-page

新しいデータが利用可能になったときにデータセットをビルドする

この例では、別のデータセットが更新されるたびにスケジュールを実行します。前のセクションと同じ設定を、1か所だけ変更して使用できます。イベントトリガーを選択し、更新をトリガーするデータセットをグラフ上で選択します。

when-datasets-update

イベントベースのスケジュールの詳細については、イベントトリガーのドキュメントを参照してください。

高度なトリガー設定(複数のトリガー)

image-of-any-trigger-config image-of-or-trigger-config

この例では、Dataset D を毎日午前9時に更新し、さらに、依存先のデータセットである Parent A に変更があったときにも更新します。複合トリガーの組み合わせテーブルによると、時刻ベースのトリガーとイベントベースのトリガーを OR で組み合わせた場合、データセットは時刻 T と、イベント E が発生したときにビルドされます。そのため、ビルドをスケジュールするデータセットを Dataset D に設定し、午前9時の時刻ベースのトリガーと、Parent A のあらゆる更新を監視するイベントベースのトリガーを追加します。この場合、「これらのトリガーのいずれか」を選択する方法と、詳細設定で条件間に OR を追加する方法は同等です。

親が更新された場合に_のみ_、特定の時刻にデータセットを更新する

image-of-all-trigger-config image-of-and-trigger-config

この例では、Dataset D を毎日午前9時に更新しますが、依存先のデータセットである Parent A に変更があった場合に限ります。複合トリガーの組み合わせテーブルによると、時刻ベースのトリガーとイベントベースのトリガーを AND で組み合わせた場合、イベント E がそれ以前に発生していた場合に、時刻 T にデータセットがビルドされます。そのため、ビルドをスケジュールするデータセットを Dataset D に設定し、午前9時の時刻ベースのトリガーと、Parent A のあらゆる更新を監視するイベントベースのトリガーを追加します。この場合、「これらのトリガーのすべて」を選択する方法と、詳細設定で条件間に AND を追加する方法は同等です。

この設定では、Parent A が更新された時間ウィンドウは制限されません。同日の午前8時55分に更新された場合でも、前日の午前9時10分に更新された場合でも、午前9時にイベントベースのトリガーが TRUE と評価され、すべての条件が満たされてスケジュールが実行されます。つまり、Parent A が常に午前9時より後(たとえば、毎日午前9時10分)に更新される場合、Dataset D は毎日午前9時に、23時間50分前の Parent A のデータを使用してビルドされます。