データ接続と統合Pythonインクリメンタルトランスフォームトランザクションの中止

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

トランザクションを中止する

Python トランスフォームは、出力データセットに変更がない場合(データセットに新しいデータが書き込まれない場合)に、トランザクションを中止してジョブを正常に完了できるようにする機能をサポートしています。これには、transform デコレーターを使用し、トランスフォーム内で利用可能な ctx オブジェクトで .abort_job() を呼び出します。

特定の条件下で出力データセットと下流のデータセットが更新されないようにする必要がある場合は、トランザクションを中止できます。出力データセットが更新されるとすぐに、下流のデータセットは最新ではない状態(stale)と見なされ、次回のビルド時(手動またはスケジュールされたビルド)に更新されます。トランザクションの中止は、ビルドを失敗させる代わりに利用できます。これにより、実際に何かが失敗しているときを識別しやすくなります。

中止されたトランザクションは、データセットのトランザクション履歴に、グレー表示の成功したジョブとして表示されます。これにより、成功したビルドでトランザクションがコミットされたかどうかを一目で区別できます。

コミットされたトランザクションと中止されたトランザクションの比較。

トランザクションの中止が適している場合の例を以下に示します。

  • 入力データセットの内容に基づいて、データセットを更新するためのカスタム条件を設定している場合。
  • データセットが最新ではない状態にならないため、強制ビルドが必要な場合。たとえば、入力データセットではなく、API 呼び出しでデータを取得するデータセットが該当します。
  • スケジュールに従って実行されるたびに必ず更新されるライトバックデータセットがある場合(詳細な例は後述)。

常に更新されるものの、出力が必ずしも変化するわけではないデータセットに abort_job() による検証を追加すると、下流での不要な更新を回避してコンピューティングリソースを節約できます。

例:カスタム条件の想定例

以下は、入力データセットに当日のデータが到着した場合にのみ出力データセットを更新する、基本的な想定例です。

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 from transforms.api import transform, Input, Output from datetime import date import polars as pl @transform.using( holiday_trips=Input('/examples/trips'), processed=Output('/examples/trips_processed') ) def update_daily_trips(ctx, holiday_trips, processed): holiday_trips_df = holiday_trips.polars() todays_trips_df = holiday_trips_df.filter( pl.col("trip_date") == date.today() ) if (todays_trips_df.height == 0): ctx.abort_job() else: processed.write_table(todays_trips_df)
Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 from transforms.api import transform, Input, Output from datetime import date @transform.using( holiday_trips=Input('/examples/trips'), processed=Output('/examples/trips_processed') ) def update_daily_trips(ctx, holiday_trips, processed): conn = ctx.duckdb().conn todays_trips_df = conn.sql("SELECT * FROM holiday_trips WHERE trip_date = DATE '{}'".format(date.today())).fetchdf() if (todays_trips_df.height == 0): ctx.abort_job() else: processed.write_table(todays_trips_df)
Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 from transforms.api import transform, Input, Output from datetime import date @transform.using( holiday_trips=Input('/examples/trips'), processed=Output('/examples/trips_processed') ) def update_daily_trips(ctx, holiday_trips, processed): holiday_trips_df = holiday_trips.pandas() todays_trips_df = holiday_trips_df[holiday_trips_df['trip_date'] == date.today()] if (todays_trips_df.shape[0] == 0): ctx.abort_job() else: processed.write_table(todays_trips_df)
Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 from transforms.api import transform, Input, Output from datetime import date @transform.spark.using( holiday_trips=Input('/examples/trips'), processed=Output('/examples/trips_processed') ) def update_daily_trips(ctx, holiday_trips, processed): holiday_trips_df = holiday_trips.dataframe() todays_trips_df = holiday_trips_df.filter(holiday_trips_df.trip_date == date.today()) if (todays_trips_df.count() == 0): ctx.abort_job() else: processed.write_dataframe(todays_trips_df)
通常、1行を確認する方がすべての行を数えるよりも高速です

if (len(todays_trips_df.head(1)) == 0) は、すべての行を不必要に数えるのではなく、1行以上存在するかどうかだけを確認するため、通常は if (todays_trips_df.count() == 0) よりも高速に結果を返します。

中止されたトランザクションと無視されたジョブはどのように異なりますか?

ジョブが「無視」に指定されている場合、Foundry が出力データセットを最新ではない状態ではないと判断しているため、計算は実行されません。トランザクションが中止された場合、ジョブは実行され、正常に完了しますが、出力データセットは変更されず、トランザクションもコミットされません。

トランザクションの中止とジョブの無視の比較

中止されたトランザクションとインクリメンタルトランザクションはどのように関係しますか?

インクリメンタル(差分処理)トランスフォームは、コミットされたトランザクションのみを使用して、入力と出力の両方のデータセットビューを読み取ります。つまり、インクリメンタル計算を実行する際、中止されたトランザクションは無視されます。

インクリメンタルトランスフォームのジョブ全体でトランザクションが明示的に中止された場合、次回のビルドでは、中止されたトランザクションが発生しなかったものとして入力を読み取る(したがって再処理する)ため、インクリメンタルに実行できます。

個々の出力を中止するとインクリメンタルビルドが機能しなくなります

PySpark を使用する場合、ジョブ全体ではなく、個々のデータセットで abort() を呼び出すことができます。ただし、この方法はインクリメンタル計算で問題を引き起こす可能性があるため、推奨されません。

特に、出力の一部でのみトランザクションが中止された場合、ビルドはインクリメンタルに実行できなくなります。トランザクションが中止された出力では、中止されたトランザクションが無視されるため、出力の JobSpec は以前の入力トランザクション範囲を使用します。トランザクションがコミットされた出力では、出力の JobSpec は現在の入力トランザクション範囲を使用します。この入力トランザクション範囲の不一致により、トランスフォームはインクリメンタルに実行できなくなります。

複数の出力を持つインクリメンタルトランスフォームで、出力の一部のトランザクションが明示的に中止された場合、次回のビルドはスナップショットとして実行され、インクリメンタル計算のチェックは Provenance records for the previous build are inconsistent で失敗します。require_incremental=True が設定されている場合、ビルドは InconsistentProvenanceRecords エラーで失敗します。これは、出力の現在のビューが、異なる入力トランザクションによって生成された状態になるためです。

インクリメンタルビルドを実行する場合は、個々の出力を中止するのではなく、TransformContext の .abort_job() メソッドを使用してジョブ全体を中止してください。これにより、ビルドの_すべて_の出力が中止されます。v2_semantics を使用する場合、後続のビルドをインクリメンタルに実行できる状態を保ちながら出力を中止する方法は、これだけです。