チェックの種類

このページでは、ジョブレベルのチェック、ビルドレベルのチェック、スケジュールレベルのチェック、鮮度チェックなど、Data Health で利用可能なチェックの種類について説明します。

ジョブレベルのチェックとスケジュールレベルのチェックの比較

このセクションでは、ジョブの状況、スケジュールのステータス、スケジュールの所要時間のチェックについて説明します。

Foundry におけるジョブとスケジュールの定義は次のとおりです。

• ジョブ： 単一のトランスフォームのロジックによって定義される Spark 計算です。つまり、ジョブは単一のデータセット（複数出力のトランスフォームを使用する場合は複数のデータセット）を生成する単一のトランスフォームです。ジョブは複数のステージに分割されます。
• スケジュール： 対象のデータセットが定義され、定期的に実行されるように設定されたジョブの集合です。スケジュールを使用して、一緒にビルドされるパイプラインの一部を表すことができます。

ジョブとスケジュールが正常に実行されていることを確認するために、次の Data Health チェックを使用します。

• ジョブの状況： このチェックは、チェックが設定されたデータセットが更新されるか、いずれかのビルドの一部として作成されるたびに実行されます。ジョブの状況チェックは、対象のデータセットのビルドに成功すれば、そのデータセットが含まれるビルドが下流で失敗しても成功します。ただし、対象のデータセットより上流でビルドが失敗した場合、対象のデータセットはビルドがキャンセルされたものとして記録され、対象のデータセットのジョブの状況は評価されません。
• スケジュールの所要時間とスケジュールのステータス： これらのチェックでは、すべての中間データセットを含むスケジュールのビルドのステータスを監視できます。チェックに設定されたスケジュールが実行されたときにのみ実行されます。
  • 一般に、すべてのスケジュールにスケジュールのステータスチェックを設定することを推奨します。すでにスケジュールのステータスチェックを設定している場合は、同じスケジュールでビルドされるほかのデータセットにジョブの状況チェックを設定することは推奨しません。そのスケジュールのいずれかのジョブが失敗すると、スケジュールのステータスチェックが反応するためです。

ジョブまたはスケジュールのステータスチェックをいつ、どこに設定するかを判断する際は、適用するヘルスチェックに関するガイドを参照してください。

チェック自体の詳細と補足説明については、チェックリファレンスのスケジュールのステータスとジョブの状況を参照してください。

鮮度チェック

このセクションでは、同期の鮮度、データの鮮度、最終更新からの経過時間のチェックについて説明します。

これら3つのチェックはすべて「鮮度」（データのある側面がどの程度最新であるか）に関するものですが、鮮度を評価する方法はそれぞれ異なります。

• 最終更新からの経過時間：****データセットの鮮度を評価します。このチェックは、最後のトランザクションがコミットされてから現在までに経過した時間を計算します。トランザクションが空であっても計算されます。空のトランザクションでは、データセット内のデータは変更されません。
• データの鮮度： 最後のトランザクションがコミットされた時刻とタイムスタンプ列の最大値の間の経過時間を計算して、データセット内のデータの鮮度を評価します。このチェックは、トランザクションがコミットされたときにのみ実行されます。
• 同期の鮮度： データセットの最新の同期時刻と日時列の最大値の間の経過時間を計算して、同期されたデータセット内のデータの鮮度を評価します。

データの鮮度と同期の鮮度のどちらについても、列のタイムスタンプがソースシステムで行が追加された時刻を表していることが理想的です。

鮮度チェックをいつ、どこに設定するかを判断する際は、適用するヘルスチェックに関するガイドを参照してください。

チェック自体の詳細については、チェックリファレンスの最終更新からの経過時間、データの鮮度、同期の鮮度を参照してください。

ヘルスチェックに失敗したときにビルドを中止できますか？

標準のヘルスチェックの大半は、計算を行うためにジョブの完了を必要とします。データセットがコードリポジトリで作成されている場合は、データが満たすべき条件を使用して、ビルド中に実行されるチェックを定義できます。これにより、エラー時にビルドを中止し、Data Health を使用してチェックを監視できます。