チェックリファレンス

このページでは、利用可能なヘルスチェックの種類について、より詳細なドキュメントを提供します。

ステータスチェック

スケジュールステータス

スケジュールの直近のビルドに成功したか失敗したかをチェックします。

スケジュールステータスチェックは、パイプライン、または常に一緒にビルドされるデータセット群のステータスを表します。そのため、最終的なデータセットの作成または更新に至るさまざまなステップ全体のステータスを示します。

ビルドステータス

データセットの直近のビルドに成功したか失敗したかをチェックします。

ビルドステータスチェックは、最終的なデータセットのビルドに至るプロセス全体のステータスを表します。そのため、この最終的なデータセットの作成または更新に至るさまざまなステップ全体のステータスを示します。プロセス中に更新または作成される中間データセットにもビルドステータスのヘルスチェックがある場合、それらのチェックは更新されません。ただし、これらの中間データセットすべてについて、ジョブステータスは更新されます。

ジョブステータス

データセットに対する直近のジョブ実行に成功したか失敗したかをチェックします。

ジョブステータスチェックは、データセットの更新または作成を行うビルドとは独立してトリガーされます。つまり、対象のデータセットがそのビルドの最終的な出力であるかどうかにかかわらず、そのデータセットのビルドのたびにジョブステータスチェックが実行されます。

ジョブステータスチェック、ビルドステータスチェック、スケジュールステータスチェックの使い分け

一般的に、すべてのスケジュールにスケジュールステータスチェックを設定することを推奨します。スケジュールにすでにスケジュールステータスチェックがある場合、同じスケジュールでビルドされるほかのデータセットにジョブステータスチェックを設定することは推奨しません。スケジュール内のいずれかのジョブが失敗すると、スケジュールステータスチェックがトリガーされるためです。

ビルド内のほかのデータセットの更新に成功したかどうかにかかわらず、中間データセットが更新されたかどうかをチェックする場合は、そのデータセットにジョブステータスチェックを使用します。必要に応じて、データセットがビルドの出力であり、そのデータセットを含むすべてのデータセットとビルド全体が成功したことをチェックする場合は、ビルドステータスチェックを使用します。

データセットがビルドの唯一の出力である場合、ビルドステータスとジョブステータスは同じになります。データセットが中間データセットである場合や、ビルドに複数の出力がある場合、そのデータセットのジョブは成功している（または実行されていない）一方で、ビルド内のほかのジョブが失敗し、ビルドの失敗につながると、両者が異なることがあります。

同期ステータス

データセットから別のデータベースへの直近の同期に成功したか失敗したかをチェックします。

時間チェック

ビルド時間

ビルドの完了にかかる合計時間がしきい値を満たすかどうかをチェックします。

ビルドステータスのチェックと同様に、ビルド時間のチェックはビルドの最終出力に対してのみ更新されます。より大きなビルドの一部であり、ビルド時間のチェックが設定されている中間データセットについては、チェックは更新されません。

データの鮮度

データセットの最新トランザクションの時刻を、タイムスタンプ列の最大値と比較してチェックします。列のタイムスタンプが行の追加時刻を表している場合、このチェックを使用してデータの鮮度を正確に測定できます。

同期時間

同期の完了にかかる合計時間がしきい値を満たすかどうかをチェックします。

同期の鮮度

データセットの最新の同期時刻を、日時列の最大値と比較してチェックします。列のタイムスタンプが行の追加時刻を表している場合、このチェックを使用してデータの鮮度を正確に測定できます。

最終更新からの経過時間

データセットが更新されて（新しいトランザクションが発生して）からの総経過時間が、指定したしきい値の条件を満たすかどうかをチェックします。

同期の最終更新からの経過時間

データセットが宛先に最後に同期されてからの総経過時間が、指定したしきい値の条件を満たすかどうかをチェックします。

サイズチェック

データセットのファイル数

データセットの最新のビューに含まれるファイルの総数をチェックします。

データセットのパーティション

データセットのパーティション分割がパフォーマンス面で適切かどうかをチェックします。

行数

データセット内の行の総数をチェックします。

行数チェックが最後に成功したチェック結果を基準にするよう設定されている場合、前回合格したチェックで記録された行数に基づいて条件を評価し、失敗したチェックの結果は考慮しません。

トランザクションのファイル数

ログファイルを除き、1回のトランザクションでコミットされたファイルの総数をチェックします。

トランザクションのファイルサイズ

ログファイルを除き、1回のトランザクションでコミットされたファイルの合計サイズをチェックします。

内容チェック

列の許容値

列の値が許容値のリストと一致するかをチェックします。

一意な値の割合の近似値

列の値のうち、一意な値の割合をチェックします。この割合は近似値です。そのため、このチェックは列が主キーかどうか（値が100%一意かどうか）をチェックするのには適していません。代わりに主キーチェックを使用してください。

列の正規表現

列の値が特定の正規表現に一致するかをチェックします。

列間の関係の近似値

このチェックでは、2列間の類似度の推定値を割合で示します。完全一致をチェックするには、代わりにデータが満たすべき条件を使用してください。

日付範囲

日付列の値の範囲をチェックします。

Null のパーセンテージ

列内の値のうち、null の値の割合をチェックします。

数値の平均

数値列の平均値がしきい値を満たしているかどうかをチェックします。

数値の中央値

数値列の中央値がしきい値を満たしているかどうかをチェックします。

数値の範囲

数値列の値の範囲をチェックします。

主キー

列の値が100%一意であり、null ではないことをチェックします。

スキーマチェック

列

列の存在とデータ型をチェックします。

列数

データセットの列の総数をチェックします。

スキーマ

データセットのスキーマをチェックし、選択した比較の種類に準拠していることを確認します（利用可能な種類の詳細については、以下を参照してください）。

利用可能なスキーマチェックの種類は次のとおりです。

近似標準偏差

データセットのビルドでは外れ値が生じやすいため、真の標準偏差は使用しません。代わりに、ばらつきの指標としてより頑健な中央絶対偏差（MAD）を使用します。

MAD は、データの中央値からの偏差の絶対値の中央値として定義されます。中央値が X である値 x_1, ..., x_n に対して、これは MAD = median(|x_i - X|) を意味します。

中央絶対偏差に定数を掛けることで、標準偏差を近似できます。

計算式は σ = MAD * 1.4826 です。

詳細については、中央絶対偏差 - Wikipedia ↗ を参照してください。