評価

評価は、特定のモデルバージョンが所定のテストデータに対してどのような性能を発揮するかを示すメトリクス、画像、プロット、テーブルをまとめたものです。評価は、モデルに関連付けられた評価セットに書き込まれ、モデルページで可視化および比較できます。

モデルのトレーニングコードに評価を組み込む

評価は Code Repositories で作成します。@pm.transforms.evaluation デコレーターは、トランスフォーム内の各 ModelInput に評価セットを関連付けます。これにより、ModelInput は評価の作成と書き込みを行うためのフックを提供します。ビルドに成功すると、評価は自動的に評価セットにコミットされます。ビルドに失敗すると、評価は中止されます。

次のコードスニペットは、Code Repositories での評価の使用例を示しています。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from transforms.api import transform, Input
import palantir_models as pm
from palantir_models.transforms import ModelInput

# デコレーターは、モデル入力への書き込み先となる評価セットを示します。
@pm.transforms.evaluation("error_analysis")
@transform.using(
    input_data=Input("..."),
    model_input=ModelInput("..."),
)
def compute(input_data, model_input):
    evaluation = model_input.create_evaluation(name="my-evaluation")

    # メトリクスを記録します
    evaluation.log_metric("mae", 14250.0)
    evaluation.log_metrics({"mae": 14250.0, "r2": 0.91})

    # 画像、プロット、またはテーブルを記録します
    evaluation.log_image("residual_distribution", pillow_image)
    evaluation.log_plot("residuals_by_tier", fig)
    evaluation.log_table("error_by_price_tier", error_by_tier)

評価の作成と可視化について詳しくはこちら。