注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
メトリクスセットは、2025年10月31日をもって正式に廃止されたライブラリ foundry_ml を使用する、データセットを元にしたモデル向けに構築されました。新しい実装では、代わりに実験を使用することを推奨します。palantir_models で構築されたモデルのモデルページにはメトリクスセットは表示されませんが、モデルに対してメトリクスセットを書き込み、Modeling Objectives でメトリクスを表示することは引き続き可能です。
メトリクスセットは、名前付きメトリクスのコンテナとして機能します。ここでメトリクスとは、モデルの出力を何らかの形で要約したものと定義します。 サポートされるメトリクスには、数値、グラフ、画像があります。
Python では、メトリクスセットは foundry_ml_metrics パッケージ内の MetricSet クラスを通じて実装されます(環境設定に foundry_ml が必要です)。
すべてのメトリクスは、次のパラメーターを指定して MetricSet.add メソッドで追加できます。
name メトリクス名を表す文字列value 追加するメトリクスの値subset このメトリクスの対象となるデータのサブセットを記述する dict<str, str>stage 特定のステージに関連付けるための Foundry ML モデルのステージまたはステージ UUID。デフォルトは最後のモデルステージです概念を説明するため、空のメトリクスセットを作成する例を以下に示します。
Copied!1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25import foundry_ml_metrics def Metrics(Model, validation_hold_out): # モデルと入力データで MetricSet を初期化します metric_set = foundry_ml_metrics.MetricSet( model = Model, input_data=validation_hold_out ) val_df = validation_hold_out.dataframe() # データセットでモデルを実行して、推論結果を取得します inference_results = Model.transform(val_df) # メトリクスを計算します y_true, y_pred = ... acc = ... f1 = ... # MetricSet にメトリクスを追加します metric_set.add(name='Accuracy', value=acc) metric_set.add(name='F1 Score', value=f1) return metric_set
作成時には、model および input_data パラメーターを MetricSet に渡す必要があります。
メトリクスセットを保存するには、モデルと同じように戻り値として返します。上の例は、Code Workbook から保存する方法を示しています。
Code Repositories のメトリクスセットは、当初データセットを元にしたモデルとして構築されたモデルとの下位互換性のためだけに存在します。新しい実装では使用せず、可能な場合は既存のメトリクスセットを実験に置き換えてください。
palantir_models で構築されたモデルのモデルページにはメトリクスセットは表示されませんが、モデルに対してメトリクスセットを書き込み、Modeling Objectives でメトリクスを表示することは引き続き可能です。
これを行うには、Code Repositories でモデルを作成し、環境に foundry_ml_metrics ライブラリを追加します。メトリクスセットを palantir_models と組み合わせて使用する例を以下に示します。
Copied!1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26import uuid from transforms.api import transform, Input, Output from palantir_models.transforms import ModelInput from foundry_ml_metrics import MetricSet # 環境に foundry_ml_metrics を追加します @transform( evaluation_data_input=Input("path_to_input"), model_input=ModelInput("path_to_model"), metric_set_output=Output("path_to_output"), ) def compute(evaluation_data_input, model_input, metric_set_output): metric_set = MetricSet( # モデルのバージョン識別子の「hash」部分を渡します。たとえば、次の場合は # ri.models.main.model-version.6c0f17a8-ad73-46a4-b86e-8d0a13327ef2, # 6c0f17a8-ad73-46a4-b86e-8d0a13327ef2 のみを渡します。 model=uuid.UUID( # ModelInput クラスの model_version_rid プロパティは、 # palantir_models のバージョンが 0.1602.0 以上の場合にのみ利用可能です。 model_input.model_version_rid.replace("ri.models.main.model-version.", "") ), input_data=evaluation_data_input ) metric_set.add(name='Accuracy', value=0.8) metric_set.add(name='F1', value=0.95) metric_set.save(metric_set_output)
次に、Modeling Objectives の評価設定で、evaluation_data_input データセットを評価データセットとして設定します。すると、Modeling Objectives の評価ビューで、そのデータセットの下にメトリクスが表示されます。
入力データセットは、モデルが適用され、その後メトリクスが計算された特定のバージョンのデータへの明示的な参照です。 これらを手動で追跡することで、モデルの性能の記録と完全な来歴を作成します。この機能は、Modeling Objective で多数のモデルを相互に比較して評価する際に、 それらのモデルが同じデータに対して評価されていることを保証するために必要です。
適切なメタデータを取得するには、入力データセットを Python トランスフォーム入力の種類で MetricSets に渡す必要があります。注:Code Workbook では、インポートされたデータセットに対してのみこれをサポートします。ベストプラクティスに従い、検証はテスト用とトレーニング用への分割を行うワークブックとは別のワークブックで行う必要があります。

数値メトリクスは最も基本的なメトリクスの種類であり、通常、AIP Analyst がモデルの性能について最初に得るインサイトです。
数値メトリクスは単純な Python の int 型または float 型であり、そのままメトリクスセットに追加します。
Copied!1metric_set.add(name='My numeric metric', value=1.5)
グラフは、単純な数値メトリクスだけでは表せないモデルの性能を可視化します。
foundry_ml では、グラフの元となるデータをさまざまな形式で直接保存できます。
データが保存されるため、特に Modeling Objective でのモデル比較をより効果的に行えます。
サポートされるすべてのグラフは、foundry_ml_metrics.charts パッケージの関数によって作成されます。
例を見てみましょう。
Copied!1 2 3 4 5 6 7import foundry_ml_metrics.charts line_chart = foundry_ml_metrics.charts.line(xs=[0.0, 1.0], ys=[1.0, 0.0]) bar_chart = foundry_ml_metrics.charts.bar(xs=["category 1", "category 2"], ys=[0.56, 0.41]) metric_set.add(name='My line chart', value=line_chart) metric_set.add(name='My bar chart', value=bar_chart)
Python には、画像を保存できるオープンソースの描画ライブラリが豊富にあります。
これらを活用するため、foundry_ml では matplotlib および seaborn に対応した画像オブジェクトをメトリクス値として指定できます。
Copied!1 2 3 4from matplotlib import pyplot pyplot.plot([0, 1], [1, 0]) matplotlib_plot = pyplot.gcf() metric_set.add(name='My image chart', value=matplotlib_plot)
モデルの性能は、データセット内の異なるサブセット間で変わることがよくあります。
この分析を支援するため、MetricSet.add メソッドは subset パラメーターを受け取ります。
これは、適用したフィルターを記述する、文字列から文字列への Python 辞書です。フィルターに意味の分かる名前を付けることで、現実世界の問題を表すさまざまなデータの切り口でのモデルの性能をユーザーが理解しやすくなります。
メトリクスとサブセットは Modeling Objective に表示されます。
たとえば、定番のオープンソースの iris データを使い、花弁の長さが平均未満の場合と平均を上回る場合について、モデルの正解率を計算するとします。
これは次のように行えます。
Copied!1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20def compute_accuracy(testing_df): # 正解率の実装 compute_accuracy = ... metric_set = foundry_ml_metrics.MetricSet( model = Model, input_data=testing_df ) # すべてのデータのスコアを計算します predictions = Model.transform(testing_df) # subset = {} は全体を示し、デフォルトです metric_set.add(name='accuracy', subset={}, value=compute_accuracy(predictions)) # データを絞り込みます predictions_long = predictions.filter('sepal_length > 3') metric_set.add(name='accuracy', subset={'sepal_length': 'long'}, value=compute_accuracy(predictions_long)) predictions_short = predictions.filter('sepal_length < 3') metric_set.add(name='accuracy', subset={'sepal_length': 'short'}, value=compute_accuracy(predictions_short))
サブセットの辞書には、任意の数のフィールドを指定できます。
メトリクスセットはデータセットとして表現され、Foundry のビルドを通じて計算されます。モデルがその場で更新された場合や、新しいバージョンの入力データが利用可能になった場合は、メトリクスセットを再ビルドする必要があります。メトリクスセットは、モデルと入力データセットの特定のバージョンに関連付けられているためです。
重要な点として、モデルを更新して再実行した場合は、リンクされたメトリクスセットも再ビルドし、情報が古いままにならないようにする必要があります。メトリクスセットは、モデル(および入力データセット)の特定のバージョンに関連付けられているためです。そうしないと、モデルプレビュー内にメトリクスが表示されません。