注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
実験はモデルのトレーニング実行を追跡します。モデルのトレーニング中にパラメーターとステップごとのメトリクス系列を記録し、MLflow と連携します。評価は、完成したモデルバージョンがテストデータに対してどのような性能を示すかを、単一のスナップショットとして記録します。両者は異なる API を使用します。実験は ModelOutput から書き込まれ、評価は ModelInput から書き込まれます。
評価は Code Repositories で、@pm.transforms.evaluation デコレーターと ModelInput を組み合わせて作成します。完全な例については、評価を作成して実行するを参照してください。
評価を書き込めるのは、評価ロジックを実行するコードリポジトリと同じプロジェクトにあるモデルのみです。モデルとリポジトリが異なるプロジェクトにある場合、書き込みは拒否されます。同じプロジェクトに属するように、モデルまたはリポジトリを移動してください。
評価は常に、ModelInput が解決してトランスフォームに読み込む単一のモデルバージョンにリンクされます。デフォルトでは、ビルドのブランチ上の最新バージョンが使用されます。model_version でバージョンを固定したり、branch で対象のブランチを指定したりできます。評価対象のモデルバージョンを特定するを参照してください。
新しいモデルバージョンを評価するには、新しいモデルバージョンが公開されるたびに評価ロジックを実行するスケジュールを設定するか、評価の表示画面に移動し、ページ上部の実行オプションを使用して評価を実行します。
いいえ。再利用された名前は自動的に一意になるため、名前を変更せずに同じコードを何度も実行できます。名前を指定しない場合は、評価セット名が使用されます。
何も公開されません。評価が評価セットにコミットされるのは、ビルドが成功した場合のみです。ビルドが失敗した場合、評価は中止されます。
評価方法ごとに別の評価セットを使用します。セット名はデコレーターによってトランスフォーム定義内で固定されるため、分析ごとに異なるセット名を持つ別のトランスフォームを定義します。モデルには最大100個の評価セットを設定できます。
評価セットには、同じ評価方法で生成された、モデルバージョンをまたぐすべての評価が格納されます。すべての評価は特定のバージョンに紐づいているため、モデルの再トレーニングに伴うメトリクスの変化をモデルページで比較できます。
メトリクス（数値）、画像（PNG または Pillow の画像）、プロット（Plotly の図）、テーブル（pandas または Polars の DataFrame）を記録できます。prefix/name という規則を使用して、関連するログをサブセットにまとめることができます。サイズと長さの制約については、制限を参照してください。
組み込みの評価ツールを使用する場合のみ必要です。独自のメトリクス、画像、プロット、テーブルを記録する場合、scikit-learn は不要です。