評価を可視化する

評価は公開されるとすぐに、モデルページの評価タブで表示して比較できるようになります。

左側のサイドバーには、モデルで作成された利用可能な評価セットがすべて表示されます。評価セットを選択すると、概要タブのメインテーブルが更新され、その評価セットに含まれるすべての評価が表示されます。

デフォルトでは、評価テーブルにはすべてのブランチのすべての評価が、モデルバージョンでグループ化されて表示されます。これらのグループは、評価されたモデルバージョンの作成時刻に基づく降順で並びます。テーブル上部のブランチコントロールを使うと、表示されるモデルバージョンのグループを特定のブランチのものだけに絞り込めます。また、グループ化するコントロールでグループ化の方法を変更できます。

評価を選択する

評価のメトリクスを可視化するには、評価テーブルの行にカーソルを合わせ、アクション、指標の表示の順に選択します。

これにより、統計タブに移動し、その評価のすべてのメトリクスが表示されます。表示する評価を追加するには、評価を比較セレクターを使って追加の評価を選択します。

このセレクターでは、概要タブと同じ方法で評価が一覧表示され、グループ化されます。評価はモデルバージョンでグループ化され、時刻の降順で並びます。

モデルバージョンに戻る

評価対象のモデルバージョンに戻るには、評価を比較セレクターで選択した評価にカーソルを合わせます。

モデルバージョンに関するメタデータと、モデル表示でそのモデルバージョンに移動するためのリンクを含むポップオーバーが表示されます。

評価を実行する

評価はアドホックに実行することもできます。評価表示で、ページ上部の実行を選択します。評価の実行手順を案内するダイアログが表示されます。

このダイアログには、実行するモデルバージョンを厳密に指定するための選択肢が表示されます。選択したモデルバージョンは、ソースリポジトリにある最新の評価ロジックを使って実行されます。

スケジュールを作成する

評価のスケジュールを作成するには、ヘッダーのアクションドロップダウンを選択し、スケジュールの管理を選択します。新しいモデルバージョンが公開されたときに自動評価を実行するように、またはスケジュールに従って自動ドリフト検出を実行するように設定できます。

タブ

選択した評価の結果は、統計、画像、プロット、テーブルの4つのタブに整理されます。タブを選択すると、対応する結果が表示されます。それぞれについて、以下のセクションで説明します。

統計タブ

統計タブには、評価でログに記録されたすべての数値メトリクスがテーブルに表示されます。デフォルトではサブセットでグループ化されますが、テーブル上部のグループ化するコントロールで変更できます。サブセットでグループ化すると、デフォルトの全体グループが追加され、サブセットに属さないメトリクスがまとめられます。

複数の評価を選択すると、比較できるようにメトリクスが左右配置で表示されます。

メトリクスは、Python の Evaluation.log_metric 関数と Evaluation.log_metrics 関数を使ってログに記録できます。

画像タブ

画像タブでは、各カードに1枚の画像が表示されます。評価を比較する際、同じ名前の画像は左右配置で表示されます。

画像を選択すると拡大され、画像を保存するためのダウンロードが表示されます。

画像は、Python の Evaluation.log_image を使ってログに記録できます。

プロットタブ

プロットタブでは、各カードに1個のプロットが表示されます。評価を比較する際、同じ名前のプロットは左右配置で表示されます。

表示されたプロットはインタラクティブです。カーソルを合わせて点を確認したり、パンやズームを操作したりできます。

プロットは、Python の Evaluation.log_plot を使ってログに記録できます。

テーブルタブ

テーブルタブでは、選択したテーブルが1個のカードに表示されます。別のテーブルを可視化するには、テーブル名セレクターで選択します。

テーブルは、Python の Evaluation.log_table を使ってログに記録できます。