評価ダッシュボードでモデルのメトリクスを確認する

モデル評価は、運用モデリングプロジェクトにおいて極めて重要です。モデリング目標に登録されたモデルのメトリクスを自動またはコードで生成すると、評価ダッシュボードでモデル同士を比較できます。Modeling Objective のホームページから、評価ダッシュボードを表示を選択して評価ダッシュボードに移動します。

評価ダッシュボード

評価ダッシュボードは、モデルのメトリクスとパフォーマンスを評価するための標準化された一元的な場所です。登録されたモデルに関連するすべてのメトリクスを、モデリング目標内で確認できます。

モデルのメトリクスを標準化するため、評価ダッシュボードには、評価ダッシュボードの設定によって生成されたメトリクスのみがデフォルトで表示されます。代わりに手動でコードでモデルを評価している場合は、モデリング目標の設定で評価設定によって生成されたメトリクスのみを表示を無効にする必要があります。

モデル評価ダッシュボードでは、選択した評価データセットと登録モデルの積集合に基づいてメトリクスが表示されます。

入力データセットを選択する

入力データセットを選択するには、評価ダッシュボードの左上にある評価データセットのドロップダウンから評価データセットを選択します。このセレクターでは、評価データセット、または評価データセットの特定のデータセットトランザクションを選択できます。

評価データセットの特定のトランザクションを選択しない場合、選択したすべての登録モデルについて最新のメトリクスの結果が表示されます。特定のトランザクションを選択した場合、その評価データセットのトランザクションを入力としてビルドされたメトリクスのみが表示されます。

統計的に最も正確なのは、評価データセットの特定のトランザクションでモデルを比較することです。ただし、トランザクションをまたいだ比較は、モデルのスキーマが変更された登録モデルとのパフォーマンス比較に役立つ場合があります。

評価するモデルを選択する

評価結果を表示するための次のステップは、メトリクスを表示するモデルを選択することです。評価ダッシュボードに表示されるモデルは、モデルを選択とモデルを検索で選んだモデルの和集合です。

モデルを選択する

評価ダッシュボードに登録モデルを追加する1つ目の方法は、登録モデルを個別に選択することです。モデルを選択ドロップダウンでは、評価ダッシュボードに追加する特定の登録モデルを1個以上選択できます。

モデルを検索する

登録モデルが多数ある場合は、特定の検索条件に一致するモデルを追加すると便利です。登録モデルの検索結果は、モデルを選択で選択したモデルに加えて、評価ダッシュボードに追加されます。

登録モデルの検索では、次の方法で登録モデルを検索できます。

• 評価データセット内のすべてのデータ（「全体」）に対するメトリクスの条件との一致
• 評価データセット内の定義済みサブセットに対するメトリクスの条件との一致
• 特定のモデル所有者またはモデル登録者による検索
• モデルのメタデータによる検索

評価ダッシュボードのレイアウト

評価ダッシュボードでは、登録モデルのメトリクスがタブに分かれています。表示されるタブは、評価設定で設定されたサブセットと、モデリング目標の設定で有効になっている場合のカスタムのピン留めされたメトリクスビューを組み合わせたものです。