モデリング目的のカスタムメトリクス表示

モデリング目的の主要な機能の1つは、特定のデータセットに対する個々のモデルの性能を確認すると同時に、同じデータに対する同じ性能メトリクスを異なるモデル間で比較できることです。モデルの提出全体で、メトリクスセットと入力データセットの関係を活用することで、これを実現しています。

このチュートリアルでは、subsets を含むメトリクスセットの作成方法をすでに理解しており、自動モデル評価をすでに設定していることを前提としています。

このページの手順に沿ってメトリクス表示をカスタマイズすると、評価ダッシュボードでそれらを使用して、複数のモデルの性能を比較できます。これらのタブは、詳細設定の評価ダッシュボードにピン留めされたタブを表示が有効になっていない限り、評価ダッシュボードには表示されません。

はじめに

提出されたモデルの名前をクリックして、そのモデルの個別ページに移動します。この表示は、評価設定またはコードで個々の提出モデルに添付されたメトリクス、グラフ、画像に応じて、柔軟にカスタマイズできます。

利用可能な設定オプションは、メトリクスのピン留め、タブの作成、グラフの作成です。これらのオプションの目的は、提出されたすべてのモデル間で共有する情報を伝達・分類し、比較すべき重要な性能メトリクスを目立つように表示することです。

ある提出モデルの表示で設定した情報（作成したカスタムタブやピン留めしたメトリクスなど）は、ほかのすべての提出モデルでも設定どおりに表示されます。設定は個々の提出モデルのレベルではなく、モデリング目的のレベルで行い、提出されたすべてのモデルに共通する対話の場を作ります。

メトリクス表示を編集するには、ページ右上のアクションタブを選択します。目的へのアクセスレベルに応じて、いくつかの選択肢が表示されます。メトリクスを目的にピン留めを選択します。すべてのメトリクスとグラフにピンアイコンが表示され、インターフェース上部の青いバーが編集モードであることを示します。

なお、すべてのメトリクスとグラフを調べるセクションに表示されるメトリクスは、右上で選択されている評価データセットとトランザクションによって変わります。

タブを作成してメトリクスをピン留めする

タブを使用すると、メトリクスとグラフを、評価のさまざまな側面や関係者に応じた意味のある表示に整理できます。たとえば、以下の仮想的な例のように、金融モデリンググループは機微な特徴量別に分類したメトリクスを表示したい場合があります。

主要な目的メトリクスとグラフセクションで、+ 新規タブを作成を選択します。タブに名前を付けるためのダイアログが表示されます。

タブを作成したら、下にあるメトリクスエクスプローラーとグラフをスクロールし、ピンアイコンをクリックして統計情報、グラフ、画像をピン留めします。subsets も自動的にメトリクスエクスプローラーで利用可能になります。

メトリクスエクスプローラーで利用可能なメトリクスに基づいてインタラクティブな棒グラフを作成し、それらもタブにピン留めできます。

ピン留めしたメトリクスや作成したタブは、固定されたままにすることを意図したものではありません。新しいデータが入り、新しいフィードバックを受け取り、新しい仮説を検証するにつれて、設定も変えていく必要があります。

タブのカテゴリーとしてよく使われるのは、「主要なメトリクス／仮説」、「機微な特徴量」、「外れ値の情報」です。

入力データセット全体の設定に満足したら、ページ上部の完了ボタンを選択します。