Modeling Objective の設定

Modeling Objective では、以下で説明する設定オプションを利用できます。Modeling Objective のホームページから、インターフェースの右上にある Modeling Objective の設定をクリックすると、Modeling Objective の設定ページに移動できます。

チェック

Objective のチェックは、モデルを運用化する前に、モデルが事前に定義された品質チェックに合格していることを確認するための仕組みです。Objective のチェックの詳細については、すべてのモデル提出のチェックを設定する方法のドキュメントを参照してください。

デプロイメント

デプロイメント設定ページでは、Python モデル提出をバッチデプロイメントまたはライブデプロイメントで運用化するために必要な、モデル提出のデプロイメントプロファイル要件を定義します。

モデルメタデータ

Modeling Objective に提出されたモデルには、その Modeling Objective 内でモデル提出固有のメタデータを設定できます。このメタデータは、モデルに関する関連情報を追跡できるように、特定の Objective に対して設定できます。設定の詳細については、Objective のメタデータを設定する方法のドキュメントを参照してください。

外観

外観設定では、個別の Modeling Objective をライトモードとダークモードのどちらで表示するかを設定できます。

詳細

詳細設定ページには、標準以外の設定オプションがあります。通常、Modeling Objective の詳細設定は変更しないでください。これらの設定は、レガシー機能との下位互換性を確保するために用意されています。

評価設定

評価ダッシュボードには、評価設定によって生成されたメトリクスのみを表示と評価ダッシュボードにピン留めされたタブを表示の2つの詳細設定オプションがあります。

評価設定によって生成されたメトリクスのみを表示

Modeling Objective で、評価設定によって生成されたメトリクスのみを表示するように設定すると、評価設定を通じて作成されたメトリクスのみが評価ダッシュボードに表示されます。Modeling Objective 内のモデルに標準的な評価プロセスを適用するため、この設定を有効にすることを推奨します。この設定が有効になっていない場合、Modeling Objective は、表示されているモデルのメトリクスが最新かどうかを判断できません。

レガシーのパイプライン管理を通じて設定されたメトリクスパイプラインは、評価設定によって生成されたメトリクスのみを表示をオフにしない限り表示されません。

評価設定がリリースされる前に設定された Modeling Objective や、コードでメトリクスを定義している非本番用の Modeling Objective など、状況によっては、Modeling Objective の評価設定の外部で生成されたメトリクスを表示するほうが望ましい場合があります。この設定を使用すると、そのような表示を有効にできます。

評価ダッシュボードにピン留めされたタブを表示

必要に応じて、Modeling Objective の評価ダッシュボードで、サブセットタブと並んでカスタムメトリクスビューを表示するように設定できます。

推論およびメトリクスデータセットの命名

レガシーのメトリクスパイプライン管理で生成されるデータセットでは、複数の Modeling Objective が同じ出力フォルダーに推論データセットとメトリクスデータセットを作成すると、名前の競合が発生し、予期しない動作につながる可能性がありました。この問題は、更新された評価ダッシュボードと設定で解消されています。

下位互換性を維持するため、レガシーの推論およびメトリクスデータセットの命名規則を使用することもできます。

更新された命名規則：

• 推論データセット：inference_<Model Submission Name>_<Evaluation Dataset Name>-<Generated Hash>
• メトリクスデータセット：metrics_<Model Submission Name>_<Evaluation Dataset Name>_<Evaluation Library Name>-<Generated Hash>

レガシーの命名規則：

• 推論データセット：<Model Submission Name> inference
• メトリクスデータセット：<Model Submission Name> metrics