すべての提出に対するチェックを設定する

モデリング目標のチェックは、モデルを運用化する前に、事前に定義された品質チェックに合格していることを確認するための仕組みです。目標のチェックは目標ごとにカスタマイズでき、異なる専門知識を持つモデルレビュー担当者が協力してモデルの性能を評価できます。この評価によって、モデルのステータスや議論が透明化され、整理されるため、モデリング目標に関わるすべてのステークホルダーがモデルの品質を明確に把握できます。

たとえば、モデリングプロジェクトのマネージャーとして、目標に提出されたすべての候補モデルがリリース前に承認されるようにしたい場合があります。次のようなチームからの承認が必要になることがあります。

• モデルがスモークテストに合格していることを確認するパイプラインインフラストラクチャーチーム。
• モデルを運用アプリケーションにデプロイする前に、モデルのメトリクスが関連する要件を満たしていることを確認する責任を持つデータサイエンスチーム。
• 学習データの適切なバランスや、モデルが組織の公平性要件を満たしていることを確認する倫理チーム。

上記のチェックごとに、対応するレビュー担当者のグループやユーザーと論点を絞った議論スレッドを設けることで、モデルがデプロイ可能な状態にあるかどうかの判断や、次のモデルの改善に向けたフィードバックの収集に役立てられます。

上記の確認ポイントごとに目標のチェックを設定すると、独立した議論スレッドを作成できます。これにより、目標に提出されたすべてのモデルを評価するための、論点を絞ったコラボレーションの場を設けられます。

目標のチェックを設定する

目標のチェックを設定するには、右サイドバーの設定ページに移動し、チェックタブに移動します。ここでは、名前、説明、およびこのチェックを承認できるユーザーまたはグループを指定して、新しいチェックを作成できます。以下の例では、pcl-team グループまたは Administrators グループのいずれかのメンバーがチェックを承認すると、このチェックは承認済みとして指定されます。

必要に応じてチェックを追加することも、以下のチェック例に沿って設定することもできます。

チェックを使用してモデル提出の評価に共同で取り組む

目標に関連するチェックを設定したら、さまざまなレビュー担当者グループと協力して、提出されたモデルの評価を開始できます。

モデル提出ページで、チェックパネルに移動します。ここでは、目標に設定したチェックを確認できます。レビュー担当者は、提出されたモデルを評価する際に、各チェックを承認または拒否したり、コメントを追加したりできます。また、必要に応じて添付ファイル（メトリクスのスクリーンショットなど）を追加したり、ユーザーグループをタグ付けしたりできます。

現在、提出されたモデルのリリースを作成する前に、すべてのチェックが承認されている必要はありません。

評価に基づく自動チェック

指定した入力データセットと評価ライブラリを使用して実施した評価の結果に基づいて、ステータスが決まるチェックも作成できます。

利用可能な入力データセットと評価ライブラリの選択肢は、モデリング目標の評価ダッシュボードで定義された評価設定から継承されます。また、評価ダッシュボードを使用してビルドされたメトリクスが、チェックのステータスの判定に使用されます。

メトリクスの要件は、提出されたモデルがこのチェックに合格するための条件を定義します。メトリクスが要件を満たすと、ステータスは PASS になります。メトリクスが要件を満たさない場合、または選択した評価ライブラリによって生成されたメトリクスに該当するメトリクスが見つからない場合、ステータスは REJECT となり、拒否の理由を説明するメッセージが表示されます。チェックに関連付けられた提出、入力データセット、評価ライブラリの組み合わせに対して、メトリクスがまだビルドされていない場合、チェックのステータスは PENDING になります。メトリクスのビルドに失敗した場合も、保留ステータスになります。

チェックをアーカイブする

設定ページで、チェックの横にある「無効化」アイコンを使用して、目標のチェックをアーカイブできます。アーカイブされたチェックは、デフォルトでは提出のチェックページに表示されなくなります。ただし、提出のチェックパネルでアーカイブを表示ボタンを選択すると、アーカイブされたチェックの過去のコメントや承認履歴を引き続き確認できます。

チェックのステータスでモデルを絞り込む

特定のチェックのステータス、または提出全体のステータスに基づいて、目標内のモデルを絞り込めます。これは、デプロイに必要なすべてのチェックに合格したモデルを確認したい場合や、特定のチェックが保留中の提出をすべてレビューする必要がある場合に役立ちます。

左側のモデルタブに移動し、上部のすべてのモデルタブを選択します。ここでは、提出されたすべてのモデルの一覧と、それぞれの全体的なチェックステータスをテーブルで確認できます。左側のパネルには、ステータスを確認ラベルの下にフィルターグループが表示されます。ここで、提出を絞り込むためのチェックとそのステータスを選択できます。