为所有提交设置检查

概述

建模目标检查是一种确保模型在投入使用前通过预定义质量检查的方法。目标检查可以根据每个目标进行自定义，并允许具有不同专业知识的模型审阅者协作评估模型的性能。此评估可确保模型状态和讨论透明且有条理，以便为建模目标的所有利益相关者呈现模型质量的清晰图景。

例如，作为建模项目的经理，您可能希望提交到您的目标的所有候选模型在发布前获得批准。您可能需要的一些批准可能来自：

• 确认您的模型通过烟雾测试的管道基础设施团队。
• 负责确保模型的指标在部署到操作应用程序之前满足相关要求的数据科学团队。
• 确保训练数据适当平衡或模型满足机构公平性要求的伦理团队。

对于上述每个检查，与审阅组或用户进行专注的讨论线程可以帮助达成模型部署准备就绪的结论，并为您的下一个模型迭代收集反馈。

您可以为上述每个检查点配置目标检查，以创建独立的讨论线程，为评估目标中的所有模型提交提供专注的协作空间。

配置目标检查

要配置目标的检查，请转到右侧边栏中的设置页面，然后导航到检查选项卡。在这里，您可以创建一个新的检查，指定名称、描述以及有资格批准此检查的用户或组。在下例中，如果pcl-team组或Administrators组中的任何人批准了此检查，则该检查将被标记为已批准。

您可以根据需要添加其他检查，或按照下面的示例检查进行操作。

与检查一起协作进行模型提交评估

现在您已为目标配置了相关检查，可以开始与各种审阅组协作评估您的模型提交。

在模型提交页面上，导航到检查面板。在这里，您可以看到为目标配置的检查。审阅者在评估模型提交时可以批准、拒绝或评论每个检查。此外，审阅者可以根据需要添加附件（如指标的屏幕截图）或标记用户组。

目前，并非必须批准所有检查后才能为模型提交创建发布。

基于自动评估的检查

还可以创建检查，其状态基于对给定输入数据集和评估库执行的评估结果。

可用的输入数据集和评估库的选择将继承自建模目标的评估仪表盘中定义的评估配置。此外，使用评估仪表盘搭建的指标用于确定检查的状态。

指标要求定义了提交通过此检查的条件。当指标满足要求时，将获得PASS状态。如果指标未达到要求或在所选评估库生成的指标集中未找到该指标，则会给出REJECT状态，并附有描述拒绝原因的消息。如果尚未为与检查相关的提交、输入数据集和评估库组合搭建指标，则检查的状态将为PENDING。如果指标搭建失败，状态也将为待定。

存档检查

您可以通过设置页面中的“禁用”图标存档目标检查。默认情况下，存档的检查不再显示在提交的检查页面上。但是，通过选择提交检查面板上的查看存档按钮，仍然可以查看存档检查的先前评论和批准历史记录。

按检查状态筛选模型

您可以根据特定检查或整体提交的状态在目标中筛选模型。这在您想查看哪些模型已通过所有部署检查，或必须审查所有具有特定检查待定的提交时很有帮助。

导航到左侧的模型选项卡，然后选择顶部的所有模型选项卡。在这里，您可以看到所有模型提交的列表及其在表中的整体检查状态。在左侧面板中，您可以看到标签为检查状态的筛选组。在这里，您可以选择要筛选提交的检查及其状态。