注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
对于运作中的建模项目,模型评估至关重要。一旦您为提交到建模目标的模型生成了指标,无论是自动生成的还是通过代码生成的,您都可以在评估仪表盘中比较模型。从建模目标主页中,选择查看评估仪表盘以导航到评估仪表盘。
评估仪表盘为模型指标和性能评估提供了一个标准化和集中化的位置。与任何模型提交相关的所有指标都可以在建模目标中进行审查。
为了确保模型指标的标准化,默认情况下,评估仪表盘仅显示由评估仪表盘配置生成的指标。如果您是手动通过代码评估模型,您需要调整建模目标的设置,在建模目标设置中禁用仅显示由评估配置生成的指标。
在模型评估仪表盘中,指标是基于所选评估数据集和模型提交的交集来显示的。
要选择输入数据集,请从评估仪表盘左上方的评估数据集下拉菜单中选择一个评估数据集。此选择器允许您选择一个评估数据集或评估数据集的特定数据集事务。
如果您不选择评估数据集的特定事务,您将看到每个选定模型提交的最新指标结果。如果您选择了特定事务,则仅会看到使用该特定事务作为输入构建的指标。
最具统计准确性的是比较评估数据集特定事务中的模型。然而,跨事务比较可以用于对比模型架构已更改的模型提交的性能。
查看评估结果的下一步是选择您要查看指标的模型。评估仪表盘上显示的模型是选择模型和搜索模型中选定模型的联合。
将模型提交添加到评估仪表盘的第一种方法是选择单个模型提交。选择模型下拉菜单允许您选择一个或多个特定的模型提交以添加到评估仪表盘中。
如果您有大量的模型提交,添加符合某些搜索条件的模型会很有用。模型提交搜索结果将被添加到评估仪表盘中,除此之外还有在选择模型中选择的模型。
模型提交搜索支持通过多种方式搜索模型提交:
评估仪表盘将模型提交的指标分为多个标签。显示的标签是评估配置中配置的子集和(如果在建模目标设置中启用)自定义固定指标视图的组合。