注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
建模目标的一个关键功能是能够检查单个模型在特定数据集上的性能,同时还可以比较同一数据上不同模型的性能指标。通过利用MetricSet
和输入数据集在模型提交中的关系来实现这一点。
本教程假设您已经知道如何使用subsets
创建MetricSets
,并且已经配置了自动模型评估。
一旦您按照本页面的步骤自定义指标视图,就可以在评估仪表盘中使用它们来比较多个模型的性能。请注意,除非启用了高级设置在评估仪表盘中显示固定标签,否则这些标签不会显示在评估仪表盘上。
点击模型提交名称以导航到其单独页面。此视图高度可定制,具体取决于评估配置或代码中附加到单个模型提交的指标、图表或图像。
可用的配置选项包括:固定指标、创建标签和搭建图表。这些选项的目标是传达和分类信息,以便在所有模型提交中共享,并突出显示重要的性能指标以进行比较。
在一个提交视图中配置的信息(即创建的自定义标签或固定的指标)将在每个其他提交中按配置显示。配置是在建模目标层面完成的,而不是单个提交层面,以便为所有模型提交创建一个全局对话。
要编辑指标视图,请选择页面右上角的操作标签。根据您对目标的访问级别,您将看到多个选项。选择将指标固定到目标。固定图标将出现在所有指标和图表上,界面顶部的蓝色栏将指示您处于编辑模式。
提醒一下,出现在探索所有指标和图表部分的指标取决于在右上角选择的评估数据集
和事务。
标签帮助将指标和图表组织成有意义的视图,这些视图可能与不同的评估方面或利益相关者有关。例如,如下面所示的概念示例中,金融建模小组可能希望显示按敏感特性划分的指标。
在关键目标指标和图表部分下,选择**+ 创建新标签**选项。将出现一个对话框,您可以在其中命名标签。
创建标签后,向下滚动浏览指标浏览器和下方的图表,通过点击固定图标固定统计数据、图表或图像。任何subsets
也将在指标浏览器中自动可用。
您可以根据指标浏览器中可用的指标创建互动条形图,并将它们固定到标签中。
固定的指标和创建的标签并非意在静态。随着新数据的到来、新反馈的接收以及新理论的测试,配置应不断发展。
标签类别的常见模式包括“关键指标/理论”、“敏感特性”和“异常信息”。
当您对输入数据集的配置感到满意时,选择页面顶部的完成按钮。