模型集成Core concepts目标

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

目标

建模目标是一个项目,包含上下文、相关数据源、元数据和围绕特定操作问题集中的模型。您可以将目标视为建模问题的定义——问题的接口,提交的模型提供实现

流程图

建模目标作为建模生态系统的沟通枢纽,并作为评估、审查和将连续模型解决方案付诸实施的记录系统。

目标与指标相关联,这些指标定义了提交给目标的模型应如何相互评估。

提交

当模型被提交给建模目标以进行管理和评估时,会创建该模型版本的副本。这个不可变的提交类似于代码的拉取请求——提交模型时,您是在请求进行全面审查。建模目标在功能上是一个具有生产潜力的模型版本目录。

发布

在模型提交后,它们可以被发布。发布是具有版本、打包且适合生产的资产,其中包含模型提交代码。发布可以被视为目标中定义的建模问题的接受解决方案。

发布包括可配置的环境标签(如“Staging”或“Production”)、用户定义的版本号以及一个简短的描述字段——发布说明。

已发布的模型推动部署,即生产推理管道或交互式端点。部署可以配置为获取最新标记的发布。例如,具有“Production”环境的部署将采用最新标记的“Production”发布。

发布系统提供了一种通过标记和版本化发布来保护生产部署的方法,并提供生产管道的可审计模型版本历史记录。

部署

部署使选定和发布的模型能够交付给消费者,包括生产管道、操作应用程序和API订阅者。

部署为Foundry中的模型提供了受治理的持续集成和持续交付(CI/CD)层。随着模型提交的审查和发布,相应的部署自动获取新模型版本而不会停机,同时保留沿袭。

img

部署类型

批量部署

批量部署通过在指定输入Foundry数据集上执行模型并将结果发布到输出数据集中来在管道中运行模型。它们利用分布式计算,适合生产管道(例如,预测一个县内所有地址的房价)以及大规模非实时处理(例如批量计算机视觉或文档分析)。消费者可以从一致的输出数据集中读取,即使部署的模型发生切换。

批量部署通常通过构建计划进行管理,利用Foundry的内部构建工具。权限从输入数据集、模型、目标和包含的项目中传播。了解如何设置批量部署。

实时部署

对于低延迟或交互式设置,可以通过实时部署提供模型服务,该服务提供一个可以交互查询的无服务器REST API端点。

实时端点可以独立授权,并配置复制和资源。它们也具有高可用性,这意味着可以通过CI/CD更新模型而不会导致端点停机。

您可以通过为模型创建交互式实时端点或使用模型上的函数将实时部署集成到操作应用程序中。您还可以将模型集成到场景分析模拟中。

指标

建模中最关键的步骤之一是了解模型的表现如何以及在何种条件下表现良好。Foundry使您能够为评估数据集上的模型生成和跟踪指标,以及该数据中的逻辑子集。指标及其相关的输入数据集推动了建模目标中的评估工作流。

指标可以临时生成(例如,在开发时),或作为建模目标的自动模型评估的一部分系统生成。然后,它们在模型预览中可见,并且可以与评估仪表盘中的其他模型进行比较。

MetricSet封装了单个模型评估的数值指标、图像和图表。MetricSets包含对相应模型(和版本)的引用,以及计算指标的单一数据集和事务(即版本)。此数据集引用被称为MetricSet的“输入数据集”。查看可用于指标集的选项范围。

指标概念流程

元数据

一个目标具有相关的、高度可配置的元数据,可用于启用广泛的管理和协作工作流。可以在每次模型提交时收集自定义元数据字段,这有助于比较模型之间的差异。