模型集成管理模型Modeling deployment FAQ模型推理历史

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

模型推理历史

模型推理历史是Foundry中的一个数据集,捕获发送到建模目标实时部署的所有推理请求(输入)和推理结果(输出)。这可以启用许多工作流,例如:

  • 漂移检测: 模型推理历史可以帮助您检测模型性能随时间的更改,这可能表明基础数据分布发生了漂移。检查推理历史可以提供有关模型准确性如何演变的宝贵见解。
  • 持续再训练: 模型推理历史可以被用于在持续再训练场景中,其中模型根据模型先前的预测迭代地训练新数据。
  • 模型性能评估: 推理输入和输出的历史可用于评估模型的性能随时间的变化。推理历史可以帮助您识别模型性能中的模式和趋势。
  • 使用情况分析: 推理历史可以帮助您了解模型被调用的位置和频率。这些关于模型使用模式的见解可以为资源分配和优化的决策提供信息。

模型推理历史使用

要创建模型推理历史,请导航到建模目标的部署页面,并选择您想要添加模型推理历史的实时部署。在模型推理历史卡片下,点击创建数据集。这将打开创建新的模型推理历史对话框。

创建数据集按钮

创建新的模型推理历史对话框中,输入模型推理历史的数据集名称和位置。我们强烈建议添加安全权限标记,因为输入和输出可能包含敏感信息,仅应由具有适当安全权限的个人访问。

创建模型推理历史对话框

一旦创建了模型推理历史,以下信息将记录在数据集中:

  • timestamp:输入请求的时间戳
  • user_id:发送请求的Foundry用户ID
  • request_uuid:请求的唯一标识符
  • live_rid:建模实时部署资源标识符
  • objective_rid:建模目标资源标识符
  • model_rid:模型资产资源标识符
  • model_version_rid:模型资产版本资源标识符
  • input:发送到模型的输入的JSON表示
  • output:模型输出的JSON表示
  • error:模型在对提供的输入进行推理时遇到的详细错误信息或堆栈跟踪

模型推理历史数据集

要暂时启用或禁用模型推理历史,请点击模型推理历史卡片右上角标记为启用记录的切换按钮。

启用模型推理历史记录切换按钮

要永久禁用模型推理历史,请在模型推理历史卡片中的数据集右侧选择移除

移除模型推理历史是永久性的,无法撤销。一旦数据集被移除作为模型推理历史,该数据集仍然存在,但不能重新添加到部署中。

启用模型推理历史记录切换按钮

常见问题解答 (FAQ)

在我的实时部署上设置模型推理历史需要什么权限?

要启用模型推理历史,用户需要gatekeeper权限 foundry-ml-live:edit-inference-ledger。通常,这通过建模目标的“所有者”角色授予。

我可以在哪里保存模型推理历史数据集?

由于输入和输出可能包含敏感信息,您需要将数据集保存到与其父建模目标相同的项目中。

我可以将模型推理历史输入和输出写入现有数据集吗?

为了确保模型推理历史符合指定的模式,您不能选择现有的数据集作为模型推理历史。

如果我移除我的模型推理历史会发生什么?

如果您移除您的模型推理历史,数据集不会被删除,但Foundry将停止向其写入新记录。

我如何暂时启用/禁用我的模型推理历史?

您可以使用记录切换按钮暂时启用或禁用您的模型推理历史。

是否保证所有推理输入都会记录到模型推理历史?

并不能保证所有输入和输出都会出现在推理历史中。为了维持平台性能,尝试写入模型推理历史失败的请求不会重试。