注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
模型推理历史是Foundry中的一个数据集,捕获发送到建模目标实时部署的所有推理请求(输入)和推理结果(输出)。这可以启用许多工作流,例如:
要创建模型推理历史,请导航到建模目标的部署页面,并选择您想要添加模型推理历史的实时部署。在模型推理历史卡片下,点击创建数据集。这将打开创建新的模型推理历史对话框。
在创建新的模型推理历史对话框中,输入模型推理历史的数据集名称和位置。我们强烈建议添加安全权限标记,因为输入和输出可能包含敏感信息,仅应由具有适当安全权限的个人访问。
一旦创建了模型推理历史,以下信息将记录在数据集中:
timestamp
:输入请求的时间戳user_id
:发送请求的Foundry用户IDrequest_uuid
:请求的唯一标识符live_rid
:建模实时部署资源标识符objective_rid
:建模目标资源标识符model_rid
:模型资产资源标识符model_version_rid
:模型资产版本资源标识符input
:发送到模型的输入的JSON表示output
:模型输出的JSON表示error
:模型在对提供的输入进行推理时遇到的详细错误信息或堆栈跟踪要暂时启用或禁用模型推理历史,请点击模型推理历史卡片右上角标记为启用记录的切换按钮。
要永久禁用模型推理历史,请在模型推理历史卡片中的数据集右侧选择移除。
移除模型推理历史是永久性的,无法撤销。一旦数据集被移除作为模型推理历史,该数据集仍然存在,但不能重新添加到部署中。
要启用模型推理历史,用户需要gatekeeper权限 foundry-ml-live:edit-inference-ledger
。通常,这通过建模目标的“所有者”角色授予。
由于输入和输出可能包含敏感信息,您需要将数据集保存到与其父建模目标相同的项目中。
为了确保模型推理历史符合指定的模式,您不能选择现有的数据集作为模型推理历史。
如果您移除您的模型推理历史,数据集不会被删除,但Foundry将停止向其写入新记录。
您可以使用记录切换按钮暂时启用或禁用您的模型推理历史。
并不能保证所有输入和输出都会出现在推理历史中。为了维持平台性能,尝试写入模型推理历史失败的请求不会重试。