注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
直接模型部署是实时托管的端点,可以立即将模型连接到用户应用程序,如Workshop和Slate。直接模型部署可以通过模型上的函数在TypeScript中查询,或通过REST API调用从外部系统查询。
以下部分解释如何创建、配置和发布直接模型部署,并描述一些调试步骤和在开始之前需要查看的功能考虑事项。
要创建和启动一个直接模型部署,导航到模型。在模型页面顶部的实时推理下选择启动部署。一旦运行,您可以通过选择运行来交互式测试部署。
要配置直接模型部署的资源,请在实时推理面板右上角选择配置按钮。直接模型部署可以配置为从零开始扩展。当部署达到70%容量时,它将创建一个额外的副本,直到达到运行时扩展配置中指定的最大副本数。这也允许部署在45分钟内没有实时请求后自动缩减。
要将模型注册为无代码函数,请在模型工件侧边栏中选择加号图标,并提供一个模型函数名称。用户可以为每个分支注册一个函数。
我们建议在各分支之间相似地命名您的函数。例如,您可以在主分支上使用Plane Detection Model
,在开发分支上使用Plane Detection Model [Develop]
。
每个模型的分支可以创建一个直接模型部署。当新的模型版本发布到该分支时,直接模型部署将自动升级到新的端点,无需停机。如果您不希望自动升级,请考虑使用建模目标实时部署。
直接模型部署由计算模块支持,因此支持在用户指定的最小和最大副本范围之间自动水平扩展。
直接模型部署对所有推理请求强制执行类型安全,以确保模型API类型与输入类型匹配。类型安全适用于所有输入类型,尤其是以下类型:
int
,并且传递给模型的值为3.6,则0.6将被截断,输入将为3。predict()
方法之前转换日期和时间戳类型。时间戳字段现在期望一个格式为ISO 8601的字符串。模型类型安全不同于当前不支持类型转换的实时建模部署。
要查看直接模型部署的调试信息和日志,请在模型页面顶部选择部署健康状况选项卡。在这里,您可以找到部署的运行构建、副本的健康信息、日志以及关于每个副本状态的指标。
您还可以在运行调试卡片下查看模型推理的调用栈。这使您能够看到每个Python函数花费的时间以及可以进行性能改进的地方。
**注意:**这不会显示容器模型中的调用栈,或在推理期间抛出错误时显示。
直接模型部署的可用功能与建模目标实时部署的功能不同。请查看下表以获取更多详细信息。