注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

模型目标实时部署常见问题解答

以下是一些关于模型目标实时部署的常见问题。了解更多关于创建和设置实时部署的信息。

发布的Python模型默认会包含哪些conda包/环境?

模型将打包为已发布模型的模型适配器中配置的conda包/环境。Palantir还会添加必要的轻量级包以服务于您的生产模型。

一次请求最多可以发送多少数据到实时部署?

默认情况下,实时部署接受单个请求最多50MB的数据。这个上限是可配置的;请联系您的Palantir代表了解更多详细信息。

我可以为模型目标实时部署创建监控吗?

可以。模型目标实时部署的正常运行时间可以通过数据健康应用程序的监控视图进行监控。

除了公共库外,我还能在我的环境定制中包含私有库吗?

我们支持将私有库和公共库导入提交环境。

  • 对于公共库,您需要确保请求的库可以在公共频道(如conda-forge)中找到,并且这些公共频道在Foundry中配置为可被发现;
  • 对于在Foundry内创建的私有库,必须按照Python库说明正确发布这些库。

我可以限制谁可以在我的实例上创建实时部署吗?

可以。创建实时部署的能力可以与创建批量部署的能力分开设置权限。请联系您的Palantir代表以获取指导。

我可以扩展我的Python模型吗?

可以,Foundry目前在Palantir的容器基础设施内部署时提供流量扩展。

默认情况下,每个部署配置有2个副本,确保在升级期间没有停机时间。默认的CPU和内存占用也很低,导致默认成本配置较低。

这可以为个别部署覆盖,以支持较大的模型或预期较高的负载。此外,通过控制面板可以覆盖所有实时部署的默认配置。

我可以在GPU上运行我的Python模型吗?

可以。这目前是一个测试功能。请联系您的Palantir代表了解更多详细信息。

我可以关闭我的部署以停止产生成本吗?

可以,您可以通过单个部署页面禁用您的实时部署

当您准备再次使用它时,您也可以通过UI重新启用它。注意,部署在重新启用后将升级到最新版本。

另外,您也可以删除部署;然而这个操作是不可逆的,您将不再保留相同的目标RID。

我的Foundry ML Python模型可以访问外部API吗?

可以。但是,您(或授权管理员)必须为实时部署配置网络出口。

实时部署请求期间会发生超时吗?

由于默认对话读取超时为五分钟,运行推理是一个同步过程,因此会发生超时。