模型集成集成模型Container models常见问题

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

常见问题

在 Foundry 中是否有一个中心位置可以查看所有用户上传的图像?

是的;控制面板为 Foundry 管理员提供了查看推送到平台的所有图像的能力,以及查看和召回这些图像中存在的任何漏洞

基于容器的模型是否与实时部署兼容?

是的,容器模型可以用于实时批量部署。

在创建推送到 Foundry 的图像时,是否有特定的基础镜像需要使用?

没有,没有提供或要求使用标准的基础镜像。然而,所有推送的图像必须符合图像要求

图像是否必须暴露标准 API?

不是;Foundry 如何与图像交互将由模型适配器实现定义。在这个自定义适配器示例中反映的常见模式是构建图像以在特定端口上监听输入,然后让模型适配器发送 post 请求。

容器化模型的最大图像大小是多少?

通常,大于 22 GB 的图像在 Docker 推送步骤中会超时。如果您的应用案例需要更大的图像,请联系您的 Palantir 代表。

Foundry 是否支持执行基于 Windows 的容器?

不;所有推送到平台的图像必须为 Linux 平台构建,因为 Foundry Kubernetes 集群中的实体是 Linux 机器。

我可以在我的模型中使用多个容器吗?

可以;可以配置多个图像以支持模型版本,但没有编排支持。所有容器将在执行时同时启动,并且无法保证容器启动时间的顺序。

基于容器的模型是否在所有 Foundry 实例上都受支持?

不。所有用户提供的容器工作流需要 Rubix ↗ 引擎作为基础架构。此外,您需要在控制面板中启用容器工作流。

如何在我的模型上启用遥测?

要在您的模型上启用遥测,请创建一个新模型版本,并在模型版本创建的第三步中切换启用遥测。图像必须在 /bin/sh 中有一个 shell 可执行文件,并且图像必须支持 shell 命令 settee

遥测是否适用于所有类型的模型?

不,容器化模型的遥测仅适用于Python 变换实时部署,但不会为批量部署发出容器日志。

如何测试我的容器是否具有遥测所需的命令和设置?

您可以通过运行 docker run --entrypoint /bin/sh <EXAMPLE_IMAGE>:<IMAGE_TAG_OR_DIGEST> -c 'set -a && tee -a' && echo "Telemetry compatible" 来测试。如果输出为 Telemetry compatible,则表示可以为此容器启用遥测。