问答建模

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

建模

如何在 Foundry 变换中让 pytesseract 利用其他语言的语言库?

在容器化变换中运行 pytesseract,并在 Docker 文件中添加语言包,以便 pytesseract 可以在 Python 脚本中找到并使用它们。

时间戳: 2024年2月13日

Foundry ML Live 是否支持容器的自动扩展,这些容器是如何管理的?

Foundry ML Live 目前不支持容器的自动扩展。但是,自动扩展支持即将推出,将基于请求吞吐量/排队进行扩展。容器在 Kubernetes 中管理,而不仅仅是在 Docker 守护进程中的 Docker 容器,从而允许使用固定数量的副本/Pod 实现高可用性。

时间戳: 2024年2月14日

调用已部署模型时,如何解决 Tesseract library not found 出错?

解决方案是按照以下步骤进行操作:

  1. 完全删除 Tesseract 库。
  2. 运行搭建以导致 CI 出错。
  3. 添加库并指定版本,而不仅仅是添加和安装。
  4. 再次运行搭建。
  5. 在 CI 成功通过后,提交模型。
  6. 发布新版本;这将触发一个新的部署,应该可以工作。

时间戳: 2024年2月14日

如果客户团队需要从 Python 3.6/7 升级,但 foundry_ml 仅支持到 Python 3.8,并且他们担心即将到来的 Python 3.8 生命周期结束,该怎么办?

客户团队应暂时坚持使用 Python 3.8,因为 foundry_ml 计划在不久的将来增加对 Python 3.9 的支持。

时间戳: 2024年2月13日

是否可以在 Foundry 上从头开始训练像 BERT 这样的语言模型,GPU 的能力和限制是什么?

可以在 Foundry 上训练语言模型,因为 Foundry 注册具有基本的 GPU 和部署基础设施。可行性取决于项目的具体情况,如数据大小、延迟和所需的正确性。

时间戳: 2024年2月13日

除了保持部署运行的成本之外,使用建模目标实时部署的客户每个查询是否有额外的费用?

不,客户每个查询没有额外费用;唯一的成本是部署运行时的计算成本。

时间戳: 2024年2月15日

Foundry 的 AutoMLOps 能力是什么?

Foundry 不支持 AutoMLOps,因为 AutoMLOps 需要不同的架构,许多 AutoMLOps 步骤无法通过代码自动化。然而,您可以执行 AutoMLOps 的许多部分,并可以编写特定代码来重现 AutoMLOps 的自动化部分。

时间戳: 2024年2月13日

部署模型时,可能导致 connection refused 出错的原因是什么,如何解决?

connection refused 出错通常是由于模型适配器脚本使用了错误的端口。可以通过使用正确的端口重新上传模型来解决此问题。

时间戳: 2024年2月13日

当适配器由 Python 库指定且 api() 方法实现未填充模型版本的 Model API 时,如何设置模型版本的 Model API?

目前,没有办法通过前端设置 Model API,类似于目标 UI 中的目标 API。解决方案是重新训练模型并发布新的模型版本,或将模型适配器复制到代码库中以定义 Model API。

时间戳: 2024年2月13日

什么原因会导致模型训练搭建失败并出现 RemoteException: INTERNAL (Build2),如何解决?

输入解析错误的原因可能是由于库中的路径和资源标识符 (RIDs) 问题,尤其是如果在不同文件中重用了模型输出路径。可以通过确保路径不在不同文件中重用来解决此问题,如果需要,可以重新创建所有输入和输出 RIDs。

时间戳: 2024年2月13日

尝试发布模型时,可能导致 'ValueError: Circular reference detected' 出错的原因是什么,如何解决?

问题可能是由字典输出的 numpy 类型引起的,建模目标不接受这种类型。将 numpy 类型转换为浮点数可能会解决此问题。

时间戳: 2024年2月13日

新的 Model Assets 中是否有旧版 foundry_ml 的 SegmentedModel 的等效物?

没有,新版 Model Assets 中没有用于模型分段的标准内置类。新方法鼓励用户编写所需的适配器。

时间戳: 2024年2月13日

在建模目标评估中,指标搭建因退出代码137而失败的原因是什么,如何解决?

指标搭建因退出代码 137 失败可能是由于内存不足 (OOM) 问题。解决方案是增加 Spark 配置文件资源,特别是使用 MEMORY_LARGE Spark 配置文件。

时间戳: 2024年2月14日

'live' 功能是否支持用于实时转录应用案例的双向流?

不,当前的 API 仅支持类似 LLM 的词元流输出,因为它是使用 SSE 实现的,SSE 仅支持基于文本的数据。

时间戳: 2024年2月14日

为什么在生产发布升级期间输出字段会随机出现?

在升级期间出现不同输出是预期的,因为负载均衡器会在所有可用副本之间轮询,这可能包括旧版本和新版本的副本。升级完成后,只有新版本应该响应推理请求。

时间戳: 2024年2月13日

用户是否需要在建模目标上具有查看权限才能在 Ontology Function 中使用其部署之一?

是的,需要在目标上具有查看权限才能运行推理。

时间戳: 2024年3月12日

提交新模型到建模目标时,可能导致推理数据集无法搭建的原因是什么?

如果评估数据集、输入数据集或模型没有导入到与建模目标相同的项目中,则可能发生这种情况。确保将推理数据集的所有输入作为项目引用添加到建模目标所在的项目中。

时间戳: 2024年4月9日

部署套件是否支持直接模型部署?

部署套件当前不支持直接部署。

时间戳: 2024年9月17日