模型集成集成模型Language models将语言模型导入Foundry

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

将语言模型导入Foundry

Foundry允许您无需编写代码即可将开源语言模型导入到您的Foundry工作流程中。这些语言模型可以提交到建模目标中,以用于批处理实时部署。

要使用其他语言模型,您也可以轻松地为新语言模型添加支持。关于下文中使用的模型适配器的详细信息,请参阅语言模型适配器的文档。

导入语言模型

支持的开源模型可以通过以下步骤集成,无需编写任何代码:

  1. 创建一个新的或打开一个现有的建模目标,在其中添加语言模型。在建模目标中,选择添加模型

空建模目标

  1. 选择选项导入开源模型

在建模目标中添加开源模型语言模型

  1. 选择一个可用的模型,然后选择下一步

在建模目标中选择开源模型语言模型

  1. 选择创建的模型资源将在Foundry中保存的位置,并决定是否要创建一个沙盒部署

    Foundry为可用的开源语言模型提供默认的模型适配器。不过,您也可以配置一个自定义模型适配器

在建模目标中配置开源语言模型

  1. 如果您创建了沙盒部署,您将被重定向到该沙盒部署以开始推理。

在建模目标中使用开源语言模型进行实时推理

新的实时部署的第一次查询可能比后续请求花费更长时间。

每个语言模型的使用说明将取决于所用的具体模型适配器

了解更多关于Foundry为上述开源语言模型提供的模型适配器的信息。