注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
资源队列用于限制可以同时使用的可用计算资源。计算资源的例子包括虚拟 CPU (vCPU) 和虚拟 GPU (vGPU)。
您的注册中可能无法使用流资源的资源队列。联系 Palantir 支持以获取更多信息。
资源队列属于一个注册,一个注册有一个 vCPU 和 vGPU 限制,这限制了通过资源队列允许的 vCPU 和 vGPU 的总量。换句话说,一个注册中所有资源队列的 vCPU 限制之和必须小于或等于注册的 vCPU 限制;相同的规则适用于队列 vGPU 限制和注册 vGPU 限制。
注册还有一个默认队列,所有项目都会自动分配到该队列,除非另有指定。此默认队列无法删除。
空间中的项目会自动分配到该空间的默认资源队列。空间的默认资源队列与注册的默认资源队列相同,除非另有配置。了解更多关于组织和空间及其与组织和注册的关系。
可以通过控制面板设置注册限制。打开控制面板,选择注册旁边的齿轮图标,然后选择设置资源限制。如果您没有权限设置注册限制,请联系您的 Palantir 代表。
资源队列是一个先入先出 (FIFO) 队列,用于限制可以同时使用的计算资源数量。资源队列限制了计算组中可用的服务级别资源的使用,如虚拟 CPU (vCPU) 和虚拟 GPU (vGPU)。
工作负载在项目中运行时请求资源,然后这些请求被排入资源队列。当资源队列已满时,请求必须等到队列中再次有空间。队列是先入先出;请求按请求创建的顺序处理。
然后,工作负载被发送到由资源队列指定的计算组运行,并在工作负载完成或终止后释放资源。
要创建资源队列,导航到资源管理应用程序,选择左侧的队列,然后选择新建。
目前有两种资源队列类型:vCPU 资源队列和 vGPU 资源队列。大多数工作负载只需要 CPU,因此大多数项目将由 vCPU 资源队列支持。需要 GPU 的工作负载必须发送到 vGPU 资源队列,因此只能在由 vGPU 资源队列支持的项目中运行。工作负载在项目中使用的 GPU 类型(例如,V100,T4)由工作负载将被路由到的计算组决定。该计算组与支持项目的资源队列相关联。了解更多关于计算组。
如果您希望在项目中使用 GPU,您必须创建一个 GPU 资源队列并将项目指派到该队列。例如,在训练机器学习模型时运行工作负载可能需要使用 GPU。了解更多关于模型集成。
确保您的注册级别 GPU 限制已设置以允许创建 GPU 资源队列。
一旦创建了资源队列并分配了您的项目,将一个 GPU 配置文件(如 DRIVER_GPU_ENABLED)导入到您的项目中并在您的代码库中使用它。了解更多关于导入 spark 配置文件。
每个项目可以指派到一个资源队列,或 vCPU 或 vGPU。如果一个项目被指派到一个 vGPU 队列,则任何不需要 GPU 的工作负载将进入默认 vCPU 队列。如果一个项目被指派到一个 vCPU 队列,它不能执行需要 GPU 的工作负载。
要查看和管理指派到资源队列的项目,请在查看该队列的详细信息时选择项目选项卡。
此功能可能并非在所有注册中可用。如果在查看资源队列的详细信息时未看到优先分支选项卡,请参阅上一节。
每个项目都指派到一个 vCPU 资源队列;非必填,项目也可以指派到一个 vGPU 资源队列。如果一个项目没有指派到一个 vGPU 队列,则它不能执行需要 GPU 的工作负载。
要查看和管理指派到资源队列的项目,请在查看该队列的详细信息时选择项目选项卡。项目的资源队列指派也可以在平台文件系统侧边栏的资源管理选项卡中查看。
优先分支用于支持需要专用计算资源的重要工作流程。例如,在开发过程中允许工作负载排队,但在生产中不允许。考虑使用来自代码库或管道构建器的受保护分支作为优先分支。
当为项目配置优先分支时,该分支上的工作负载使用指派给优先分支的资源队列。所有其他工作负载继续使用指派给项目的资源队列。与项目一样,每个优先分支都指派到一个 vCPU 资源队列,也可以非必填地指派到一个 vGPU 资源队列。
要查看或管理项目的优先分支设置,请选择下图所示的分支图标:
项目的优先分支设置也可以在平台文件系统侧边栏的资源管理选项卡中查看。
要查看和管理指派到资源队列的优先分支,请在查看该队列的详细信息时选择优先分支选项卡。
计算组是同质类型硬件资源的自动缩放组。例如,一个计算组可能有具有 16GB 内存和 4 个计算核心 (CPU) 的机器;另一个计算组可能有具有 16 个计算核心和 32GB 内存的 V100 GPU 的机器。计算组对 Foundry 用户可用,并受到资源队列的限制。