流式配置文件

在使用Palantir平台进行流式处理时，Flink运行环境的所有配置方面都为您管理，包括Flink任务配置的合理和具成本效益的默认设置。在大多数情况下，您无需自行配置任何内容，即可在Flink计算引擎上高效地开始运行任务。

然而，有时您的任务可能需要比Foundry流式处理默认提供的更多资源。这些资源可能包括额外的并行度（例如，如果您的流具有非常高的吞吐量）或JobManagers或TaskManagers所需的额外资源，如果您有非常大的状态或非常大的记录时可能需要这些资源。

对于这些需要额外资源的情况，Palantir提供了一组可用于调整特定配置选项的任务配置文件。请注意，我们仅提供对有限的Flink配置集的访问，因为Palantir流式平台可以为您管理大多数事情。

类似于代码库中的Spark配置文件，每个流式任务配置文件管理流式任务资源需求的特定组件，流式任务配置文件可以相互组合以满足您的应用案例需求。

何时使用流式配置文件

通常，您在平台中不需要使用流式配置文件，因为我们的默认流式配置旨在为大多数应用案例提供高效且具成本效益的表现。然而，我们建议仅在您遇到以下与流式任务相关的特定问题时使用流式配置文件：

• 非常高的吞吐量
• 非常大的记录
• 非常大的状态需求

您可以通过考虑任务需求、JobTracker界面中可用的日志和出错信息以及对Flink的基本理解来决定需要哪些额外的配置文件。

设置流式配置文件

流式配置文件的设置界面将根据您使用Foundry流式平台的位置而有所不同。

在大多数情况下，在设置流式应用案例时，您会注意到一个选择框，列出了所有可用的流式配置文件。例如，在Pipeline Builder中，您可以通过选择部署按钮旁边的搭建设置查看可配置的流式配置文件列表：

此外，Pipeline Builder允许您通过高级配置文件选项组合这些配置文件的不同方面：

请注意，您可用的流式配置文件选择可能会根据您使用的应用程序以及任何其他安全性或可见性要求而有所不同。

管理流式配置文件

由于流式配置文件可用于确定分配给持续运行的流式任务的总资源数量，因此对这些配置文件施加了一些管理控制以管理流式成本。

项目引用

在Palantir平台中，项目定义了相关工作的概念边界和应用及管理访问的安全边界。默认的安全性和管理控制应用于项目级别。通常，使用数据或资源需要它们存在于或导入到您当前的项目中，从而授予它们项目引用。您可以在项目工作区侧面板的引用部分中查看项目中的所有引用。

应用于流式配置文件的主要管理控制是要求它们被添加为与相关流式管道或应用程序相同项目的项目引用。如果您尝试使用未导入到项目的流式配置文件，您的任务将失败，并出错提示此缺失的要求。

通过使用项目引用作为管理控制，更高级的用户可以被授予代表其他用户将配置文件导入项目的能力。这允许管理员在细粒度级别控制流式配置文件的使用，同时允许更多的操作用户使用他们被授予访问权限的配置文件。

将配置文件导入为项目引用

通常，配置文件将在相关应用程序中通过使用配置文件选择器组件自动导入到项目中。例如，Pipeline Builder中的配置文件选择器将自动导入所选配置文件。

所有用户都可以将大多数配置文件作为项目引用导入到他们的项目中，前提是他们有足够的权限来导入资源。这通常意味着用户已被指派了一个角色，该角色授予他们在项目上compass:import-resource-to权限。您可以通过导航到用户设置中的角色标签找到角色配置。使用页面上的筛选操作...搜索工具搜索权限。

要查看所有可用流式配置文件的列表，请访问控制面板的“注册设置”部分中的“流式配置文件”标签。从这里，您可以选择任何特定的配置文件，查看该配置文件作为项目引用添加到的所有项目（您有访问权限），并将其导入到新项目中。您还可以从其已导入的项目中删除配置文件的引用；但请注意，这将破坏依赖于该配置文件的项目中的任何流式任务，因为我们要求将配置文件导入与流式任务相同的项目中才能使用。

使用大型流式配置文件

对于授予大量资源的配置文件，必须在控制面板的注册设置部分中使用流式配置文件标签创建项目引用。此设置仅对被指定为注册资源管理员的用户启用。这些管理员可以在注册权限标签中被指派，并可以将受限配置文件导入到他们有访问权限的任何项目中。

一旦管理员将配置文件导入到项目中，任何有权访问该项目的用户都可以使用该配置文件。