Spark配置文件参考

此页面是Foundry中可用的Spark配置文件的参考资料。了解更多关于Spark和配置文件的信息：

• Spark概念
• 应用Spark配置文件

驱动核心数

此系列的配置文件配置spark.driver.cores的值。

这控制了分配给spark驱动程序的CPU核心数。实际上，除非在同一个spark模块中同时运行许多spark任务的特殊情况，否则不需要覆盖这个设置。

驱动内存

此系列的配置文件配置spark.driver.memory的值。

这控制了分配给spark驱动程序JVM的内存量。在某些情况下可能需要增加此值，例如当将大量数据收集回驱动程序时，或者在执行大型广播合并时。

执行器核心数

此系列的配置文件配置spark.executor.cores的值。

这控制了分配给每个spark执行器的CPU核心数，进而控制每个执行器中同时运行的任务数。实际上，在正常的变换任务中，几乎不需要覆盖此设置。

执行器内存

此系列的配置文件配置spark.executor.memory及相关设置的值。

这控制了分配给每个spark执行器JVM的内存量。如果每个spark任务处理的数据量非常大，可能需要增加此值。

执行器内存开销

此系列的配置文件配置spark.executor.memoryOverhead的值。

这控制了分配给每个容器的内存量，除了spark执行器JVM内存之外。如果您的任务需要大量JVM外部的内存，可能需要增加此值。

执行器数量

此系列的配置文件配置spark.executor.instances及相关设置的值。

这控制了运行任务所请求的执行器数量。增加此值会增加可以并行运行的任务数，从而提高性能（前提是任务足够并行），但会消耗更多资源。

实际上，只有在需要特别快速运行的大型任务中才需要覆盖此设置。

动态分配

此系列的配置文件配置spark.dynamicAllocation.enabled、spark.dynamicAllocation.minExecutors和spark.dynamicAllocation.maxExecutors的值。

这通过指定一个执行器范围而不是固定数量来控制运行任务所请求的执行器数量。Spark会将请求的执行器数量扩展到maxExecutors，并在不需要时释放执行器，这在所需的执行器数量不一致时或某些情况下用于加快启动时间可能很有帮助。模块不能保证接收到请求的maxExecutors数量，由于执行器数量可变，性能可能会有所不同。

实际上，只有在对动态分配的优缺点有特定了解的大型任务中才需要覆盖此设置。

自适应查询执行

此系列的配置文件启用和禁用自适应查询执行（AQE）。

启用AQE后，Spark将自动在运行时设置分区数，可能会加快您的搭建速度。它可以避免分区过少导致并行度不足，和分区过多导致开销过大。

AQE目标是每个分区的平衡输出大小为64 MB。例如，总输出大小为512 MB将产生约8个分区。

您可以使用此系列的文件大小配置文件增加目标大小。如果写入的数据经常被读取，例如在轮廓分析中，建议使用128MB及更大的分区大小。

每个任务的核心数

此系列的配置文件配置spark.task.cpus的值。

这控制了为每个任务分配的核心数。实际上，这应该很少需要覆盖。如果您想控制任务的并行度，应该查看执行器核心数。

Arrow

使用这些配置文件启用或禁用Arrow以进行Pandas和PySpark数据框架之间的转换。要使用Arrow，请确保您的变换依赖于pyarrow包。

当使用Pandas数据框调用spark.createDataFrame()或toPandas()时，Spark必须序列化所有行以将它们从一种格式转换为另一种格式。对于大型数据框，这个过程很慢，可能会成为变换的瓶颈。在使用Pandas变换时，这种序列化在读取和写入数据时都会发生。

Arrow是一种更高效的序列化格式，可以显著加快这种转换（如Arrow网站↗所述）。

Kubernetes

此系列的配置文件控制您的Spark任务执行的低级细节。

当使用与底层机器的CPU架构无关的库时，您可以使用配置文件强制Spark任务在特定架构上运行。请注意，某些环境只能访问具有AMD架构的机器；在这些环境中，使用ARM架构覆盖的任务将不会成功。

配置文件表