Spark プロファイルのリファレンス

このページは、Foundry で利用可能な Spark プロファイルのリファレンスです。Spark とプロファイルの詳細については、以下を参照してください。

• Spark の概念
• Spark プロファイルを適用する

ドライバーのコア数

このファミリーのプロファイルは、spark.driver.cores の値を設定します。

この値は、Spark ドライバーに割り当てる CPU コア数を制御します。実際には、同じ Spark モジュール内で多数の Spark ジョブが同時に実行される特殊なケースを除き、この値をオーバーライドする必要はありません。

ドライバーのメモリー

このファミリーのプロファイルは、spark.driver.memory の値を設定します。

この値は、Spark ドライバーの JVM に割り当てるメモリー量を制御します。大量のデータをドライバーに収集する場合や、大規模なブロードキャスト結合を実行する場合など、状況によってはこの値を増やす必要があります。

エグゼキューターのコア数

このファミリーのプロファイルは、spark.executor.cores の値を設定します。

この値は、各 Spark エグゼキューターに割り当てる CPU コア数を制御し、それによって各エグゼキューターで同時に実行されるタスク数を制御します。実際には、通常のトランスフォームジョブでこの値をオーバーライドする必要はほとんどありません。

エグゼキューターのメモリー

このファミリーのプロファイルは、spark.executor.memory の値と関連する設定を構成します。

この値は、各 Spark エグゼキューターの JVM に割り当てるメモリー量を制御します。このメモリーは、エグゼキューターで実行されるすべてのタスク（エグゼキューターのコア数のプロファイルで制御）間で共有されます。各 Spark タスクで処理するデータ量が非常に多い場合は、この値を増やす必要がある場合があります。

エグゼキューターのメモリーオーバーヘッド

このファミリーのプロファイルは、spark.executor.memoryOverhead の値を設定します。

この値は、Spark エグゼキューターの JVM メモリーに加えて、各コンテナに割り当てるメモリー量を制御します。ジョブが JVM の外部で大量のメモリーを必要とする場合は、この値を増やす必要がある場合があります。

エグゼキューター数

このファミリーのプロファイルは、spark.executor.instances の値と関連する設定を構成します。

この値は、ジョブの実行に要求するエグゼキューター数を制御します。この値を増やすと、並列で実行できるタスク数が増えます。そのため、使用するリソースが増える代わりに、パフォーマンスが向上します（ジョブに十分な並列性がある場合）。

実際には、組織の事情により非常に高速に実行する必要がある大規模なジョブでのみ、この値をオーバーライドする必要があります。

動的割り当て

このファミリーのプロファイルは、spark.dynamicAllocation.enabled、spark.dynamicAllocation.minExecutors、spark.dynamicAllocation.maxExecutors の値を設定します。

この設定は、固定数ではなくエグゼキューター数の範囲を指定することで、ジョブの実行に要求するエグゼキューター数を制御します。Spark は、要求するエグゼキューター数を maxExecutors まで増やし、不要になったエグゼキューターを解放します。これは、必要なエグゼキューター数が常に一定ではない場合や、場合によっては起動時間を短縮する際に役立つことがあります。モジュールが要求した maxExecutors の数のエグゼキューターを受け取れる保証はありません。また、エグゼキューター数が変動するため、実行ごとにパフォーマンスが異なる場合があります。

実際には、動的割り当ての利点と欠点を十分に理解したうえで、大規模なジョブでのみこの設定をオーバーライドする必要があります。

適応型クエリ実行

このファミリーのプロファイルは、適応型クエリ実行（AQE）を有効または無効にします。

AQE を有効にすると、Spark は実行時にパーティション数を自動的に設定し、ビルドが高速化される可能性があります。これにより、パーティション数が少なすぎて並列性が不足することや、小さなパーティションが多すぎてオーバーヘッドが過剰になることを回避します。

AQE は、パーティションあたりの出力サイズを64 MB にすることで、バランスを取ることを目指します。たとえば、合計出力サイズが512 MB の場合、約8個のパーティションが生成されます。

このファミリーのファイルサイズプロファイルを使用して、目標サイズを増やすことができます。書き込まれたデータが Contour の分析などで頻繁に読み取られる場合は、128 MB 以上のパーティションサイズを推奨します。

タスクあたりのコア数

これらのプロファイルは、spark.task.cpus の値を設定します。これらは「その他」のプロファイルファミリーに属します。

この値は、各タスクに割り当てるコア数を制御します。実際には、この値をオーバーライドする必要はほとんどありません。ジョブの並列性を制御したい場合は、代わりにエグゼキューターのコア数を確認してください。

Arrow

これらのプロファイルを使用して、Pandas と PySpark のデータフレーム間の変換で Arrow を有効または無効にします。Arrow を使用するには、トランスフォームが pyarrow パッケージに依存していることを確認してください。

Pandas データフレームを指定して spark.createDataFrame() を呼び出す場合や、toPandas() を呼び出す場合、Spark はすべての行をシリアライズして、 一方の形式からもう一方の形式に変換する必要があります。大規模なデータフレームでは、この処理は遅く、トランスフォームの ボトルネックになる可能性があります。Pandas トランスフォームを使用する場合、このシリアライズはデータの読み取り時と書き込み時の両方で行われます。

Arrow は、より効率的なシリアライズ形式であり、この変換を大幅に高速化します（Arrow の Web サイト ↗ で報告されています）。

Kubernetes

このファミリーのプロファイルは、Spark ジョブの実行方法に関する低レベルの詳細を制御します。

基盤となるマシンの CPU アーキテクチャに依存するライブラリを使用する場合、プロファイルを使用して、特定のアーキテクチャ上で Spark ジョブを強制的に実行できます。一部の環境では、AMD アーキテクチャのマシンにしかアクセスできません。ARM アーキテクチャのオーバーライドを使用するジョブは、そのような環境では成功しません。

KUBERNETES_OPEN_PORTS_ALL プロファイルは、Spark エグゼキューター間のネットワーク通信を有効にします。これは、分散モデル学習に必要です。

列の統計情報

このプロファイルは、min、max、mean の値を含む列ごとの統計情報の計算を有効にします。このプロファイルはデフォルトで false に設定されています。つまり、列ごとの null 件数と、行数などのデータセットレベルのメトリクスのみが計算されます。

プロファイルテーブル