注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、バッチパイプラインおよびストリーミングパイプラインのパフォーマンスを調整するために使用できる、Pipeline Builder のビルド設定について説明します。
画面右上のデプロイの横にある設定アイコンを選択すると、パイプラインの Build 設定を編集できます。

Build 設定では、次のバッチコンピュートプロファイルを選択できます。選択したコンピュートプロファイルの下にある仕様ドロップダウンメニューでも、これらの仕様を確認できます。
標準の Spark ベースのバッチパイプラインにおけるコンピュートプロファイルへのアクセスは、プロジェクトレベルで設定されます。プロファイルは次の2つの階層に分かれています。
プロジェクトにインポートされていない大または特大のプロファイルを選択すると、Pipeline Builder はデプロイ時にエラーを表示します。必要な権限がある場合は、コンピュートプロファイルをインポートを選択して、不足しているプロファイルをインポートします。必要な権限がない場合、大および特大のプロファイルは選択用ドロップダウンに無効な状態で表示されます。
大または特大のプロファイルを使用している既存のパイプラインは、操作を行わなくても引き続き実行されます。
Control Panel の Pipeline Builder セクションから、エンロールメント全体のコンピュートプロファイルのインポートを管理できます。詳細については、コンピュートプロファイルの権限を設定するを参照してください。
コンピュートプロファイルの権限は、標準の Spark ベースのバッチパイプラインにのみ適用されます。ストリーミングパイプラインおよび高速バッチパイプラインは、これらの権限要件の影響を受けません。
| プロファイル | ドライバーのコア数 | ドライバーのメモリー | 動的割り当ての最小エグゼキューター数 | 動的割り当ての最大エグゼキューター数 | エグゼキューターのコア数 | エグゼキューターのメモリー | 最大合計コア数 |
|---|---|---|---|---|---|---|---|
| 極小 | 1 | 4GB | N/A | N/A | N/A | N/A | 1 |
| 小 | 1 | 2GB | 1 | 2 | 1 | 3GB | 3 |
| 中 | 1 | 6GB | 2 | 16 | 2 | 6GB | 33 |
| 大 | 1 | 13GB | 2 | 32 | 2 | 6GB | 65 |
| XXL | 1 | 27GB | 2 | 128 | 2 | 6GB | 257 |
ウォームプールプロファイルは、継続的に稼働する仮想マシンを使用し、ジョブを同時に実行することで、ジョブの起動遅延とリソース消費を削減できます。
| プロファイル | ドライバーのコア数 | ドライバーのメモリー | 動的割り当ての最小エグゼキューター数 | 動的割り当ての最大エグゼキューター数 | エグゼキューターのコア数 | エグゼキューターのメモリー | 最大合計コア数 |
|---|---|---|---|---|---|---|---|
| ウォームプール極小 | 3 | 13GB | N/A | N/A | N/A | N/A | 3 |
| ウォームプール小 | 3 | 7GB | 1 | 6 | 1 | 3GB | 9 |
ウォームプールプロファイルを使用してパイプラインをビルドする際に実際に使用されるリソースは、仕様パネルに表示されるリソースを大幅に下回る場合があります。ウォームプールプロファイルでは、同じ仮想マシン上で複数のジョブを同時に実行する共有モジュールを使用し、各ジョブは利用可能なリソース全体の一部のみを消費します。
ネイティブアクセラレーションプロファイルは、ネイティブコンピュート用にオフヒープメモリーを割り当て、大規模なワークロードのビルドを高速化します。
| プロファイル | ドライバーのコア数 | ドライバーのメモリー | 動的割り当ての最小エグゼキューター数 | 動的割り当ての最大エグゼキューター数 | エグゼキューターのコア数 | エグゼキューターのメモリー | エグゼキューターのオフヒープメモリー | 最大合計コア数 |
|---|---|---|---|---|---|---|---|---|
| ネイティブ高速化(小) | 1 | 2GB | 1 | 2 | 1 | 600MB | 2400MB | 3 |
| ネイティブ高速化(中) | 1 | 6GB | 2 | 16 | 2 | 1200MB | 4800MB | 33 |
| ネイティブ高速化(大) | 1 | 13GB | 2 | 32 | 2 | 1200MB | 4800MB | 65 |
| ネイティブ高速化(XXL) | 1 | 27GB | 2 | 128 | 2 | 1200MB | 4800MB | 257 |
高速コンピュートプロファイルは、高速バッチパイプラインでのみ利用できます。
| プロファイルサイズ | コア数 | メモリー |
|---|---|---|
| 小 | 1 | 7.5GB |
| 中 | 2 | 15GB |
| 大 | 4 | 30GB |
| XXL | 8 | 60GB |
| XXL | 16 | 120GB |
選択したコンピュートプロファイルの下にある仕様ドロップダウンメニューでも、これらの仕様を確認できます。
どの標準コンピュートプロファイルでも、「マネージドプロファイル」にするオプションを利用できます。マネージドプロファイルは、ジョブの使用量が割り当てられた容量を継続的に下回る場合に、コンピュートリソースを自動的に縮小することで、リソース使用量の最適化を支援するように設計されています。
マネージドプロファイルオプションを有効にすると、プラットフォームは特定のデプロイについて直近5回のビルドのリソース使用量を分析します。パイプラインのビルドで使用されるコンピュートリソースが継続的に少ない場合、以降のビルドのコンピュートリソースは自動的に縮小されます。コンピュートリソースが、最初に選択した割り当て量を超えて増加することはありません。調整は、選択したプリセットプロファイルの範囲に限定されません。マネージドプロファイル戦略は、実際の使用パターンに基づいてカスタムのコンピュートレベルを割り当てます。
マネージドプロファイルを有効にするには、ビルド設定でコンピュートプロファイルダイアログを開き、プロファイル管理戦略の下にあるマネージドプロファイルを選択します。

ウォームプールコンピュートプロファイルは、継続的に稼働する仮想マシンの自動スケーリングプールを使用して、ジョブの起動遅延を最小限に抑えます。1台の仮想マシン上で最大3個のジョブが同時に実行され、各ジョブはその仮想マシンで利用可能なリソース全体の一部を消費します。
ウォームプールを活用すると、ジョブはすぐに処理を開始でき、ビルド全体の時間が短縮されます。極小プロファイルで最大30分かかるジョブなど、小規模なビルドに推奨されます。
ウォームプールプロファイルには、次の制限事項があります。
ウォームプールを有効にするには、コンピュートプロファイルダイアログでウォームプールをオンにします。

Pipeline Builder で Velox ↗ によるバッチパイプラインのネイティブアクセラレーションを有効にすると、パフォーマンスを向上できます。
Foundry のネイティブアクセラレーションの詳細を確認する。
デプロイの横にある設定アイコンを選択すると、パイプラインのビルド設定を編集できます。ネイティブアクセラレーションの設定には、小、中、大のコンピュートサイズ向けに事前設定されたプロファイルが含まれています。これらは、メモリー使用量の合計に基づき、デフォルトの小、中、大のサイズに対応しています(ローカルモードはありません)。ネイティブアクセラレーションを使用して初めてパイプラインを実行する場合は、これらの事前設定されたプロファイルを推奨します。

詳細設定が可能なネイティブアクセラレーションのプロファイルもあり、オンヒープとオフヒープのメモリー比率に加え、ビルドのリソースやコンピュートに影響するほかのすべての設定を指定できます。

ほとんどの場合、事前設定されたネイティブアクセラレーションのプロファイルを選択するだけで、パイプラインを高速化できます。ネイティブアクセラレーションを使用しないビルドでは発生しないメモリー不足(OOM)やパフォーマンスの低下が発生する場合は、メモリー設定が最適でない可能性があります。多くの場合、詳細設定用のプロファイルに切り替え、オフヒープに割り当てるメモリーの割合を減らすことで問題を解決できます。問題が解決しない場合は、パイプラインがネイティブアクセラレーションに適していない可能性が高いため、デフォルトの実行プロファイルを引き続き使用してください。
Foundry でネイティブアクセラレーションを使用して Spark を実行するには、通常のバッチパイプラインとは少し異なる設定が必要です。Spark は、オフヒープメモリー ↗ を使用した一部の演算の実行をサポートしています。オフヒープメモリーは JVM によって管理されないメモリーであり、GC のオーバーヘッドをなくしてパフォーマンスを向上させます。
オフヒープメモリーを有効にするとパイプラインのメンテナンスコストが増える可能性があるため、Foundry ではデフォルトで有効にしていません。Velox によって変更される DataFrame は、ネイティブプロセスからアクセスできるようにオフヒープに配置する必要があるため、ネイティブアクセラレーションにはオフヒープメモリーの有効化が必要です。
Foundry では、Velox によるデータ変換以外のすべての処理に、引き続き十分なオンヒープメモリーが必要です(たとえば、オーケストレーション、スケジューリング、ビルド管理のコードは引き続き JVM で実行されます)。ただし、理想的には、処理の大部分はオフヒープで実行されるようになります。ネイティブアクセラレーションを使用するようにパイプラインを設定すると、オンヒープメモリーとオフヒープメモリーのバランスを調整するためのメンテナンスコストが増えます。Pipeline Builder では、この調整を支援するマネージドプロファイルが提供されますが、カスタム設定が必要になる場合もあります。
一部のワークロードはネイティブアクセラレーションに適していません。特に、テキストのチャンク分割や埋め込みの生成など、LLM や埋め込みのデータ加工を使用するパイプラインでは、これらの処理をネイティブのオフヒープ実行にオフロードできません。このようなパイプラインでネイティブアクセラレーションを有効にすると、オンヒープメモリーが減少するため、大きなコンピュートプロファイルを使用していても、シャッフルステージでエグゼキューターのメモリー不足エラーが発生する可能性があります。これらのワークロードには、代わりに標準の(ネイティブアクセラレーションを使用しない)コンピュートプロファイルを使用してください。
ビルド設定では、次のコンピュートプロファイルを選択できます。
| プロファイル | Job Manager のメモリー | 並列度 | Task Manager のメモリー |
|---|---|---|---|
| 超極小 | 1GB | 1 | 1GB |
| 極小 | 1GB | 1 | 1GB |
| 小 | 1GB | 2 | 4GB |
| 中 | 1GB | 3 | 6GB |
| 大 | 2GB | 4 | 8GB |
| XLarge | 2GB | 8 | 12GB |
ストリーミングパイプラインのジョブに最大実行時間を設定できます。この設定では、1分から7日までの最大実行時間を指定できます。最大実行時間に達すると、ストリーミングジョブは自動的に停止します。
最大実行時間を設定するには、次の手順に従います。
メインブランチ以外のブランチでは、ジョブの最大実行時間を設定がデフォルトで有効になっており、実行時間の上限は1日です。
Flink パイプラインでは、ビルド設定パネルのストリームの動作セクションで、データの整合性保証を設定できます。この設定によって、パイプラインがメッセージの配送セマンティクスをどのように扱うかが決まります。
専用のピッカーを使用して、少なくとも1回などの整合性保証を選択します。設定した整合性保証は、デプロイパネルのプレビュー行に表示されます。整合性保証が設定されていない場合、デプロイパネルに警告が表示されます。
外部パイプラインは、Databricks や Snowflake などの外部エンジンにコンピュート処理をプッシュダウンします。外部パイプラインのコンピュートプロファイル設定は、バッチパイプラインやストリーミングパイプラインとは異なります。
Databricks や Snowflake のオプションを含む、外部パイプラインのコンピュートプロファイルの設定については、Pipeline Builder の外部パイプラインを参照してください。