データ接続と統合Pipeline Builderパイプライン管理ビルド設定

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

ビルド設定

このページでは、バッチパイプラインおよびストリーミングパイプラインのパフォーマンスを調整するために使用できる、Pipeline Builder のビルド設定について説明します。

画面右上のデプロイの横にある設定アイコンを選択すると、パイプラインの Build 設定を編集できます。

「ビルド設定」ドロップダウンメニューのスクリーンショット。

バッチパイプライン

バッチコンピュートプロファイル

Build 設定では、次のバッチコンピュートプロファイルを選択できます。選択したコンピュートプロファイルの下にある仕様ドロップダウンメニューでも、これらの仕様を確認できます。

コンピュートプロファイルの権限

標準の Spark ベースのバッチパイプラインにおけるコンピュートプロファイルへのアクセスは、プロジェクトレベルで設定されます。プロファイルは次の2つの階層に分かれています。

  • 自動インポートされるプロファイル(極小、小、中):プロジェクトに自動的にインポートされ、追加のセットアップなしで利用できます。
  • 自動インポートされないプロファイル(大、特大):使用する前にプロジェクトにインポートする必要があります。インポートには、Compass プロジェクトの編集者ロールまたは所有者ロールと、Resource Management の管理者ロールの両方が必要です。

プロジェクトにインポートされていない大または特大のプロファイルを選択すると、Pipeline Builder はデプロイ時にエラーを表示します。必要な権限がある場合は、コンピュートプロファイルをインポートを選択して、不足しているプロファイルをインポートします。必要な権限がない場合、大および特大のプロファイルは選択用ドロップダウンに無効な状態で表示されます。

大または特大のプロファイルを使用している既存のパイプラインは、操作を行わなくても引き続き実行されます。

Control Panel の Pipeline Builder セクションから、エンロールメント全体のコンピュートプロファイルのインポートを管理できます。詳細については、コンピュートプロファイルの権限を設定するを参照してください。

コンピュートプロファイルの権限は、標準の Spark ベースのバッチパイプラインにのみ適用されます。ストリーミングパイプラインおよび高速バッチパイプラインは、これらの権限要件の影響を受けません。

標準プロファイル

プロファイルドライバーのコア数ドライバーのメモリー動的割り当ての最小エグゼキューター数動的割り当ての最大エグゼキューター数エグゼキューターのコア数エグゼキューターのメモリー最大合計コア数
極小14GBN/AN/AN/AN/A1
小12GB1213GB3
中16GB21626GB33
大113GB23226GB65
XXL127GB212826GB257

ウォームプールプロファイル

ウォームプールプロファイルは、継続的に稼働する仮想マシンを使用し、ジョブを同時に実行することで、ジョブの起動遅延とリソース消費を削減できます。

プロファイルドライバーのコア数ドライバーのメモリー動的割り当ての最小エグゼキューター数動的割り当ての最大エグゼキューター数エグゼキューターのコア数エグゼキューターのメモリー最大合計コア数
ウォームプール極小313GBN/AN/AN/AN/A3
ウォームプール小37GB1613GB9

ウォームプールプロファイルを使用してパイプラインをビルドする際に実際に使用されるリソースは、仕様パネルに表示されるリソースを大幅に下回る場合があります。ウォームプールプロファイルでは、同じ仮想マシン上で複数のジョブを同時に実行する共有モジュールを使用し、各ジョブは利用可能なリソース全体の一部のみを消費します。

ネイティブアクセラレーションプロファイル

ネイティブアクセラレーションプロファイルは、ネイティブコンピュート用にオフヒープメモリーを割り当て、大規模なワークロードのビルドを高速化します。

プロファイルドライバーのコア数ドライバーのメモリー動的割り当ての最小エグゼキューター数動的割り当ての最大エグゼキューター数エグゼキューターのコア数エグゼキューターのメモリーエグゼキューターのオフヒープメモリー最大合計コア数
ネイティブ高速化(小)12GB121600MB2400MB3
ネイティブ高速化(中)16GB21621200MB4800MB33
ネイティブ高速化(大)113GB23221200MB4800MB65
ネイティブ高速化(XXL)127GB212821200MB4800MB257

高速コンピュートプロファイル

高速コンピュートプロファイルは、高速バッチパイプラインでのみ利用できます。

プロファイルサイズコア数メモリー
小17.5GB
中215GB
大430GB
XXL860GB
XXL16120GB

選択したコンピュートプロファイルの下にある仕様ドロップダウンメニューでも、これらの仕様を確認できます。

マネージドプロファイル

どの標準コンピュートプロファイルでも、「マネージドプロファイル」にするオプションを利用できます。マネージドプロファイルは、ジョブの使用量が割り当てられた容量を継続的に下回る場合に、コンピュートリソースを自動的に縮小することで、リソース使用量の最適化を支援するように設計されています。

マネージドプロファイルオプションを有効にすると、プラットフォームは特定のデプロイについて直近5回のビルドのリソース使用量を分析します。パイプラインのビルドで使用されるコンピュートリソースが継続的に少ない場合、以降のビルドのコンピュートリソースは自動的に縮小されます。コンピュートリソースが、最初に選択した割り当て量を超えて増加することはありません。調整は、選択したプリセットプロファイルの範囲に限定されません。マネージドプロファイル戦略は、実際の使用パターンに基づいてカスタムのコンピュートレベルを割り当てます。

マネージドプロファイルを有効にする

マネージドプロファイルを有効にするには、ビルド設定でコンピュートプロファイルダイアログを開き、プロファイル管理戦略の下にあるマネージドプロファイルを選択します。

ドロップダウンメニューの「マネージドプロファイル」オプションのスクリーンショット。

ウォームプール

ウォームプールコンピュートプロファイルは、継続的に稼働する仮想マシンの自動スケーリングプールを使用して、ジョブの起動遅延を最小限に抑えます。1台の仮想マシン上で最大3個のジョブが同時に実行され、各ジョブはその仮想マシンで利用可能なリソース全体の一部を消費します。

ウォームプールを活用すると、ジョブはすぐに処理を開始でき、ビルド全体の時間が短縮されます。極小プロファイルで最大30分かかるジョブなど、小規模なビルドに推奨されます。

ウォームプールの制限事項

ウォームプールプロファイルには、次の制限事項があります。

  • 対応プロファイル: ウォームプールは、極小および小の Spark プロファイルでサポートされています。中以上のプロファイルは、ウォームプールをサポートしていません。
  • UDF サポート: ユーザー定義関数(UDF)を使用するパイプラインは、ウォームプールプロファイルでは実行できません。
  • Build ログ: ウォームプールプロファイルを使用すると、ビルドログが不完全な状態、または削減された状態で表示される場合があります。ジョブの失敗をデバッグするために完全なログが必要な場合は、コンピュートプロファイルのウォームプール設定を無効にしてジョブを再実行し、完全なログ出力を取得します。

ウォームプールを有効にする

ウォームプールを有効にするには、コンピュートプロファイルダイアログでウォームプールをオンにします。

プロファイル管理戦略ドロップダウンメニューの「ウォームプール」オプションのスクリーンショット。

ネイティブアクセラレーション

Pipeline Builder で Velox ↗ によるバッチパイプラインのネイティブアクセラレーションを有効にすると、パフォーマンスを向上できます。

Foundry のネイティブアクセラレーションの詳細を確認する。

ネイティブアクセラレーションを有効にする

デプロイの横にある設定アイコンを選択すると、パイプラインのビルド設定を編集できます。ネイティブアクセラレーションの設定には、小、中、大のコンピュートサイズ向けに事前設定されたプロファイルが含まれています。これらは、メモリー使用量の合計に基づき、デフォルトの小、中、大のサイズに対応しています(ローカルモードはありません)。ネイティブアクセラレーションを使用して初めてパイプラインを実行する場合は、これらの事前設定されたプロファイルを推奨します。

ビルド設定ドロップダウンのスクリーンショット

詳細設定が可能なネイティブアクセラレーションのプロファイルもあり、オンヒープとオフヒープのメモリー比率に加え、ビルドのリソースやコンピュートに影響するほかのすべての設定を指定できます。

ビルド設定ドロップダウンのスクリーンショット

ほとんどの場合、事前設定されたネイティブアクセラレーションのプロファイルを選択するだけで、パイプラインを高速化できます。ネイティブアクセラレーションを使用しないビルドでは発生しないメモリー不足(OOM)やパフォーマンスの低下が発生する場合は、メモリー設定が最適でない可能性があります。多くの場合、詳細設定用のプロファイルに切り替え、オフヒープに割り当てるメモリーの割合を減らすことで問題を解決できます。問題が解決しない場合は、パイプラインがネイティブアクセラレーションに適していない可能性が高いため、デフォルトの実行プロファイルを引き続き使用してください。

ネイティブアクセラレーションのメモリー設定に関する考慮事項

Foundry でネイティブアクセラレーションを使用して Spark を実行するには、通常のバッチパイプラインとは少し異なる設定が必要です。Spark は、オフヒープメモリー ↗ を使用した一部の演算の実行をサポートしています。オフヒープメモリーは JVM によって管理されないメモリーであり、GC のオーバーヘッドをなくしてパフォーマンスを向上させます。

オフヒープメモリーを有効にするとパイプラインのメンテナンスコストが増える可能性があるため、Foundry ではデフォルトで有効にしていません。Velox によって変更される DataFrame は、ネイティブプロセスからアクセスできるようにオフヒープに配置する必要があるため、ネイティブアクセラレーションにはオフヒープメモリーの有効化が必要です。

Foundry では、Velox によるデータ変換以外のすべての処理に、引き続き十分なオンヒープメモリーが必要です(たとえば、オーケストレーション、スケジューリング、ビルド管理のコードは引き続き JVM で実行されます)。ただし、理想的には、処理の大部分はオフヒープで実行されるようになります。ネイティブアクセラレーションを使用するようにパイプラインを設定すると、オンヒープメモリーとオフヒープメモリーのバランスを調整するためのメンテナンスコストが増えます。Pipeline Builder では、この調整を支援するマネージドプロファイルが提供されますが、カスタム設定が必要になる場合もあります。

一部のワークロードはネイティブアクセラレーションに適していません。特に、テキストのチャンク分割や埋め込みの生成など、LLM や埋め込みのデータ加工を使用するパイプラインでは、これらの処理をネイティブのオフヒープ実行にオフロードできません。このようなパイプラインでネイティブアクセラレーションを有効にすると、オンヒープメモリーが減少するため、大きなコンピュートプロファイルを使用していても、シャッフルステージでエグゼキューターのメモリー不足エラーが発生する可能性があります。これらのワークロードには、代わりに標準の(ネイティブアクセラレーションを使用しない)コンピュートプロファイルを使用してください。

ストリーミングパイプライン

ストリーミングのコンピュートプロファイル

ビルド設定では、次のコンピュートプロファイルを選択できます。

プロファイルJob Manager のメモリー並列度Task Manager のメモリー
超極小1GB11GB
極小1GB11GB
小1GB24GB
中1GB36GB
大2GB48GB
XLarge2GB812GB

最大実行時間

ストリーミングパイプラインのジョブに最大実行時間を設定できます。この設定では、1分から7日までの最大実行時間を指定できます。最大実行時間に達すると、ストリーミングジョブは自動的に停止します。

最大実行時間を設定するには、次の手順に従います。

  1. 画面の右上にあるデプロイの横の設定アイコンを選択します。
  2. ストリーミングパイプラインの設定で、ジョブの最大実行時間を設定を見つけます。
  3. 1分から7日までの範囲で、希望する実行時間を指定します。

メインブランチ以外のブランチでは、ジョブの最大実行時間を設定がデフォルトで有効になっており、実行時間の上限は1日です。

ストリームの動作

Flink パイプラインでは、ビルド設定パネルのストリームの動作セクションで、データの整合性保証を設定できます。この設定によって、パイプラインがメッセージの配送セマンティクスをどのように扱うかが決まります。

専用のピッカーを使用して、少なくとも1回などの整合性保証を選択します。設定した整合性保証は、デプロイパネルのプレビュー行に表示されます。整合性保証が設定されていない場合、デプロイパネルに警告が表示されます。

外部パイプライン

外部パイプラインは、Databricks や Snowflake などの外部エンジンにコンピュート処理をプッシュダウンします。外部パイプラインのコンピュートプロファイル設定は、バッチパイプラインやストリーミングパイプラインとは異なります。

Databricks や Snowflake のオプションを含む、外部パイプラインのコンピュートプロファイルの設定については、Pipeline Builder の外部パイプラインを参照してください。