データ接続と統合Code Repositoriesリポジトリの管理コンピュート使用量

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Code Repositories でのコンピュート使用量

Code Repositories でビルドを実行するには、コンピュート秒で測定されるリソースである Foundry コンピュートを使用する必要があります。このドキュメントでは、ビルドがコンピュートをどのように使用するかを説明し、製品内でコンピュート使用量を調査、管理するための情報を提供します。

1個以上のデータセットに対してトランスフォームのビルドを実行すると、Foundry はトランスフォームのロジックをサーバーレスコンピュートクラスターに取り込み、コードを実行します。ビルドの所要時間と規模は、コードの複雑さ、入力データセットと出力データセットのサイズ、およびコードに設定された Spark 計算プロファイルによって異なります。

入力データセットに対してコードを実行する際は、並列化された計算の実行に Foundry コンピュート(Foundry コンピュート秒で測定)が必要となり、変換の出力を Foundry Storage に書き込む際には Foundry ストレージが必要となります。コードを記述するだけではコンピュート使用量は発生しません。コンピュート使用量が発生するのは、データセットをビルドするときのみです。

Foundry コンピュートを測定する

Code Repositories を支えるトランスフォームエンジンは、バックエンドで並列計算を使用し、その多くはスケーラブルな計算フレームワークである Spark で実行されます。Code Repositories のトランスフォームは、ジョブの実行時間中に使用される Foundry コンピュート秒の合計で測定されます。コンピュート秒は、入力データセットの読み取り、コードの実行(I/O 待機などの操作を含む)、および出力データセットの Foundry への書き戻しにかかる時間を含め、ジョブの全期間にわたって測定されます。

並列計算を利用するようにトランスフォームを設定できます。コンピュート秒は、実経過時間ではなくコンピュートの実行時間を測定するため、並列トランスフォームでは実経過時間の1秒あたり複数のコンピュート秒が発生します。Code Repositories のジョブで、並列化された計算を Foundry コンピュート秒として測定する方法の詳細は、以下の例をご覧ください。

Foundry の使用料金を支払う際のデフォルトの使用料倍率は、次のとおりです。

Palantir とエンタープライズ契約を結んでいる場合、使用料倍率は以下に記載されたデフォルトの倍率と異なることがあります。コンピュート使用量の計算を進める前に、Palantir の担当者にお問い合わせください。

vCPU / GPU使用料倍率
vCPU1
T4 GPU1.2
V100 GPU3
A100 GPU1.3
A10G GPU1.5
L4 GPU2.1
H100 GPU4.7
H200 GPU4.7
B200 GPU5.7
B300 GPU7.1
RTX PRO 6000 GPU3.5

Code Repositories での Foundry コンピュート使用量を調査する

使用量の情報は、使用量メトリクスを掘り下げて確認できる Resource Management アプリケーションで確認できます。

Foundry コンピュート使用量はビルドによって発生しますが、その使用量は関連付けられた長期存続するリソースに対して記録されます。データセットのトランスフォームの場合、そのリソースはジョブによって実体化されたデータセットです。データセットの使用量の時系列は、データセットの詳細タブにあるリソース使用メトリクスで確認できます。

複数の出力データセットを生成するトランスフォームでは、コンピュート使用量はすべてのデータセットに均等に配分されます。たとえば、トランスフォームジョブが2個のデータセットを作成し、一方が5行、もう一方が500万行である場合でも、Foundry コンピュート秒はこの2個のデータセットに均等に配分されます。

Foundry コンピュート使用量の要因を理解する

途中でキャンセルされない限り、Code Repositories のトランスフォームは、すべてのデータに対してすべてのロジックが実行され、出力が Foundry に書き戻されるまで実行されます。この実行時間に影響する主な要因は、(1)入力データのサイズと(2)トランスフォームのロジックによって実行される計算処理の複雑さの2つです。

  • ロジックが同じ場合、入力データのサイズが大きいジョブは、入力データのサイズが小さいジョブよりも多くのコンピュートを必要とします。たとえば、100 GB のデータに対して列の処理を行うジョブは、10 GB のデータに対して同じ処理を行うジョブよりも多くの Foundry コンピュート秒を使用します。
  • データに対してより複雑な処理を行うジョブは、比較的少ない処理を行うジョブよりも多くのコンピュートを必要とします。これは「ジョブの複雑さ」と呼ばれることもあります。
    • 基本的な例として、2つの数学的演算 5 * 5 と 5! の演算回数を考えてみます。5 * 5 は1回の乗算です。5! は 5 * 4 * 3 * 2 *1(4回の乗算)と等価であり、5 * 5 の例の2倍の複雑さです。集計、結合、機械学習アルゴリズムなどのタスクによってジョブが複雑になると、ジョブがデータに対して完了しなければならない演算の回数が増えることがあります。

Code Repositories で Foundry コンピュート使用量を管理する

各ジョブについて、パフォーマンスとコンピュート使用量の要因となった基礎的なコンピュートメトリクスを確認できます。詳細は、Spark の詳細を理解するをご覧ください。

ジョブの Foundry コンピュート秒は、並列化されたエグゼキューターのサイズと数によって決まります。これらの設定はどちらも、ジョブごとに自由に設定できます。ジョブごとの設定方法については、Spark 計算プロファイルのドキュメントをご覧ください。エグゼキューターのサイズは、メモリーと vCPU 数によって決まります。エグゼキューターあたりの vCPU とメモリーを増やすと、そのエグゼキューターで発生するコンピュート秒が増加します。

同時に実行されるタスクの数は、設定されたエグゼキューター数と、それぞれの vCPU 数によって決まります。設定のオーバーライドが指定されていない場合、トランスフォームはデフォルトの Spark プロファイルを使用します。生成されるデータセットに必要な Foundry ストレージは、作成されるデータセットのサイズによって決まります。

つまり、ロジックが異なるジョブは、同じ結果を達成する場合でも、演算回数が大きく異なることがあります。

コードを最適化して使用量を管理する

コードを最適化し、ジョブが使用するコンピュート秒を管理する方法はいくつもあります。このセクションでは、よく使われる最適化手法の詳細情報へのリンクを紹介します。

  • Foundry がコードリポジトリのほとんどの種類のバッチ計算に採用している分散クラスター計算フレームワークである Spark では、さまざまな最適化手法を利用できます。Spark の最適化について詳しくはこちら。
  • Spark では、パーティション分割を最適化してビルドを高速化できます。最適なパーティション数は、行数、列数、列のデータ型、および内容によって異なります。データセットのサイズ 128 MB あたり、おおよそ1個のパーティションを推奨します。
  • インクリメンタル(差分処理)計算は、トランスフォームを実行して出力データセットを生成する効率的な方法です。トランスフォームのビルド履歴を活用することで、インクリメンタル計算では、トランスフォームを実行するたびに出力データセット全体を再計算する必要がなくなります。
  • 特に小規模から中規模のデータセットでは、単一ノードのアプリケーションのベンチマークで Spark を一貫して上回るパフォーマンスを発揮する、Spark 以外の計算エンジンがいくつかあります。そのため、これらの代替アプリケーションを使用してパイプラインを実行すると、処理速度が向上し、コンピュート消費量が削減される可能性があります。これらの選択肢を最大限に活用するために、軽量トランスフォームについて理解を深めることをお勧めします。
  • スケジュールを使用してビルドをオーケストレーションしている場合は、コストを最適化するために、スケジュール設定のベストプラクティスを読むことをお勧めします。

Foundry コンピュート使用量を計算する

使用量の例1:標準メモリー

この例では、標準的なメモリー要求を持つ静的割り当てジョブに対して、Foundry コンピュートがどのように測定されるかを示します。

Driver profile:
    vCPUs: 1
    GiB_RAM: 6
Executor profile:
    vCPUs: 1
    GiB_RAM: 6
    Count: 4
Total Job Wall-Clock Runtime: 
    120 seconds



Calculation
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
                       = max(1vcpu, 6gib/7.5gib) * 120sec
                       = 120 compute-seconds

executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds 

                         = 4 * max(1, 6/7.5) * 120sec 
                         = 480 compute-seconds

total_compute_seconds = 120 + 480 = 600 compute-seconds 

使用量の例2:大容量メモリー

この例では、より大きなメモリー要求を持つ静的割り当てジョブに対して、Foundry コンピュートがどのように測定されるかを示します。

Driver Profile:
    vCPUs: 2
    GiB_RAM: 6
Executor profile:
    vCPUs: 1
    GiB_RAM: 15
    Count: 4
Total Job Wall-Clock Runtime: 
    120 seconds



Calculation:
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
                       = max(2vcpu, 6gib/7.5gib) * 120sec
                       = 240 compute-seconds

executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds 
                         = 4 * max(1, 15/7.5) * 120sec 
                         = 960 compute-seconds

total_compute_seconds = driver_compute_seconds + executor_compute_seconds
                      = 240 + 960 = 1200 compute-seconds

使用量の例3:動的なエグゼキューター数

この例では、ジョブの実行時間の一部を2個のエグゼキューターで実行し、残りを4個のエグゼキューターで実行する動的割り当てジョブに対して、Foundry コンピュートがどのように測定されるかを示します。

Driver Profile:
    vCPUs: 2
    GiB_RAM: 6
Executor profile:
    vCPUs: 1
    GiB_RAM: 6
    Count: 
        min: 2
        max: 4
Total Job Wall-Clock Runtime: 
    120 seconds:
        2 executors: 60 seconds
        4 executors: 60 seconds



Calculation:
driver_compute_seconds = max(num_vcpu, GiB_RAM/7.5) * num_seconds
                       = max(2vcpu, 6gib/7.5gib) * 120sec
                       = 240 compute-seconds

# エグゼキューター2個でのジョブ実行時間に対するコンピュート秒を計算します
2_executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds 
                           = 2 * max(1, 6/7.5) * 60sec 
                           = 120 compute-seconds 

# エグゼキューター4個でのジョブ実行時間に対するコンピュート秒を計算します
4_executor_compute_seconds = num_executors * max(num_vcpu, GiB_RAM/7.5) * num_seconds 
                           = 4 * max(1, 6/7.5) * 60sec 
                           = 240 compute-seconds
                         

total_compute_seconds = driver_compute_seconds + 2_executor_compute_seconds + 4_executor_compute_seconds
                      = 240 + 120 + 240 = 600 compute-seconds

使用量の例4:GPU コンピュート

この例では、静的割り当てジョブに対して、Foundry GPU コンピュートがどのように測定されるかを示します。

Driver profile:
    T4 GPU: 1
Executor profile:
    T4 GPU: 1
    Count: 4
Total Job Wall-Clock Runtime: 
    120 seconds


Calculation:
driver_compute_seconds = num_gpu * gpu_usage_rate * num_seconds
                       = 1gpu * 1.2 * 120sec
                       = 144 compute-seconds

executor_compute_seconds = num_executors * num_gpu * gpu_usage_rate * num_seconds 
                         = 4 * 1 * 1.2 * 120sec 
                         = 576 compute-seconds

total_compute_seconds = 144 + 576 = 720 compute-seconds