注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Compute Module の使用量と料金
Compute Modules を使用すると、インタラクティブなコンテナをデプロイできます。コンピュート使用量を理解するには、これらのデプロイは自動的に横方向にスケールアップおよびスケールダウンでき、予測オートスケーリングによってリクエストがなくてもスケーリングされる場合があることを知っておく必要があります。ビルドをクリックしてデプロイが実行されている間は、いつでも使用量が発生する可能性があります。
実行中に発生したコンピュート使用量は、Compute Module 自体に計上されます。 「レプリカ」が起動中または実行中であれば、常にコンピュート使用量が発生します。起動中または実行中のレプリカがなければ、使用量は発生しません。発生する使用量は、レプリカ数と、それらのリソース使用量の時間経過に伴う変化によって決まります。
使用量を正しく理解するには、Compute Module には多数のレプリカを配置でき、各レプリカには多数のコンテナを配置できることを知っておく必要があります。
料金
Compute Module の使用量は、Foundry のコンピュート秒として計測されます。詳細は、使用量の種類に関するドキュメントを参照してください。
コンピュート秒は、レプリカが起動中またはアクティブである間、計測されます。コンピュート秒の算出には、次の要素が使用されます。
- レプリカあたりの vCPU 数
- レプリカあたりの RAM 容量（GiB）
- レプリカあたりの GPU 数
- レプリカ数
- 任意の時点でのレプリカ数は動的に変化しますが、すべてのレプリカは同じリソース設定を使用します
Palantir とエンタープライズ契約を締結している場合、使用量の係数は、以下に記載されているデフォルトの係数と異なる可能性があります。コンピュート使用量の計算を進める前に、Palantir の担当者にお問い合わせください。
Foundry の使用量に対する支払いでは、デフォルトの使用量係数は次のとおりです。
| vCPU / GPU | 使用量係数 |
|---|---|
| vCPU | 0.2 |
| T4 GPU | 1.2 |
| V100 GPU | 3 |
| A100 GPU | 1.3 |
| A10G GPU | 1.5 |
| L4 GPU | 2.1 |
| H100 GPU | 4.7 |
| H200 GPU | 4.7 |
| B200 GPU | 5.7 |
| B300 GPU | 7.1 |
| RTX PRO 6000 GPU | 3.5 |
vcpu_compute_seconds = max(vCPUs_per_replica, GiB_RAM_per_replica / 7.5) * num_replicas * vcpu_usage_rate * time_active_in_seconds
次の式で GPU コンピュート秒を算出します。
gpu_compute_seconds = GPUs_per_replica * num_replicas * gpu_usage_rate * time_active_in_seconds
Compute Modules のスケーリング設定
許可するレプリカ数の最小値と最大値は、設定ページで直接設定できます。
この範囲を指定すると、横方向の自動スケーリングをある程度制御できます。基本的に、システムは設定された範囲内であれば、いつでも任意のレプリカ数にスケーリングできます。また、レプリカあたりの同時実行数の上限も設定でき、これはスケーリングに影響します。同時実行数の上限を低くすると、同じ負荷でも横方向のスケーリングがより積極的に行われる可能性があります。
最小レプリカ数をゼロ以外の値に設定すると、デプロイを実際に使用していなくてもコンピュート使用量が発生します。最小値をゼロに設定し、デプロイにリクエストが一定時間送信されていなければ、レプリカ数をゼロにスケールダウンでき、その場合は使用量が発生しません。ただし、リクエストが送信されたとき、初めてデプロイした直後、または負荷が発生する可能性があると予測されたときには、ゼロから直ちにスケールアップします。
Compute Modules には予測スケーリング機能があり、デプロイの過去のクエリ負荷を追跡し、予測される需要に対応するために事前のスケールアップを試みます。予測が不正確だった場合は、それを次回以降の予測の改善に利用し、比較的速やかにスケールダウンします。このシステムは設定された最大レプリカ数を超えないため、デプロイのスケーリングを継続的に監視し、それに応じてスケーリング設定を調整してください。
Compute Modules のリソース設定
Compute Modules アプリケーションのインターフェースでは、各コンテナのリソースをレプリカ単位で設定できます。CPU、メモリー、GPU のリソース要求量と上限は、すべてレプリカ単位で設定できます。
これらのリソースの設定は任意です。設定がない場合、レプリカのデフォルトは 1 vCPU、4 GB のメモリー、GPU なしです。各レプリカは設定された量のリソースを要求し、上限が設定されていれば、その上限を超えません。つまり、デフォルトのリソース（1 vCPU、4 GB のメモリー、上限なし）を使用し、レプリカが4個ある場合、4 vCPU と 16 GB のメモリーを使用する可能性があります（ただし、リクエストの負荷に応じて使用量がこれより多くなる場合も少なくなる場合もあります）。