リソースキュー

リソースキューは、同時に利用できるコンピュートリソースを制限するために使用します。コンピュートリソースの例として、仮想 CPU (vCPU) や仮想 GPU (vGPU) があります。

• エンロールメント： エンロールメントは組織の主要な属性であり、Foundry サービスおよび Foundry プラットフォームにおける企業の属性を確立します。
• リソース： リソースキューのリソースとは、プロジェクトでワークロードを実行するために必要な仮想 CPU (vCPU) や仮想 GPU (vGPU) などのコンピュートリソースです。
• リソースキュー： リソースキューは、サービスレベルのリソース（vCPU や vGPU など）を要求するための先入れ先出し (FIFO) キューです。詳細については、以下のリソースキューの詳細を参照してください。
• グループを計算： コンピュートグループは、Foundry のワークロードを実行できるマシン（特定の種類のコンピュートハードウェア）のグループです。これらのマシンは、ワークロードで使用されるリソースを提供します。
• プロジェクト： プロジェクトは、特定の目的のためにユーザー、ファイル、フォルダーをまとめる共同作業用のスペースです。プロジェクトは Foundry における主要なセキュリティ境界であり、共有作業をまとめる入れ物と考えることができます。リソースを必要とするワークロードは、プロジェクト内で実行されます。

エンロールメントの詳細

リソースキューはエンロールメントに属します。エンロールメントには vCPU と vGPU の上限があり、リソースキューを通じて利用できる vCPU と vGPU の総数が制限されます。つまり、エンロールメント内のすべてのリソースキューの vCPU 上限の合計は、エンロールメントの vCPU 上限以下である必要があります。キューの vGPU 上限とエンロールメントの vGPU 上限にも同じルールが適用されます。

エンロールメントにはデフォルトのキューもあり、特に指定しない限り、すべてのプロジェクトが自動的にこのキューに割り当てられます。このデフォルトのキューは削除できません。

スペース内のプロジェクトは、そのスペースのデフォルトのリソースキューに自動的に割り当てられます。特に設定しない限り、スペースのデフォルトのリソースキューは、エンロールメントのデフォルトのリソースキューと同じです。組織とスペース、および組織とエンロールメントとの関係について、詳しくはこちらをご覧ください。

エンロールメントの上限を設定する

エンロールメントの上限を変更するには、Palantir サポートにお問い合わせください。

リソースキューの詳細

リソースキューは、同時に使用できるコンピュートリソースの数を制限するための先入れ先出し (FIFO) キューです。リソースキューは、コンピュートグループで利用可能な仮想 CPU (vCPU) や仮想 GPU (vGPU) などのサービスレベルのリソースの使用を制限します。

プロジェクト内で実行されるワークロードがリソースを要求すると、その要求はリソースキューに入れられます。リソースキューがいっぱいになると、要求はキューに空きができるまで待機する必要があります。キューは先入れ先出しであり、要求は作成された順序で処理されます。

その後、ワークロードはリソースキューで指定されたコンピュートグループに送られて実行され、ワークロードが完了するか終了させられると、リソースが解放されます。

リソースキューを作成する

リソースキューを作成するには、Resource Management アプリケーションに移動し、左側のキューを選択してから、新規を選択します。

リソースキューの種類

現在、リソースキューには vCPU リソースキューと vGPU リソースキューの2種類があります。ほとんどのワークロードは CPU のみを必要とするため、ほとんどのプロジェクトには vCPU リソースキューが割り当てられます。GPU を必要とするワークロードは vGPU リソースキューに送る必要があるため、vGPU リソースキューが割り当てられたプロジェクトでのみ実行できます。プロジェクト内のワークロードが使用する GPU の種類（たとえば V100、T4）は、ワークロードのルーティング先のコンピュートグループによって決まります。このコンピュートグループは、プロジェクトに割り当てられたリソースキューに関連付けられています。コンピュートグループについて詳しくはこちらをご覧ください。

GPU を使用する

プロジェクトで GPU を使用する場合は、GPU リソースキューを作成し、そのキューにプロジェクトを割り当てる必要があります。たとえば、機械学習モデルをトレーニングするワークロードを実行する場合、GPU の使用が役立つことがあります。モデル統合について詳しくはこちらをご覧ください。モデルトレーニングで GPU を使用する方法について、詳しくは GPU トレーニングのドキュメントをご覧ください。

リソースキューを作成してプロジェクトを割り当てたら、GPU プロファイル（DRIVER_GPU_ENABLED など）をプロジェクトにインポートし、コードリポジトリで使用します。Spark プロファイルのインポートについて詳しくはこちらをご覧ください。

プロジェクトをリソースキューに割り当てる

各プロジェクトは vCPU リソースキューに割り当てられます。必要に応じて、プロジェクトを vGPU リソースキューにも割り当てることができます。vGPU キューに割り当てられていないプロジェクトでは、GPU を必要とするワークロードを実行できません。

リソースキューに割り当てられているプロジェクトを表示および管理するには、そのキューの詳細を表示している状態でプロジェクトタブを選択します。プロジェクトのリソースキューの割り当ては、プラットフォームのファイルシステムサイドバーのリソース管理タブでも表示できます。

優先ブランチ

優先ブランチは、専用のコンピュートリソースを必要とする重要なワークフローをサポートするために使用します。たとえば、開発中はワークロードがキューで待機しても問題ない一方、本番環境では許容できない場合があります。Code Repositories または Pipeline Builder の保護されたブランチを優先ブランチとして使用することを検討してください。

プロジェクトに優先ブランチを設定すると、そのブランチ上のワークロードは、優先ブランチに割り当てられたリソースキューを使用します。それ以外のすべてのワークロードは、引き続きプロジェクトに割り当てられたリソースキューを使用します。プロジェクトと同様に、各優先ブランチは vCPU リソースキューに割り当てられ、必要に応じて vGPU リソースキューにも割り当てることができます。

プロジェクトの優先ブランチの設定を表示または管理するには、以下に示すブランチアイコンを選択します。

プロジェクトの優先ブランチの設定は、プラットフォームのファイルシステムサイドバーのリソース管理タブでも表示できます。

リソースキューに割り当てられている優先ブランチを表示および管理するには、そのキューの詳細を表示している状態で優先ブランチタブを選択します。

コンピュートグループの詳細

コンピュートグループは、同じ種類のハードウェアリソースで構成される自動スケーリンググループです。たとえば、あるコンピュートグループには、16 GB のメモリーと4個のコンピュートコア (CPU) を利用できるマシンが含まれている場合があります。別のコンピュートグループには、V100 GPU、16個のコンピュートコア、32 GB のメモリーを搭載したマシンが含まれている場合があります。コンピュートグループは Foundry ユーザーが利用でき、リソースキューによって制限されます。

コンピュートの種類

各リソースキューは、ジョブ計算、連続計算、セッション計算を制御できます。

• ジョブ計算には、Python トランスフォームのビルドなど、バッチトランスフォームが含まれます。
• 連続計算は、Compute Module やストリーミングなど、長時間稼働することが多い、トランスフォーム以外のコンピュートを対象とします。
• セッション計算は、Code Workspace でのコーディング時など、ユーザーが結果を待っている対話型ワークロードを対象とします。

Resource Management アプリケーションには、コンピュートの種類ごとのリソースキュー使用量の詳細な内訳が表示されます。

利用履歴

リソースキューページの利用履歴オプションには、過去7日間のリソースキューの利用率が表示されます。キューで利用可能な最大コア数に対する、使用中の vCPU または vGPU コア数が表示されます。これにより、リソースキューが容量の上限に近づいているかどうかを判断できます。キューが常に容量の上限に近い場合は、リソースキューのコア数を増やすことを検討してください。

利用率モニターを設定する

リソースキューが容量の上限に達すると、すべての新しいワークロードが待機状態になり、ビルドの遅延やユーザーエクスペリエンスの低下につながります。この状況が発生する前にアラートを受け取るには、監視を作成を選択し、Data Health アプリケーションで利用率モニターを設定します。