AIP Logic のコンピュート使用量

AIP Logic は、オントロジーや計算機能を通じて組織のデータを操作しながら、LLM を活用したプロセスをすばやく、保守しやすい形で構築できる Palantir のツールです。AIP Logic は、LLM への指示をまとめた「ブロック」という概念を中心に構成されています。ブロックを順番に組み合わせることで、データのクエリ、アクションや関数の実行、ユースケースに応じた新たな情報の生成ができる思考の連鎖ワークフローを作成できます。AIP Logic は、LLM トークン、LLM ブロックの実行、ツール呼び出しで使用量を測定します。ブロックやツールは、オントロジークエリ、アクション、関数も実行でき、これらはそれぞれ独自のコンピュート秒を使用します。

Palantir とエンタープライズ契約を締結している場合は、コンピュート使用量の計算を進める前に Palantir の担当者にお問い合わせください。

基本概念：リソース、ブロック、ツール

AIP Logic のリソースは、1個以上の AIP Logic のブロックで構成されます。リソースを実行すると、目的の出力を生成するために必要なブロックが実行されます。ブロックは、オントロジークエリ、関数、アクションなどのツールを使用して出力を生成できます。

AIP Logic で Foundry のコンピュート使用量を測定する

AIP LLM トークン

AIP の LLM トークンは、基盤となるモデルの方式（OpenAI ↗ など）で測定され、プロンプトとレスポンスのサイズ、および送信されるプロンプトの数によって異なります。詳しくは、モデルの種類ごとの使用量のテーブルを参照してください。

LLM ブロックの実行

LLM トークン使用量に加えて、AIP Logic は、LLM ブロックの実行およびツール呼び出しのそれぞれに対して、固定のコンピュート秒を使用します。これらの課金は加算されます。ツールを呼び出す LLM ブロックには、両方の課金が発生します。

LLM は、呼び出すツールと呼び出し回数を実行時に決定するため、1回のブロック実行に複数のツール呼び出しが含まれることがあり、それぞれに個別の課金が発生します。ループ内のLLM を使用ブロックは、反復ごとに1回の LLM ブロック実行としてカウントされます。1回の実行で何回のツール呼び出しが行われるかを確認するには、関数をテストし、デバッガーパネルを確認します。

これらの課金を計算するには、次の式を使用します。

Copied!
1
block_and_tool_compute_seconds = (llm_block_executions * 4) + (tool_calls * 8)

追加の Foundry コンピュート使用量

AIP Logic ブロックが外部ツール（オントロジークエリや関数など）に計算を委譲する場合、これらのアプリケーションの実行中に追加のコンピュートが使用されることがあります。

AIP Logic による Foundry コンピュートの使用量を管理する

AIP Logic の一部の操作は、コンピュート使用量に大きく影響することがあります。以下では、トークン使用量、ロジックブロックの総実行回数、Foundry コンピュートの使用量に注意して、コンピュート使用量を抑えるための指針を示します。

トークン使用量

• 大量のテキストを処理すると、全体のコンピュート使用量が大幅に増加することがあります。LLM で使用する入力プロンプトのサイズに注意してください。特に、オントロジーから大きなテキストブロックを取り込む場合に重要です。
• トークン使用量を抑えるには、プロンプトに挿入するテキストの量を減らし、プロンプト自体には関連するテキストのみが含まれるようにしてください。これは、大きなドキュメントを扱う場合に特に重要です。

ロジックブロックの総実行回数

• 多数のロジックブロックを実行すると、大量のコンピュートを使用することがあります。特に、関数を介してプログラムでブロックがトリガーされる場合（つまり、人の操作でトリガーされない場合）に顕著です。
• ロジックブロックの実行を抑えるには、複数のブロックを1つのプロンプトにまとめること（適切な場合）を検討し、追加のブロックは必要な場合にのみ使用します。アクション、関数、データ変換のブロックは、それ自体ではコンピュート使用量を発生させません。

Foundry コンピュート

• Foundry アプリケーション（オントロジークエリ、関数、アクションなど）への呼び出しを多数実行すると、大量のコンピュートを使用することがあります。これは、ロジックリソースで多数の再試行が必要な場合や、実行のたびに多数の関数やアクションを呼び出す場合に発生することがあります。
• ほかのアプリケーションによるコンピュート使用量を抑えるには、ロジックブロックの連鎖の中で、ほかのツールへの呼び出しが何回行われるかを把握してください。Foundry のほかの部分を呼び出す可能性があるツールは次のとおりです。
  • オントロジークエリ
  • アクションの実行
  • 関数の実行
  • データ変換

AIP Logic のコンピュート使用量の例

AIP Logic リソースに2個のLLM を使用ブロックがあるとします。最初のブロックはツールを呼び出しません。2番目のブロックには、アクションを適用ツールでアクションが設定されており、LLM は実行ごとにそれを1回呼び出します。このリソースは、最初から最後まで2回実行されます。

Copied!
1
2
3
4
5
6
7
8
LLM block executions per run: 2
Tool calls per run: 1
Number of runs: 2

1 run = (2 LLM block executions * 4 compute-seconds) + (1 tool call * 8 compute-seconds)
1 run = 8 + 8 = 16 compute-seconds

2 runs = 2 * 16 compute-seconds = 32 compute-seconds

この2回の実行では、LLM ブロックの実行とツール呼び出しに 32 コンピュート秒を使用します。この量には、LLM トークン使用量や、アクション自体が使用するコンピュートは含まれていません。アクションのコンピュート使用量については、オントロジークエリのコンピュートを参照してください。

LLM が各実行でアクションを1回ではなく2回呼び出した場合、各実行では (2 * 4) + (2 * 8) = 24 コンピュート秒を使用し、2回の実行では 48 コンピュート秒を使用します。