AIP のコンピュート使用量

AIP のコンピュート使用量には、大規模言語モデル（LLM）が関わります。基本的に、LLM はテキストを入力として受け取り、テキストを出力として返します。入力および出力のテキスト量は、トークンで測定されます。LLM のコンピュート使用量は、一定数のトークンあたりのコンピュート秒で測定されます。後述するように、コンピュート使用量の換算レートはモデルによって異なる場合があります。

AIP のトークン

トークンは、LLM が入力を処理し、理解するために使用するテキストの基本単位です。言語や具体的なモデルによって、トークンは1文字の場合もあれば、単語全体の場合もあります。

重要なのは、トークンと単語が一対一で対応するわけではないことです。たとえば、一般的な単語は1個のトークンになることがありますが、長い単語やあまり使われない単語は複数のトークンに分割される場合があります。句読点やスペースもトークンと見なされることがあります。

トークンを構成するものの定義は、モデルプロバイダーによって異なります。たとえば、OpenAI ↗ と Anthropic ↗ では定義が異なります。平均すると、トークンの長さは約4文字で、ここでの1文字とは、1個の英字または句読点を指します。

AIP では、LLM にプロンプトを送信し、LLM からプロンプトを受信するアプリケーションがトークンを消費します。これらのプロンプトとレスポンスはそれぞれ、測定可能な数のトークンで構成されます。これらのトークンは複数の LLM プロバイダーに送信できます。プロバイダー間の違いに対応するため、トークンは、実際に使用するモデルプロバイダーの料金に合わせて_コンピュート秒_に換算されます。

LLM を活用した機能を提供するすべてのアプリケーションは、使用時にトークンを消費します。LLM を活用した機能を操作する際にトークンを使用する可能性があるアプリケーションについては、次のリストを参照してください。

• AIP Assist
• AIP Logic
• AIP Error Enhancer
• AIP Code Assist
• AIP Analyst
• AI FDE
• Workshop の LLM を活用したツール
• Quiver の LLM を活用したツール
• Pipeline Builder の LLM を活用したツール
• Language Model Service への直接呼び出し（Python および TypeScript のライブラリを含む）

AIP は、処理を担う LLM にテキストを直接送り、LLM 自体がトークン化を行います。テキストのサイズによって、そのモデルがレスポンスを返すために使用するコンピュート量が決まります。

GPT-4o モデルに送信される次の例文を見てみます。

AIP incorporates all of Palantir's advanced security measures for the protection of sensitive data in compliance with industry regulations.

この文は140文字で、次のようにトークン化されます。各トークンは | 文字で区切られています。トークンは必ずしも単語と同じではありません。次の例にある AIP や Palantir のように、複数のトークンに分割される単語もあります。

A|IP| incorporates| all| of| Pal|ant|ir|'s| advanced| security| measures| for| the| protection| of| sensitive| data| in| compliance| with| industry| regulations|.

この文には24個のトークンが含まれ、次のコンピュート秒数を使用します。

compute-seconds = 24 tokens * 43 compute-seconds / 10,000 tokens
compute-seconds = 24 * 43 / 10,000
compute-seconds = 0.1032

上記の文のトークン数と文字数は、OpenAI の Tokenizer 機能 ↗で確認しました。

AIP のコンピュート使用量を左右する要因を理解する

LLM トークンによって生じるコンピュート秒の使用量は、その使用を要求した個々のアプリケーションリソースに直接紐付けられます。たとえば、Pipeline Builder で AIP を使用してパイプラインの説明を自動生成すると、LLM がその説明を生成するために使用したコンピュート秒は、その特定のパイプラインに計上されます。これはプラットフォーム全体に当てはまります。この点を意識することで、どこでトークンを使用しているかを把握しやすくなります。

場合によっては、コンピュート使用量をプラットフォーム内の単一のリソースに計上できないことがあります。AIP Assist や Error Explainer などがその例です。使用量を単一のリソースに計上できない場合、トークンは、その使用を開始したユーザーのフォルダーに計上されます。

操作に伴って LLM に送信されるトークンを意識することを推奨します。一般に、LLM を使用する際に含める情報が多いほど、使用されるコンピュート秒も多くなります。たとえば、次のシナリオでは、コンピュート秒のさまざまな使用方法を説明しています。

• Pipeline Builder では、変換ノードの説明を AIP に依頼できます。選択したノードの数は、LLM がレスポンスを生成するために使用するトークン数に影響し、その結果、コンピュート秒の使用量にも影響します。これは、ノード数が増えるにつれて、それらのノードの設定に関して LLM が処理しなければならないテキスト量も増えるためです。
• AIP Assist で、LLM に大きなコードブロックの生成を依頼すると、より多くの出力トークンが必要になります。短いレスポンスは使用するトークンが少なく、その分コンピュート使用量も少なくなります。
• AIP Logic で、プロンプトとともに大量のテキストを送信すると、より多くのトークンが必要になり、その分コンピュート秒も多くなります。

AIP のトークン使用量データをエクスポートする

エンロールメントの LLM 使用量を詳しく分析するには、Control Panel で内部データセットのエクスポートセクションから AIP トークン使用量データセットをエクスポートできます。このデータセットには、モデルおよびリソース別のトークン消費量の日次内訳と、それに対応するコンピュート秒および通貨単位での使用量が含まれます。詳細については、内部データセットのエクスポートを参照してください。

AIP の従量課金におけるコンピュート換算