注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AIP Logic FAQ

このページでは、AIP Logic アプリケーションに関するよくある質問について詳しく説明します。

AIP Logic をプラットフォームのほかの機能と組み合わせて使用するにはどうすればよいですか？
トークン数を減らすにはどうすればよいですか？
Logic 関数を1つのブロックに保持する場合と、複数のブロックに分割する場合は、どう判断すればよいですか？
AIP Logic ブロックのパフォーマンスを改善するにはどうすればよいですか？
LLM の温度やその他のモデルパラメーターを変更する方法はありますか？
Logic を使用してセマンティック検索ワークフローをサポートできますか？
LLM がフィードバックから「学習」するにはどうすればよいですか？
Logic の出力が正しいことを確認するにはどうすればよいですか？
過去の実行からテストケースを作成するにはどうすればよいですか？

AIP Logic をプラットフォームのほかの機能と組み合わせて使用するにはどうすればよいですか？

Logic 関数を使用する方法についてのドキュメントを確認してください。

トークン数を減らすにはどうすればよいですか？

AIP Logic 内のすべてのアクティビティは、ツールのレスポンスも含め、トークン制限の対象となります。トークン制限はブロックごとにリセットされます。Debugger では、各メッセージの末尾で使用されたトークン数を確認できます。バーが赤い場合は、安定したパフォーマンスを維持するためにトークン数を減らすことを検討してください。

トークン数を減らすには、次の手順を推奨します。

入力オブジェクトから必要なプロパティだけを選択するか、クエリ対象のオブジェクトプロパティを指定して、LLM が送受信する文字列（OBJECT_NAME property1 property2 など）のサイズを小さくします。この文字列は、Debugger で生データを表示を選択すると確認できます。
クエリオブジェクトツールを使用する場合は、LLM に送信するプロパティを一部に絞ります。
1つのブロックを複数の LLM を使用ブロックに分割することを検討します。各ブロックにはトークン制限があるため、ブロックを中間ステップに分割してみることができます。
LLM モデルを 32k に変更します。
可能な場合は、変換ブロック、関数を実行ブロック、アクションを適用ブロックなどの決定論的なブロックを使用します。これらのブロックは、より予測可能な結果を生成するのに役立ち、トークンを一切使用しないため、ロジックの効率と管理のしやすさが向上します。

Logic 関数を1つのブロックに保持する場合と、複数のブロックに分割する場合は、どう判断すればよいですか？

1つの大きなブロックを使用すると、LLM の機能を試しながらすばやく反復し、大幅な変更も簡単に行えます。ただし、次の場合は Logic を複数のブロックに分割することを検討してください。

LLM に実行させたいステップが複数あり、結果に一貫性がありません。
ブロックがコンテキストの上限に達しつつあります。
毎回の実行に時間がかかりすぎています。

各ブロックには専用のコンテキストウィンドウがあるため、複数のブロックに分割すると、次の利点があります。

LLM は渡された情報にのみアクセスできます。1つの大きなブロック内の中間結果には、関連性のないものが含まれる可能性があります。
トークンが不足する可能性が低くなります。
小さなタスクをいくつか実行する方が、1つの長いタスクより速く実行できる可能性があります。

AIP Logic ブロックのパフォーマンスを改善するにはどうすればよいですか？

AIP Logic ブロックのパフォーマンスを改善するには、次の方法を試してください。

入力と出力のペアの例を5〜10件選び、プロンプトを変更するたびに実行します。これらを AIP Logic に単体テストとして保存します。
LLM に few-shot の例を渡します。これにより、モデルがタスクを理解しやすくなり、LLM のパフォーマンスを大幅に向上させることができます。LLM が参照するシステムプロンプトを入力できます。
予期しない失敗が見られる場合は、LLM に計画と問題の理解を説明させ、モデルがデータを正しく「理解」しているかを確認します。これにより、どのようなコンテキストが不足しているかについてインサイトを得られます。
動的な few-shot の例を使用したフィードバックループの構築を検討します。
変換ブロック、関数を実行ブロック、アクションを適用ブロックなどの決定論的な変換ボードを使用します。
AIP Evals を使用して評価を実行します。結果表示の結果アナライザーは、失敗したケースを根本原因のカテゴリーごとにクラスター化し、プロンプトを反復して改善する際に、的を絞ったプロンプトの編集を提案します。

LLM の温度やその他のモデルパラメーターを変更する方法はありますか？

LLM を使用ブロックの設定テキスト項目で温度を編集すると、LLM のレスポンスのランダム性を表すパラメーターである LLM の温度を変更できます。デフォルトの温度は0です。温度が低いほど、より決定論的な出力が返されます。

コード例：

Copied!1
2
3
{
    "temperature": 0.9
}

Logic を使用してセマンティック検索ワークフローをサポートできますか？

はい。現在、Logic がオントロジーに対してセマンティック検索を実行できるツールを追加できます。これは、アクションを使用するか、オブジェクトに対する関数を作成して AIP Logic から呼び出すことで実現できます。詳しくは、セマンティック検索ワークフローのチュートリアルを確認してください。

LLM がフィードバックから「学習」するにはどうすればよいですか？

次の設計パターンがワークフローに適している場合は、これを使用して LLM がフィードバックから「学習」するように支援できます。

LLM が推奨を行うたびに、(1) 推奨内容と (2) 推論を記録します。次に、Logic 関数を Workshop に接続して人によるレビュープロセスを組み込む際に、(3) 人によるフィードバックと (4) 人が検証した正しい判断をライトバックします。この例では、このライトバックオブジェクトを「候補」オブジェクトと呼ぶことにします。
Logic 関数で、LLM が「候補」オブジェクトに対してクエリオブジェクトツールを使用し、LLM が同じ推奨を行ったほかの事例を検索できるようにします。LLM に人によるフィードバックを処理させてから、LLM の推奨に従って進めるべきかどうかを LLM に問い合わせます。

Logic の出力が正しいことを確認するにはどうすればよいですか？

単体テストを追加して、指定した入力に対して関数が正常に実行されるかを確認します。AIP Evals を使用して、Logic 関数の評価スイートを作成することもできます。スイートを生成するには、右側のサイドバーの Evals タブを開き、評価を生成を選択します。AIP Evals は関数に基づいてテストケース、評価ツール、メトリクスを用意し、スイートをセットアップします。評価を実行する前に、生成されたテストケースと評価ツールを確認して調整してください。結果表示には、失敗したケースを根本原因のカテゴリーごとにクラスター化し、代表的な例を提示し、精度を向上させるために的を絞ったプロンプトの変更を提案する、組み込みの結果アナライザーがあります。AIP Evals：はじめにで詳しく説明しています。