注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

中間パラメーターを使用してブロックの出力を評価する

LLM を利用した機能には複雑な処理が複数含まれることが多く、最終結果だけを評価してもプロンプトの性能を十分に判断できない場合があります。

AIP Logic と AIP Evals では、評価用の中間パラメーターを設定できます。関数の最終出力と同様に、中間出力は自動評価ツールの設定に使用することも、単に結果を確認するために使用することもできます。評価スイートの結果データセットが設定されている場合は、中間パラメーターの出力値がそのデータセットに含まれます。

中間パラメーターを設定する

評価用の中間パラメーターを設定するには、次のステップに沿って進めます。

  1. AIP Logic ブロックのフラスコアイコンを選択して、出力を中間パラメーターとして公開します。
  2. 評価ツールの設定パネルで新しい中間パラメーターを選択して、出力を評価します。

評価用の中間パラメーターを設定する。

中間パラメーターは、ループ内やカスタムツール内では利用できません。中間パラメーターを持つ最上位のブロックは、参照されていない場合でも常に実行されます。中間パラメーターを持つネストされたブロックは、実行されるとは限りません。ネストされたブロックが実行されなかった場合、その中間パラメーターは実行結果に null として表示されます。