注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
実行結果には、テストケースと評価基準に対する関数のパフォーマンスが表示されます。結果は、AIP Evals アプリケーション、または AIP Logic と AIP Chatbot に統合された AIP Evals サイドバーで表示できます。
評価ツールに合格基準を設定している場合、AIP Evals は各テストケースのステータスを合格または不合格に自動的に判定します。結果には、合格したテストケース数と不合格になったテストケース数が表示されます。
特定のテストケースの結果をさらに詳しく調べたい場合は、デバッグビューを利用できます。このビューには、個々のテストケースの実行トレース、入出力データ、エラーメッセージが表示され、関数の出力や評価ツールの結果を理解するのに役立ちます。
テストケースのデバッグビューを開く方法は複数あります。AIP Evals、AIP Logic、AIP Chatbot から開くことができます。


デバッグビューには、テスト関数の実行と評価ツールの結果に関する詳細情報が表示されます。次のことができます。


一部の評価ツールでは、評価ツールタブのデバッグ出力に追加のコンテキストが表示されます。たとえば、組み込みの LLM-as-a-judge 評価ツールは、モデルの推論をデバッグ出力として返すため、特定の判定に至った理由を理解するのに役立ちます。
カスタム評価ツールを作成する場合、これらもデバッグ出力を生成できます。カスタム評価ツールがメトリクスの出力とともに返す文字列値はすべてデバッグ出力として表示され、推論、中間値、診断情報などの追加のコンテキストを提供します。

AIP Logic でカスタム関数評価ツールを作成した場合は、標準の Logic デバッガーにもアクセスできます。これにより、評価が特定の結果になった理由を理解できます。評価ツールで LLM-as-a-judge を使用している場合に特に役立ちます。
以下のスクリーンショットに示す例では、結果の 8 が定義された最小しきい値の 9 を超えなかったため、ルーブリックに基づいて採点するカスタム関数評価ツールの評価は不合格になりました。Logic デバッガーを確認すると、レスポンスが引用符で囲まれていたため、LLM による判定では 8 点しか付けられなかったことがわかります。より高いスコアを得るには、プロンプトを改善する必要があります。

評価スイートに複数の対象関数が設定されている場合、AIP Evals で異なる対象の実行結果を選択して比較できます。これは、同じテストケースに対して異なる関数実装がどのようなパフォーマンスを示すかを分析するのに役立ちます。

AI FDE を使用して、不合格になったテストケースを分析し、根本原因のパターンを特定し、プロンプトを改善するための提案を受けることができます。
実行結果のコンテキストを引き継いで、AI FDE が新規タブで開きます。AI FDE の詳細については、AI FDE のドキュメントをご覧ください。