評価スイートを実行する

評価スイートは、AIP Logic の Evals サイドバーや AIP Evals アプリケーションなど、さまざまな場所から実行できます。評価スイート全体を実行するか、個別のテストケースのみを実行するかを選択できます。後者は、デバッグや関数の迅速な改善に役立ちます。

評価スイート全体の実行

AIP Logic で AIP Evals サイドバーパネルに移動し、評価スイートを実行を選択します。未保存の変更がある場合は、代わりに保存して実行が表示され、評価スイートを実行する前に変更が確実に保存されます。

また、AIP Evals アプリケーションから評価スイートを実行することもできます。アプリケーションを開くには、AIP Logic のサイドバーで表示を選択するか、ファイルシステムから評価スイートを開きます。Evals アプリケーションでは、右上の評価スイートを実行を選択して評価スイートを実行できます。

実行設定

評価スイートの実行時には、複数の設定オプションを利用できます。実行設定オプションにアクセスするには、評価スイートを実行の横にある歯車アイコンを選択します。次のオプションを含むダイアログが開きます。

テスト対象の関数

評価スイートは、AIP Logic で作成した関数と、コードリポジトリで作成した関数に対して実行できます。関数のソースに応じて、対象にできる関数のバージョンが異なります。

• AIP Logic 関数： 最後に保存したバージョン（デフォルト）と公開済みバージョン。
• AIP Logic 以外の関数： 公開済みバージョン。

複数の関数をテストする

評価スイートに複数の対象関数が設定されている場合、AIP Evals から複数の関数に対する評価を同時に実行できます。複数の関数をテストを選択して複数対象モードに切り替え、実行に含める対象を選択します。

入力マッピング

評価スイートの列の値を、評価対象の関数が期待する入力にマッピングするために、入力マッピングを指定する必要があります。期待される関数入力とデータ型が一致するスイートの列を選択できます。

通常、評価スイートの列名と関数の入力名は一致しますが、一致する必要はありません。

実行モード

評価スイートの実行時には、ユーザースコープの実行とプロジェクトスコープの実行の2つの実行モードから選択できます。ユーザースコープの実行はデフォルトのモードで、実行を開始したユーザーの権限を使用して評価スイートを実行します。

ユーザースコープの実行：

• スイートはユーザーの権限で実行されます。
• 結果を閲覧できるのはご自身のみで、24時間後に削除されます。
• 結果は結果データセットに保存されません。

プロジェクトスコープの実行［ベータ版］：

• 評価スイートはプロジェクトスコープで実行されます。そのため、関数または評価ツールの実行中に使用されるすべてのリソースを、同じプロジェクトにインポートする必要があります。
• 実行結果は、プロジェクトへのアクセス権を持つ全ユーザーが閲覧できます。
• 結果は無期限に保存されます。
• 結果データセットが設定されている場合、結果はそのデータセットに書き込まれます。

反復回数

各テストケースを実行する回数を指定できます。LLM は非決定論的であるため、LLM を使用する関数では、テストケースを少なくとも3回実行することを推奨します。各反復の結果が集計され、関数のパフォーマンスの包括的な概要が示されます。

ROUGE スコアのような数値評価ツールで分散が大きい場合、テストケースと評価ツールが有意義ではなく、さらに改善する必要があることを示している可能性があります。

テストの並列化

デフォルトでは、10件のテストケースが並列で実行されます。並列に実行するテストケースの数を調整して、評価スイート実行のパフォーマンスを最適化できます。レート制限に達する場合は、この数を減らすと効果的なことがあります。

実行メタデータ

used branch、version、model など、自動的に取得される実行メタデータに加えて、評価スイートの実行にカスタムメタデータを追加できます。 このメタデータはキーと値のペアとして指定し、評価スイートの実行履歴で実行を区別するために使用できます。

結果を表示する

評価スイートの実行が完了したら、最新の結果セクションのカードを選択して結果を表示できます。結果表示が開き、評価スイートの実行について集計されたメトリクスと、個々のテストケースの結果を確認できます。各メトリクスの合格または不合格のステータスは、設定した目標（ブール値または数値、方向、しきい値）に基づいて表示されます。個別のテストケースにカーソルを合わせると、テストケース結果の右下にデバッガーボタンが表示されます。このボタンを選択すると、新規タブでそのテストケースのデバッグ表示が開きます。デバッグ表示には、そのテストケースで実行されたロジック関数と評価ツールの各ステップが表示されます。

さらに、結果表示では、クリックして別の実行と比較を選択して実行を比較できます。現在の実行と左右配置で別の実行が開き、両方の実行の結果を比較できます。デフォルトでは、差分を表示トグルが有効になっており、2つの実行間の出力の違いが強調表示されます。

個別のテストケースの実行

個別のテストケースを実行する場合も、設定した目標（ブール値または数値、方向、しきい値）に応じて、各メトリクスの合格または不合格のステータスが表示されます。

AIP Logic の AIP Evals サイドバーでは、個別のテストケースをすばやく実行できます。これは、ロジック関数を作成しているときや、評価スイート全体の実行後に失敗したテストケースを改善しているときに特に役立ちます。

個別のテストケースを実行するには、サイドバーのテストケース名の横にある再生アイコンを選択します。テストケースが直ちに実行され、デバッガーのサイドバーパネルが開きます。ここでは、ロジック関数と、テストケースの結果に対して実行される評価ツールの実行を追跡できます。また、サイドバーではテストケースが実行済みとして指定されます。

実行後、サイドバーと結果パネルには、設定した目標に応じて、各メトリクスが合格したか不合格だったかが表示されます。