注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

評価スイートを実行する

評価スイートは、AIP Logic の Evals サイドバーや AIP Evals アプリケーションなど、さまざまな場所から実行できます。評価スイート全体を実行するか、単一のテストケースのみを実行するかを選択できます。後者は、デバッグや関数の迅速な反復開発に役立ちます。

評価スイート全体の実行

AIP Logic で AIP Evals サイドバーパネルに移動し、評価スイートを実行を選択します。未保存の変更がある場合は、代わりに保存して実行が表示され、評価スイートを実行する前に変更が確実に保存されます。

また、AIP Evals アプリケーションから評価スイートを実行することもできます。アプリケーションを開くには、AIP Logic サイドバーで評価スイート名を選択するか、ファイルシステムから評価スイートを開きます。Evals アプリケーションでは、右上の評価スイートを実行を選択して評価スイートを実行できます。

実行設定

評価スイートの実行時には、複数の設定オプションを利用できます。実行設定オプションにアクセスするには、評価スイートを実行の横にある歯車アイコンを選択します。次のオプションを含むダイアログが開きます。

AIP Evals の実行設定。

テスト対象

評価スイートは、AIP Logic で作成した関数と、Code Repositories で作成した関数に対して実行できます。関数の作成元に応じて、対象にできる関数のバージョンが異なります。

  • **AIP Logic 関数:**最新の保存済みバージョン(デフォルト)および公開済みバージョン。
  • AIP Logic 以外の関数: 公開済みバージョン。

ブランチを選択して、そのブランチ上の関数バージョンをテストすることもできます。AIP Logic から評価スイートを実行する場合、ブランチは AIP Logic のブランチに基づいて決まります。

複数の対象をテストする

評価スイートに複数の対象関数が設定されている場合、AIP Evals から複数の関数に対して同時に評価を実行できます。複数の関数をテストを選択して複数対象モードに切り替え、実行に含める対象を選択します。

複数の対象関数の選択。

複数対象モードで実行する場合、実験の設定は利用できません。

入力マッピング

評価スイートの列の値を、評価対象の関数が期待する入力にマッピングするには、入力マッピングを指定する必要があります。期待される関数入力とデータ型が一致するスイートの列を選択できます。

通常、評価スイートの列名と関数入力は一致しますが、一致は必須ではありません。すべてのテストケースで入力に同じ値を使用するには、固定値に切り替えるを選択し、値を入力します。

実行モード

実行セキュリティセクションでは、プロジェクトスコープの実行とユーザースコープの実行の2つの実行モードから選択できます。デフォルトのモードはプロジェクトスコープの実行です。実行で使用するリソースがプロジェクトスコープの実行に対応していない場合は、ユーザースコープの実行のみを利用できます。

プロジェクトスコープの実行:

  • 評価スイートはプロジェクトスコープで実行されます。関数または評価ツールの実行中に使用されるすべてのリソースは、同じプロジェクトにインポートされている必要があります。実行設定にはこれらのリソースが一覧表示され、不足しているリソースをインポートを選択すると、不足しているリソースをインポートできます。
  • 実行結果は、プロジェクトへのアクセス権を持ち、かつ実行で使用するリソースのマーキングにもアクセスできる全ユーザーに表示されます。
  • 結果は無期限に保存されます。
  • 実行履歴データセットが設定されている場合、結果はそのデータセットに書き込まれます。
  • AIP Chatbot 関数、および Compute Module やモデルデプロイを基盤とする関数などのステートフル関数は、プロジェクトスコープの実行に対応していません。

ユーザースコープの実行:

  • スイートは実行者の権限で実行されます。
  • 結果を閲覧できるのは実行者のみで、実行後24時間に限られます。その後は、実行名、対象、実行を開始したユーザーなど、実行のメタデータのみが引き続き表示されます。
  • 評価スイートを閲覧できるほかのユーザーには、実行のメタデータは表示されますが、結果は表示されません。
  • 結果は実行履歴データセットに書き込まれません。

反復回数

各テストケースの実行回数を1〜100回で指定できます。評価スイート全体の実行には、最大15,000回のテストケース実行を含めることができ、テストケースの反復1回を1回の実行として数えます。LLM は非決定論的であるため、LLM を基盤とする関数については、テストケースを少なくとも3回実行することを推奨します。各反復の結果は集計され、関数の性能の包括的な概要を確認できます。

ROUGE スコアなどの数値評価ツールで分散が大きい場合、テストケースと評価ツールが有意義ではなく、さらなる改善が必要である可能性があります。

テストの並列化

デフォルトでは10件のテストケースが並列で実行されます。これは最大数でもあります。同時に並列実行するテストケースの数を減らすと、レート制限に達した場合に役立つことがあります。

実行メタデータ

used branch、version、model など、自動的に取得される実行メタデータに加えて、評価スイートの実行にカスタムメタデータを追加できます。 このメタデータはキーと値のペアとして指定し、評価スイートの実行履歴で実行を区別するために使用できます。

結果を表示する

評価スイートの実行が完了したら、最新の実行セクションのカードを選択して結果を表示できます。結果ビューが開き、評価スイートの実行について集計されたメトリクスと、個々のテストケースの結果を確認できます。各メトリクスの合格または不合格のステータスは、設定した目標(ブール値または数値、方向、しきい値)に基づいて表示されます。テストケースにカーソルを合わせ、バグアイコンを選択すると、そのテストケースのデバッグビューが開きます。デバッグビューには、そのテストケースで実行された Logic 関数と評価ツールの各ステップが表示されます。

さらに、結果ビューでは、クリックして別の実行と比較を選択して実行を比較できます。現在の実行と左右配置で別の実行が開き、両方の実行結果を比較できます。デフォルトでは、差分を表示トグルが有効になっており、2つの実行間の出力の差異が強調表示されます。

結果を比較。

単一のテストケースの実行

単一のテストケースを実行する場合も、設定した目標(ブール値または数値、方向、しきい値)に従って、各メトリクスの合格または不合格のステータスが表示されます。

AIP Logic の AIP Evals サイドバーでは、単一のテストケースをすばやく実行できます。これは、Logic 関数を作成しているときや、評価スイート全体の実行後に、失敗したテストケースを反復して改善するときに特に役立ちます。

単一のテストケースを実行するには、サイドバーでテストケース名の横にある再生アイコンを選択します。テストケースが直ちに実行され、デバッガーのサイドバーパネルが開きます。ここでは、Logic 関数と、テストケースの結果に対して実行される評価ツールの実行を追跡できます。また、サイドバーではテストケースが実行済みとしてマークされます。

単一のテストケースを実行。

実行後、サイドバーと結果パネルには、設定した目標に従って、各メトリクスが合格したか不合格だったかが表示されます。