注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
実行結果をデータセットに書き込む
評価対象の関数やワークフローによっては、評価スイートの実行結果をプラットフォームのほかの場所に表示する必要があります。たとえば、分野の専門家には AIP Evals で結果を分析するための技術的な知識が十分にない場合があり、専用の Workshop アプリケーションで実行データをほかの情報と並べて表示したいと考えることがあります。
このニーズに対応するため、AIP Evals は実行結果のデータセットへの書き込みをサポートしています。
実行結果データセットを設定し、評価スイートをプロジェクトスコープの実行モードで実行すると、その実行で生成されたすべての情報が、設定したデータセットに自動的に書き込まれます。これには、関数の出力、評価ツールの結果、ユーザーが指定したメタデータと自動取得されたメタデータ、およびエラーが含まれます。設定した目標に基づく各メトリクスの passed および failed の結果は、まだサポートされていません。また、テスト対象の関数がオントロジーを編集する場合、関数の出力は生成されません。
実行結果データセットを使用すると、生成されたデータを最大限に柔軟に活用できます。既存の Foundry ツールを使って、データをより複雑な計算に利用できます。たとえば、データをオブジェクトに書き込んで Workshop に表示したり、Contour でより詳細な分析を行ったりできます。
実行結果をデータセットに書き込むには、評価スイートをプロジェクトスコープの実行モードで実行する必要があります。また、実行結果データセットは評価スイートと同じプロジェクト内にある必要があります。そうでない場合、AIP Evals はデータセットにデータを書き込めません。
実行結果データセットを設定する
実行結果データセットを設定するには、次の手順に沿って進めます。
- 評価スイートのページを開きます。
- AIP Logic から、AIP Logic のサイドバーで表示を選択します。
- または、ファイルシステムから評価スイートを開きます。
- 実行履歴データセットのセクションで、データセットを作成を選択します。
- データセットの名前と保存場所を指定し、確定します。
これらの手順を終えると、データセットを使用できる状態になります。評価スイートをプロジェクトスコープの実行モードで実行すると、結果がデータセットに書き込まれます。
実行結果データセットを設定から外すと、そのデータセットを再度選択することはできません。新しいデータセットを作成する必要があります。
