注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

基本概念

次の基本概念は、AIP Logic を理解し、最大限に活用するために欠かせません。これらの概念の適用については、入門チュートリアルで詳しく説明しています。

Logic 関数

Logic 関数は、オントロジーのオブジェクトやテキスト文字列などを入力として受け取り、値(文字列など)、オブジェクト、またはオントロジー自体への編集を出力として返します。

Logic 関数は、Workshop モジュール内など、プラットフォーム内のほかの関数と同じように活用できます。オントロジーを編集するには、Logic 関数を公開し、アクションから呼び出す必要があります。詳しくは、アクションで Logic 関数を使用する方法を参照してください。

ブロック

Logic 関数はブロックで構成されます。ブロックでは、オントロジーの読み取りや書き込み、計算の実行、データの集計、関数の呼び出し、コレクションに対するループ処理、条件の評価、LLM とのやり取りができます。ブロックを連結して、あるブロックの出力を後続のブロックに渡し、複雑な操作を構成します。

評価

Logic 関数を公開すると、評価を設定して、Logic 関数の詳細なテストを作成できます。AIP Logic の評価は、次の用途に使用できます。

  • Logic 関数とプロンプトをデバッグし、改善する。
  • 関数で GPT-4 と GPT-3.5 などの異なるモデルを比較する。
  • Logic 関数を複数回実行したときのばらつきを調べる。
  • 実験を実行して関数のパラメーターをテストし、パフォーマンスとコストのバランスが最適になる値を特定する。
  • AI FDE を使用して失敗を診断する。AI FDE は、失敗したテストケースの根本原因のパターンを特定し、プロンプトの改善を提案します。

評価スイートをセットアップするには、右サイドバーの Evals タブから AI FDE で生成を選択します。AI FDE が新規タブで開き、Logic 関数を分析して、調整可能なテストケースと評価ツールを作成します。AIP Evals:入門を参照してください。

評価では、任意の評価ツールのメトリクスタイプもサポートされています。任意のメトリクスがテストケースに適用されない場合、結果はなしと表示され、AIP Evals はその結果をメトリクススコアの集計から除きます。

デバッグ

Logic 関数を構成したら、テストとして関数を実行できます。関数を実行すると、デバッガーパネルが開き、Logic 関数を構成するブロックの LLM の思考連鎖(CoT)が表示されます。LLM の CoT を調べると、LLM の「思考プロセス」のステップが個別に表示され、LLM が使用した補助ツールの情報も確認できるため、デバッグが容易になります。

実行モード

Logic 関数は、ユーザースコープまたはプロジェクトスコープの2つの実行モードのいずれかで実行するように設定できます。ユーザースコープでの実行では、実行するユーザーの権限を使用して関数が実行されます。一方、プロジェクトスコープでの実行では、関数を含むプロジェクトの権限が使用されます。実行モードは、実行ログを閲覧できるユーザーにも影響します。詳しくは、実行モードの設定を参照してください。