基本概念

以下の基本概念は、AIP Logic を理解し、最大限に活用するために不可欠です。これらの概念の適用方法については、はじめにのチュートリアルを参照してください。

ロジック関数

ロジック関数は、オントロジーのオブジェクトや文字列などの入力を受け取り、値（文字列など）、オブジェクト、またはオントロジー自体への編集を出力として返します。

ロジック関数は、Workshop モジュールなどで、プラットフォーム内のほかの関数と同様に活用できます。オントロジーを編集するには、ロジック関数を公開し、アクションから呼び出す必要があります。詳細については、アクションでロジック関数を使用する方法を参照してください。

ブロック

ロジック関数はブロックで構成されます。ブロックは、オントロジーの読み取りや書き込み、計算、データの集計、関数の呼び出し、コレクションの反復処理、条件の評価、LLM とのやり取りを行えます。ブロックを連結して、あるブロックの出力を後続のブロックに渡し、複雑な処理を構築します。

評価

ロジック関数を公開した後、評価を設定して、ロジック関数の詳細なテストを作成できます。AIP Logic の評価は、次の目的に使用できます。

• ロジック関数とプロンプトをデバッグし、改善する。
• 関数で GPT-4 と GPT-3.5 などの異なるモデルを比較する。
• ロジック関数を複数回実行した際のばらつきを調べる。
• 実験を実行して関数のパラメーターをテストし、パフォーマンスとコストのバランスが最適になる値を特定する。
• 結果表示に組み込まれた結果アナライザーで失敗の原因を診断する。このアナライザーは、失敗したテストケースを根本原因のカテゴリーごとにグループ化し、原因に応じたプロンプトの編集を提案します。

評価スイートをセットアップするには、右側のサイドバーの Evals タブから評価を生成を選択します。AIP Evals は、入力タイプと出力タイプだけでなく、参照されるすべてのオブジェクトタイプを含めてロジック関数を分析し、編集可能なテストケースとメトリクスを作成します。これらはさらに調整できます。AIP Evals：はじめにを参照してください。

評価では、任意の評価ツールのメトリクスの種類もサポートされています。任意のメトリクスがテストケースに適用されない場合、結果はなしと表示され、AIP Evals はその結果をメトリクススコアの集計から除外します。

デバッグ

ロジック関数を作成した後、テストとして関数を実行できます。関数を実行すると、デバッガーパネルが開き、ロジック関数を構成するブロックの LLM の思考連鎖（CoT）が表示されます。LLM の CoT を確認すると、LLM の「思考プロセス」の個々のステップが表示され、LLM が使用した補助ツールに関する情報も提供されるため、デバッグが容易になります。

実行モード

ロジック関数は、ユーザースコープまたはプロジェクトスコープの2つの実行モードのいずれかで実行するように設定できます。ユーザースコープの実行では、関数を実行するユーザーの権限を使用し、プロジェクトスコープの実行では、関数を含むプロジェクトの権限を使用します。実行モードは、実行ログを閲覧できるユーザーにも影響します。詳細については、実行モードの設定を参照してください。