AIP でプロキシまたはフェデレーションレイヤーを構築する

プロキシまたはフェデレーションレイヤーは、AIP と1つ以上の外部モデルプロバイダーの間に配置されます。Compute Module は AIP から推論リクエストを受信し、カスタムロジックを適用して、外部プロバイダーに転送します。これにより、環境外に送信されるデータとリクエストのルーティング方法を厳密に制御できます。

ユースケース

• PII の墨消し： プロンプトが外部プロバイダーに届く前に、機密データを削除またはマスクします。
• プロンプトインジェクション： 転送前に、システムプロンプトを先頭に挿入したり、指示を末尾に追加したり、リクエストの内容を変換したりします。
• API 形式の再マッピング： AIP が想定するプロバイダー API 形式と、異なる形式を使用するプロバイダーとの間で形式を変換します。
• マルチプロバイダーフェデレーション： コスト、低遅延、モデルの可用性に基づいて、単一の登録済みモデルの背後にある複数のプロバイダーにリクエストをルーティングします。

追加の前提条件

Compute Module を基盤とするモデルの一般的な前提条件に加えて、Compute Module をプロキシまたはフェデレーションレイヤーとして使用するには、次の条件を満たす必要があります。

• ネットワークのエグレス： Compute Module が外部モデルプロバイダーにアクセスできる必要があります。適切なネットワークポリシーを設定した Data Connection のソースを通じて、エグレスを構成します。
• シークレット： 外部プロバイダーの APIキーやその他の資格情報をソースにアタッチする必要があります。コンテナは、実行時に SOURCE_CREDENTIALS 環境変数を通じてこれらの資格情報にアクセスします。シークレットの構成と読み取りの詳細については、ソースを参照してください。

AIP でプロキシまたはフェデレーションレイヤーを構築する方法

1. サポートされているプロバイダー API 形式を実装するコンテナを構築します。コンテナは、AIP からリクエストを受信し、カスタムロジック（墨消し、ルーティング、プロンプトインジェクションなど）を適用して、1つ以上の外部プロバイダーに転送するようにします。
2. 外部プロバイダーへのエグレスを許可するネットワークポリシーを設定したソースを Data Connection で作成します。APIキーやその他の資格情報をシークレットとしてアタッチします。
3. Dockerfile で application.port ラベルを設定し、イメージを Artifacts に公開します。コンテナに関する一般的なガイダンスについては、Compute Module のコンテナのドキュメントを参照してください。
4. 公開済みのイメージを使用して Compute Module を作成し、作成したソースをアタッチします。最小レプリカ数を1以上に設定します。
5. Control Panel でモデルを登録し、機能を構成します。
6. サポートされている AIP アプリケーションのいずれかでモデルを選択します。