マルチモーダルモデルと埋め込みモデルを選択する

このページでは、図、グラフ、テーブルを含むドキュメントなど、ドキュメントに対するセマンティック検索用のモデルを選択するためのガイダンスを提供します。利用可能なモデルは時間とともに変わり、エンロールメントによっても異なります。サポートされているモデルの一覧については、サポートされている大規模言語モデル（LLM）と埋め込みモデルを確認してください。

マルチモーダルモデル

テキスト専用の LLM は画像を読み取れません。図、グラフ、その他の画像に関する質問に回答するには、ビジョン機能を持つモデルを使用します。これらのモデルを見つけるには、Model Catalog のホームページでタイプで絞り込み、ビジョンモデルを選択します。

ビジョンモデルは、次の方法で使用できます。

• PDF ドキュメントからテキストを抽出する：AIP Document Intelligence を使用して、光学式文字認識（OCR）と視覚言語モデル（VLM）の抽出方式を比較してから、いずれかをデプロイします。
• パイプラインで画像を処理する： Pipeline Builder で、Media Reference 列を LLM を使用ノードに渡し、ビジョンラベルが付いたモデルを選択します。

抽出したテキストをセマンティック検索に使用し、一致するページの画像と質問をビジョンモデルに送信することもできます。これに対応するには、各チャンクオブジェクトに、ページ番号と、そのページの画像への Media Reference を保存します。Python トランスフォームで PDF のページを画像に変換できます。

埋め込みモデル

Palantir が提供する埋め込みモデルを推奨します。これらを見つけるには、Model Catalog のホームページでタイプで絞り込み、埋め込みモデルを選択するか、サポートされているテキスト埋め込みモデルを確認します。Palantir が提供するモデルを使用できない場合は、独自のモデルを登録し、テキストを埋め込みに変換で選択できます。

埋め込みモデルを選択する際は、次のガイドラインに従ってください。

• チャンクとクエリに同じモデルを使用する： チャンクに使用したものと同じモデルでクエリの埋め込みを生成します。モデルを切り替える場合は、すべてのチャンクの埋め込みを再生成します。
• チャンクをモデルの入力上限内に収める： モデルのトークン上限は、そのモデルの Model Catalog エンティティページで確認します。文字列をチャンクに分割ボードでは、チャンクサイズを文字数で設定します。英語のテキストでは、1トークンは平均で約4文字です。他の言語では1トークンあたりの文字数が少ないことが多いため、余裕を持たせてください。
• 短いクエリを長い文章と一致させやすくする： 短い質問とその回答となる文章は、テキストとしての種類が異なるため、埋め込みが近くならない場合があります。この差を埋めるには、仮想ドキュメント埋め込み（HyDE）を試します。
• 独自のデータでテストする： すべてのドキュメントの埋め込みを生成する前に、ユーザーが検索に使用する言語ごとに、ドキュメントと質問のサンプルを使って候補モデルを比較します。AIP Evals を使用して、セマンティック検索関数をテストできます。

テキストではなく画像の埋め込みを生成するには、Pipeline Builder の 画像を埋め込みに変換式を、ビジョン機能をサポートする埋め込みモデルとともに使用します。