注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Pipeline Builder の AIP 機能
Pipeline Builder には、カスタムワークフローの構築や、パイプラインの理解と管理を支援する AIP 機能が用意されています。
AIP 機能の利用可否は変更される場合があり、顧客によって異なる場合もあります。
カスタムワークフロー向けの AIP 機能
以下の機能を使用するには、プラットフォーム管理者からカスタムワークフロー向けの AIP 機能を使用する権限を付与されている必要があります。
LLM を使用ノード
LLM を使用ノードは、大規模言語モデル（LLM）をデータに対して大規模に実行するための便利な機能です。さまざまなデータ変換の間に LLM 処理ロジックをシームレスに組み込めるため、コードを書くことなく、LLM をパイプラインに簡単に統合できます。
LLM を使用ノードは、Palantir が提供するモデルに加えて、Data Connection の REST API ソースまたは Compute Module を元にした登録済みモデルをサポートしています。モデルセレクターの登録済みタブを選択すると、登録済みモデルを選べます。
フォールバックモデルを設定して、耐障害性を向上させることもできます。優先順位を付けたモデルのリストを指定すると、主要モデルで再試行できないエラーが発生した場合に、後続のモデルが順番に自動的に試行されます。フォールバックが発動すると、モデルの切り替えを通知するデバッグメッセージが表示されます。
テキストを埋め込みに変換
テキストの埋め込みには多くの計算リソースが必要で、プレビューやビルドが遅くなる場合があります。
テキストを埋め込みに変換式に、埋め込みベクトルに変換する文字列を指定すると、テキストをベクトルとして埋め込めます。これらのベクトルは、単語やフレーズの意味を捉えるように設計されており、高度なテキスト分析や操作を可能にします。
Data Connection の REST API ソースまたは Compute Module を通じて登録された登録済みモデルを元にした埋め込みモデルを選択することもできます。
LLM 評価スイート
LLM 評価スイートでは、LLM のデータ加工やロジックをパイプラインにデプロイする前にテストできます。評価スイートに複数の評価を設定し、分離されたテスト環境で実行して、その動作を確認できます。
評価スイートは、LLM を使用ノードと連携するように設計されています。各評価では、テストデータと1個以上の評価ツールを使って LLM を使用ノードを実行し、モデルの出力と期待される結果を比較したレポートを生成します。
Pipeline Builder のアシスタント機能
説明
説明機能を使用すると、開発プロセスのあらゆる段階で、パイプラインの説明を動的に取得できます。共同作業者と現在の状態を共有したり、新しい承認者に役立つコンテキストを提供したり、新しいチームメンバー間で知識を引き継いだりすることを、わずかなメンテナンスの手間で実現できます。
説明機能を使用するには、Pipeline Builder のグラフ上部中央にある AIP と表示された紫色の電球を選択します。ポップアップウィンドウの指示に従い、グラフ上のテーブルを入力として選択します。ノードを長押しして選択すると、選択対象に追加したり、選択対象から外したりできます。選択対象にはデータ加工ノードが1つ以上含まれている必要があり、出力が1つの、相互に接続されたノード群である必要があります。
ノードを長押しして選択すると、選択対象に追加したり、選択対象から外したりできます。選択対象にはデータ加工ノードが1つ以上含まれている必要があり、出力が1つの、相互に接続されたノード群である必要があります。
最後に、xx個のノードを説明を選択して、データ加工の説明を生成します。
単一のノードを選択し、右側に表示されるメニューから紫色の説明ボタンを選ぶことで、そのノードを説明することもできます。
また、ノード内の任意のデータ加工群を選んで説明することもできます。
Pipeline Builder のデータ加工について詳しくはこちら。
名前と説明の候補を生成する
Pipeline Builder の AIP を使って、任意のデータ加工ノードの名前と説明の候補を生成し、作業内容をすばやく文書化することもできます。
デフォルトのデータ加工名の横にある紫色の AIP の星アイコンを選択すると、名前の候補が生成されます。
この例では、名前の候補である「家主別の未完了の請求...」は、「データ加工パス」よりも多くの情報を伝えています。
紫色の生成するボタンを選択して、説明の候補を生成します。
この例では、家主IDで請求データをグループ化するデータ加工について、説明がより詳しい情報を伝えています。
生成される候補は、データ加工パスの短い概要です。生成された名前や説明を保存すると、その情報は自動的にパイプラインに保存され、共同作業者が閲覧できるようになります。
一度に最大10個のノードの候補を生成するには、画面下部の提案タブを開きます。
パイプライン上のノードを1つ以上選択すると、名前や説明がまだ存在しない場合に生成されます。
各候補の適用を選択して、変更をノードに保存します。
Transform Assist
Transform Assist 機能を使うと、Pipeline Builder で利用可能な多くのデータ加工オプションを最大限に活用できます。正規表現ヘルパーは AIP の力を活用して、入力に基づく正規表現の生成や、既存の式の更新ができます。また、タイムスタンプフォーマッターを使うと、型変換ボードの値を string から timestamp にすばやく変換できます。
正規表現ヘルパー
正規表現ヘルパーは、データ内の文字列を抽出、置換、検索するための正確で効率的な正規表現パターンを提供し、データパイプラインの作成を簡素化します。正規表現ヘルパーを使用するには、まず、正規表現パラメーターを使用する新しいデータ加工ボードを作成します。対象となるデータ加工は、正規表現で抽出、正規表現ですべて抽出、正規表現で置換、正規表現で検索、正規表現で一致です。以下の例では、式の列 email_string に対して正規表現で抽出のデータ加工を使用します。
パターン項目の横にある紫色の AIP の星アイコンを選択し、作成したい正規表現を説明します。この例では、メールドメインを検索します。
紫色の生成するボタンを選択して、結果を表示します。
既存の式を更新する
正規表現ヘルパーを使って、既存の正規表現を更新することもできます。
パターン項目の横にある紫色の AIP の星アイコンを選択します。次に、変更したい正規表現を入力し、その後に変更内容を入力します。以下の例では、正規表現 @([\da-z\.-]+\.([a-z\.]{2,63}) に大文字を含めるように変更します。
紫色の生成するボタンを選択して、結果を表示します。
タイムスタンプフォーマッター
タイムスタンプフォーマッターを使うと、型変換ボードで文字列をタイムスタンプにすばやくキャストでき、時間を節約できます。タイムスタンプフォーマッターを使用するには、まず、文字列からタイムスタンプにキャストするように設定した新しい型変換ボードを作成します。以下の例には、異なる形式のタイムスタンプがあります。
次に、紫色の生成するボタンを選択し、キャストに使用したいパース形式の例を入力します。この例では、5個のタイムスタンプをすべて貼り付けます。
AIP はこれらのタイムスタンプに一致する形式を生成し、型変換ボードに入力します。適用を選択します。
その後、文字列の列がパースされ、タイムスタンプの列になります。
Pipeline Builder のデータ加工について詳しくはこちら。
提案の説明を生成する
Pipeline Builder では、提案の作成時に AIP を使って提案の説明を生成することで、変更内容をすばやく説明することもできます。
これを行うには、まず右上の提案を選択します。提案の作成画面が表示されます。
次に、紫色の生成するボタンを選択します。AIP が、このブランチで行ったパイプラインの変更について、提案の説明を作成します。
この例では、パイプライン設定の一部の変更を含め、複数の変更がありました。AIP はそれらすべてを説明します。
生成するを選択する前に、テキストボックスに追加のコンテキストを入力したり、特定の変更に注意を向けたり、提案の説明の下書きを書き始めたりすることもできます。AIP はこれを使用して、提案の説明を充実させます。生成された説明は、入力したテキストの下に明確に区切られて追加されます。
再度生成する場合や、入力した説明を変更する場合は、生成するを選択する前に、テキストボックスに関連するテキストだけが含まれていることを確認してください。最良の結果を得るために、以前に生成された説明を含め、それ以外のテキストはすべて削除してください。
生成する
生成する機能を使用すると、ユーザーのプロンプトに基づいて新しいデータ加工ロジックを作成できます。AIP は、Pipeline Builder 全体で利用可能なデータ加工のすべてにアクセスし、具体的なニーズに最も適したものを推奨できます。実際のデータを公開することなく、メタデータを使用してロジックを生成するため、データ加工の提案に使用された推論と根拠を明確に把握できます。最後に、AIP のデータ加工は通常のデータ加工と同様にパイプラインのロジックに保存されるため、既存のワークフローにシームレスに統合できます。
生成機能を使用するには、Pipeline Builder のグラフの上部中央にある、2個の星が付いた紫色の AIP アイコンを選択します。ポップアップウィンドウの指示に従って、グラフ上のノードを入力として選択します。Cmd（MacOS）または Ctrl（Windows）を押しながらノードを選択すると、選択対象に追加したり、選択対象から外したりできます。
次に、AIP が評価するプロンプトを入力し、生成するを選択して実行を開始します。
生成されたデータ加工の説明とともに、紫色で強調表示された1個以上のデータ加工ノードが返されます。
データ加工を続けるには、生成に戻るを選択します。次のノードを選択し、次のプロンプトを入力して、パイプラインの構築を続けます。
最近のプロンプトを確認するには、入力ボックスを選択します。履歴の項目を選択すると元の入力が自動的に選択され、そのプロンプトを再試行できます。
