Pipeline Builder でメディアセットのバッチパイプラインを作成する

このチュートリアルでは、Pipeline Builder を使ってメディアセットを使用する標準のバッチパイプラインを作成し、PDF からテキストを抽出します。

この例では、Palantir が公開した一般に利用可能なドキュメントの PDF を使用します。

このチュートリアルを終えると、次のようなパイプラインが完成します。

このパイプラインは、抽出した PDF テキストの新しいオブジェクト出力を生成します。この出力を使って、さらに探索を進めることができます。

パート1：初期セットアップ

まず、新しいパイプラインを作成します。

1. Foundry にログインした状態で、左側のナビゲーションバーから Pipeline Builder にアクセスします。アプリケーションの一覧に Pipeline Builder がない場合は、すべて表示を選択し、パイプラインの構築と監視セクションで Pipeline Builder を探します。

   

2. 次に、Pipeline Builder のランディングページの右上で、新規作成を選択してからバッチパイプラインを選択し、新しいパイプラインを作成します。バッチ計算を選択で、標準または高速を選択します。この例では、標準を選択します。

   

   ストリーミングパイプラインの作成機能は、すべての Foundry 環境で利用可能なわけではありません。ユースケースでこの機能が必要な場合は、詳細について Palantir サポートにお問い合わせください。

3. パイプラインを保存する場所を選択します。個人フォルダにはパイプラインを保存できません。

   

4. パイプラインの作成を選択します。

パート2：メディアセットを追加する

これで、パイプラインのワークフローにデータセットを追加できます。このチュートリアルでは、Palantir が一般公開しているドキュメントの PDF を使用します。

1. Pipeline Builder ページのホームページで、Foundry データを追加を選択します。
   
   
   
   

   上部パネルのデータを追加アクションを選択することもできます。
   
   
   
   

   または、コンピューターからファイルをドラッグアンドドロップして、メディアセットとして使用することもできます。

2. データを追加または Foundry データを追加を選択した場合は、使用するメディアセットを選択できます。
   
   
   
   

3. すべてのメディアセットを選択したら、データを追加を選択します。

4. メディアセットをインポートすると、サムネイルプレビュー付きでメディアセットを表示できます。
   
   
   
   

パート3：メディアセットの変換

生のメディアセットを追加したら、基本的な変換を実行できます。このワークフローでは、これらの PDF ファイルからテキストを抽出します。

PDF からテキストを抽出する

Media Reference を使って、メディアを直接変換したり、メディアから情報を抽出したりできます。この例では、年次レターのメディアセットからテキストを抽出します。

1. グラフで年次レターのメディアセットノードを選択します。

2. データ加工を選択します。
   
   
   
   

3. ドロップダウンで PDF からテキストを抽出するデータ加工を検索して選択し、ボードを開きます。
   
   
   
   

4. ニーズに応じた抽出方法を選択し、残りのパラメーターを入力します。

• 生テキスト：コンピューターで生成された PDF
• OCR：コピーした文書
• レイアウト認識：テキストと境界ボックス
  
  
  
  

5. 適用を選択して、パイプラインにデータ加工を追加します。

6. 抽出したテキストにカーソルを合わせると、出力は次のように表示されます。
   
   
   
   

   これで、抽出したテキスト列に対して、利用可能な文字列変換を実行できます。

7. 右上の閉じるを選択して、パイプライングラフに戻ります。
   
   
   
   

（任意）セマンティック検索ワークフロー

必要に応じて、抽出したテキストを使ってセマンティック検索ワークフローに進むことができます。

パート4：出力を追加する

PDF からのテキスト抽出と、必要に応じた追加の文字列変換が完了したので、出力を追加できます。このチュートリアルでは、オブジェクト出力を追加します。

1. 変換を完了したデータ加工ノードで、出力を追加を選択します。
   
   
   
   

2. 新規オブジェクトタイプを選択します。
   
   
   
   

3. オブジェクトタイプに名前を付け、オントロジーを選択してくださいを選択してオントロジーを設定します。
   
   
   
   

4. 編集を選択し、列のマッピングを編集します。主キーには必ず有効な列を選択してください。
   
   
   
   

パート5：パイプラインをビルドする

1. パイプラインをビルドするには、必ず保存を選択し、次にデプロイ > パイプラインをデプロイを選択してください。
   
   
   
   

2. サイドバーのパイプラインをデプロイの選択肢の下に、デプロイを初期化中と表示されるはずです。
   
   
   
   

3. デプロイ履歴を表示を選択して、デプロイの進行状況を追跡します。パイプラインの履歴タブに移動し、デプロイのステータスと履歴を表示できるはずです。
   
   
   
   
   
   

（任意）パート6：オントロジーの上位層

デプロイが完了してオブジェクトが初期化されると、オブジェクト出力に対して直接アクションを実行できるはずです。Workshop モジュールを作成を選択して、パイプライン出力を使用する Workshop モジュールを生成します。

この最後のステップで、パイプライン出力と Workshop モジュールが生成されました。

よくある質問

メディアからデータを抽出する前に、メディアを変換できますか？

はい、メディアからデータを抽出する前にメディアを変換できます。この処理は、テキスト抽出や大規模言語モデル (LLM) の使用を含む、多くの抽出操作で機能します。たとえば、OCR ベースのテキスト抽出を実行する前に、時計回りに90度回転させる必要がある横向きの画像を含むメディアセットを考えてみます。画像を回転させる式を追加し、その後に OCR でテキストを抽出する式を追加できます。