メディアを加工する

Pipeline Builder では、テーブル形式の構造化データの加工に加え、Palantir プラットフォームでメディアセットとして表される非構造化データも加工できます。

メディアの加工は、一般にメディアの操作とメディアからの情報の抽出のいずれかを指します。メディアを操作するデータ加工は、メディア入力を受け取り、メディア出力を生成します。メディアから情報を抽出する式は、メディア入力を受け取り、テーブル形式の出力を生成します。

ワークスペースにメディアセットの形で Foundry からデータを追加すると、Pipeline Builder で非構造化データの加工を開始できます。

メディアセットを選択する

メディアセットにデータ加工を適用するには、ワークスペース内のメディアセットノードを選択し、データ加工を選択します。

データ加工を検索する

データ加工ページで、データ加工の種類を名前で検索するか、利用可能なデータ加工の一覧を見ます。左側のメディアカテゴリーを選択すると、利用可能なメディアのデータ加工のみの一覧を見ることもできます。

以下の例では、PDF ドキュメントを含むメディアセット入力を使用して、ドキュメントを一部のページに切り詰める、つまり「スライス」する方法を示します。これを行うには、PDF をスライスデータ加工を検索して選択します。

PDF ドキュメントのスライスは、メディアを操作して加工する例です。ただし、代わりにドキュメントから情報を抽出したい場合もあります。

以下の例でも、PDF ドキュメントを含む同じメディアセット入力から始めます。ドキュメントからテキストを抽出するには、PDF のテキスト抽出データ加工を検索して選択します。

メディアセットを絞り込む

メディアセットを絞り込むデータ加工を使用すると、さまざまな条件に基づいてメディアセットを絞り込めます。これは、異なるスキーマや形式の項目を含むマルチモーダルメディアセットを扱う場合に特に役立ちます。

メディアスキーマを持つ式を条件として使用すると、指定したスキーマと形式に一致する項目のみを含むようにマルチモーダルメディアセットを絞り込めます。絞り込み後のメディアセットノードの型はより限定されるため、続けてPDF からテキストを抽出するや画像を切り抜くなどのスキーマ固有のデータ加工を適用できるようになります。

たとえば、PDF ドキュメントと画像の両方を含むメディアセットがある場合、メディアセットを絞り込むデータ加工とメディアスキーマを持つ式を使用して、PDF ドキュメントのみを含むメディアセットに絞り込み、その結果にPDF のテキスト抽出データ加工を適用できます。

データ加工を設定する

多くのデータ加工では、実行方法を設定するためのパラメーター入力画面が表示されます。ワークフローに合わせて、これらのパラメーターを設定します。

以下の例では、ドキュメントを2～5ページにスライスするために、PDF をスライスデータ加工を設定する方法を示します。

以下は、PDF のテキスト抽出データ加工を使用して、ドキュメント全体のテキストを抽出する例です。ドキュメントにテキストが埋め込まれているため、設定では生のテキストを選択しますが、そうでない場合は OCR を利用できます。

メディア参照では、ドロップダウンから media_reference 列を選択します。すべてのページのテキストを抽出するため、開始ページはデフォルト値の 1 のまま、終了ページはデフォルトの空欄のままにします。

データ加工を適用する

データ加工ボードの設定後、適用を選択すると、パイプラインにデータ加工が追加されます。以下の例では、上記で使用したデータ加工を使って2つの異なるデータ加工パスを追加しています。PDF をスライスするデータ加工の名前を Slice PDF に、テキストを抽出するデータ加工の名前を PDF text extraction に変更しています。

ここから、出力を追加したり、続けて下流のデータ加工を追加したりできます。

パイプライン出力の追加について詳しくはこちら。