データ接続と統合Media sets (unstructured data)メディアの変換

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

メディアを変換する

メディアは、Pipeline Builder と Code Repositories を使用して変換できます。

Pipeline Builder は、ドキュメントや画像からのテキスト抽出、音声の文字起こし、LLM でのメディアの使用など、一般的なメディア変換ワークフローに役立ちます。

一方、Code Repositories は、インクリメンタル(差分処理)パイプライン、メディアセット以外の入力からの読み取り、外部ライブラリの使用など、より複雑な処理や、よりきめ細かな制御が必要なワークフローに使用できます。

どちらのツールでも、入力メディアセットの変換、出力メディアセットへの書き込み、出力データセットへの書き込みができます。ただし、メディアセットのインクリメンタルな読み取りと書き込みや、メディア変換内での表形式データの使用など、一部の機能は Code Repositories でのみサポートされており、Pipeline Builder ではサポートされていません。

Pipeline Builder

Pipeline Builder でメディアセットを使用したパイプラインを作成する方法について学ぶ。

以下は、PDF メディアセットでテキスト抽出(OCR オプション)ボードを使用した例です。

Pipeline Builder でのテキスト抽出

現在利用できない変換に関心がある場合は、Palantir サポートにお問い合わせください。

メディアセットは、パイプラインの出力として設定することもできます。

Code Repositories

Python トランスフォームでメディアセットを使用する方法について学ぶ。

以下は、Code Repositories でメディアセットの使用をはじめるための例です。

Copied!
1 2 3 4 5 6 7 8 from transforms.api import transform from transforms.mediasets import MediaSetInput, MediaSetOutput @transform( images=MediaSetInput('/examples/images'), output_images=MediaSetOutput('/examples/output_images') ) def translate_images(images, output_images): ...

Python トランスフォーム内では、メディアセットの読み取りと書き込みをインクリメンタルに実行できます。その方法については、ドキュメントに沿って進めてください。

アクセスパターン

上級ユーザーや開発者は、メディアセットのアクセスパターンを活用できます。アクセスパターンは、メディアセット内のメディアアイテムに対してオンデマンドで実行できる、事前設定済みの変換です。アクセスパターンには、ストレージと最適化の調整のための保存ポリシーがあり、リクエストごとに再計算する、最初のリクエスト後に出力を無期限に保存する、または一定期間キャッシュするというオプションを選択できます。

アクセスパターンは、Palantir プラットフォームでメディアセットの項目を最適に処理またはレンダリングするために活用されています。たとえば、次のような用途があります。

  • Workshop での PDF のサムネイルとプレビュー
  • Preview アプリケーションでのバッファリングされた音声波形
  • Map でのタイル化された衛星画像

デフォルトで利用可能なアクセスパターンは、設定されたメディアセットのスキーマに基づいて決まります。追加の変換をメディアセットのアクセスパターンとして登録するには、API 呼び出しを使用する必要があります。