注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
メディアセットには、すぐに使える高度な変換機能が数多く用意されています。メディア変換は、トランスフォームやパイプラインからトリガーされるだけでなく、メディアアイテムのプレビューなど、プラットフォーム内でメディアアイテムを操作することでもトリガーされます。また、メディアアイテムの内容全体をダウンロードまたはストリーミングする際にもコストがかかります。
使用量は Foundry コンピュート秒単位で追跡されます。以下のテーブルでは、利用可能な各変換について、処理するデータ1ギガバイトあたりのコンピュート秒で使用量のレートを示しています。
Palantir とエンタープライズ契約を締結している場合は、使用量の計算を進める前に Palantir の担当者にお問い合わせください。
使用量のレートは、1 GB あたりのコンピュート秒で測定されます。
| 変換 | 使用率 |
|---|---|
| ダウンロード / ストリーム | 2 |
| 変換 | 使用率 |
|---|---|
| PDF を生成 | 40 |
| サイズを変更 | 40 |
| 境界ボックス内でサイズを変更 | 40 |
| 回転 | 40 |
| コントラストを調整 | 75 |
| 注釈を追加 | 75 |
| 切り抜き / チップ化 | 75 |
| 暗号化 / 復号 | 75 |
| 地理タイル | 75 |
| グレースケール | 75 |
| DICOM 画像レイヤーをレンダリング | 75 |
| テキストを抽出 (OCR) | 275 |
| 埋め込みを生成 | 275 |
| テキストを抽出 v2 (OCR) | 275 |
| レイアウトを考慮して抽出 v2 | 275 |
| 変換 | 使用率 |
|---|---|
| チャンク化 | 75 |
| チャネルを選択 | 75 |
| HLS でストリーミング | 75 |
| トランスコード | 75 |
| 波形の生成 | 75 |
| 文字起こし | 275 |
| 変換 | 使用率 |
|---|---|
| シーンフレームのタイムスタンプを取得 | 40 |
| 音声を抽出 | 75 |
| タイムスタンプを指定してフレームを抽出 | 75 |
| チャンク化 | 275 |
| すべてのシーンフレームを抽出 | 275 |
| HLS でストリーミング | 275 |
| トランスコード | 275 |
| 変換 | 使用率 |
|---|---|
| PDF のページ数を取得 | 40 |
| PDF のページ寸法を取得 | 40 |
| ページを画像としてレンダリング | 40 |
| 境界ボックス内でページを画像としてレンダリング | 40 |
| すべてのテキストを抽出(生) | 75 |
| フォームフィールドを抽出 | 75 |
| 目次を抽出 | 75 |
| ページからテキストを配列として抽出(生) | 75 |
| ページ上のテキストを抽出(生) | 75 |
| PDF の範囲を切り出し | 75 |
| テキストを抽出 (OCR) | 275 |
| ページからテキストを配列として抽出 (OCR) | 275 |
| レイアウトを考慮してテキストを抽出(生 / OCR) | 275 |
| VLM を使用してテキストを抽出 * | 275 |
* この使用量は、自動計算される VLM 使用量に加えて計上されます。
| 形式 | 生テキストモード | OCR モード | 自動*モード |
|---|---|---|---|
| テキスト | 75 | 275 | 275 |
| Markdown/HTML | 275 | 275 | 275 |
* 自動モードでは、ページごとに、テキストを直接抽出できるか、OCR が必要かを判定します。
| 変換 | 使用率 |
|---|---|
| シートを JSON に変換 | 275 |
MediaSet:MediaItemPathInvalid エラーが発生します。数百万個のメディアアイテムのアップロードや変換など、メディアセットを大規模に操作することは可能ですが、パイプラインの安定性を確保するためにエラー処理を実装する必要があります。メディアセットを大規模に操作する場合、メディアセットサービスは、ステータスコードが429または503の Quality of Service (QoS) エラーを返してスロットリングを行うことがあります。これは、メディアセットサービスがその時点でストレージまたはコンピュートの負荷を処理できないことを示します。
サービスがスロットリングを行った際に QoS エラーで処理を失敗させるのではなく、クライアントに適切な再試行の仕組みを実装する必要があります。
たとえば、クライアントが /{mediaSetRid}/items に PUT リクエストを送信して数百万個のメディアアイテムをアップロードする場合、QoS エラーを受信したメディアアイテムのアップロードリクエストを再試行する必要があります。
Python トランスフォームで transforms-media ライブラリを使用する場合、通常、再試行の仕組みはすでに用意されています。たとえば、カタログデータセットからメディアセットにメディアファイルをアップロードする場合、ライブラリで提供されるメソッドには、QoS エラーに対処するための再試行ロジックがすでに備わっています。
Copied!1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17from transforms.api import transform, Input, Output from transforms.mediasets import MediaSetOutput @transform( input_files=Input('/examples/image_files'), output_media_set=MediaSetOutput('/examples/image_media_set'), uploaded_media_record=Output('/examples/uploaded_media_record'), ) def compute(input_files, output_media_set, uploaded_media_record): uploaded_media_items = output_media_set.put_dataset_files_and_get_dataframe_of_uploads( input_files, ignore_items_not_matching_schema=False, ignore_items_failing_to_convert=False, ) uploaded_media_record.write_dataframe(uploaded_media_items)