メディアセットのコンピュート使用量

メディアセットでは、高度な変換機能を標準で利用できます。メディア変換は、トランスフォームやパイプラインを通じて実行されるだけでなく、メディアアイテムのプレビューなど、プラットフォーム内でメディアアイテムを操作することによっても実行されます。また、メディアアイテムの内容全体をダウンロードまたはストリーミングする際にもコストが発生します。

使用量は Foundry のコンピュート秒単位で計測されます。以下のテーブルでは、利用可能な変換と、処理するデータ1ギガバイトあたりのコンピュート秒で表した使用率を示します。

Palantir とエンタープライズ契約を締結している場合は、使用量の計算を進める前に Palantir の担当者にお問い合わせください。

変換

使用率は、GB あたりのコンピュート秒で計測されます。

すべて

画像

音声

動画

ドキュメント

* この使用量は、自動計算される VLM の使用量に加えて計上されます。

テキスト抽出変換

* 自動モードは、ページごとにテキストを直接抽出できるか、OCR が必要かを判断します。

スプレッドシート

メディアを大規模に使用する

メディアセットの制限

• メディアセットにアップロードできるメディアアイテムの数に制限はありません。
• トランザクション型メディアセットでは、1トランザクションあたりのアップロード数の上限は10,000項目です。
• トランザクションレスメディアセットには、項目のアップロード数の上限はありません（トランザクションが存在しないため）。
• メディアセット内の項目のパスは256文字を超えることはできません。256文字を超えるパスを持つ項目をメディアセットに追加しようとすると、MediaSet:MediaItemPathInvalid エラーが発生します。
• 各メディアアイテムの最大ファイルサイズは 50 GB です。
• インクリメンタル（差分処理）トランスフォームでは、メディアセット入力のバッチサイズの制限がサポートされています。

スロットリング

数百万件のメディアアイテムのアップロードや変換など、メディアセットを大規模に操作することは可能ですが、パイプラインの安定性を確保するためにエラー処理を実装する必要があります。メディアセットを大規模に操作すると、メディアセットサービスは、ステータスコードが429または503の Quality of Service (QoS) エラーを返してスロットリングを行うことがあります。これは、その時点でメディアセットサービスがストレージまたはコンピュートの負荷を処理できないことを示します。

サービスによるスロットリング時に QoS エラーで処理を失敗させるのではなく、クライアントに適切な再試行の仕組みを実装する必要があります。

たとえば、クライアントが /{mediaSetRid}/items に PUT リクエストを送信して数百万件のメディアアイテムをアップロードする場合、QoS エラーを受信したメディアアイテムのアップロードリクエストをすべて再試行する必要があります。

Python トランスフォームで transforms-media ライブラリを使用する場合、通常は再試行の仕組みがすでに用意されています。たとえば、カタログデータセットからメディアセットにメディアファイルをアップロードする場合、ライブラリが提供するメソッドには、QoS エラーを処理する再試行ロジックがすでに含まれています。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from transforms.api import transform, Input, Output
from transforms.mediasets import MediaSetOutput


@transform(
    input_files=Input('/examples/image_files'),
    output_media_set=MediaSetOutput('/examples/image_media_set'),
    uploaded_media_record=Output('/examples/uploaded_media_record'),
)
def compute(input_files, input_files, output_media_set, uploaded_media_record):
    uploaded_media_items = output_files.put_dataset_files_and_get_dataframe_of_uploads(
        input_files,
        ignore_items_not_matching_schema=False,
        ignore_items_failing_to_convert=False,
    )

    uploaded_media_record.write_dataframe(uploaded_media_items)