注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Object Storage V2 (OSv2) は、オントロジーに取り込むデータの品質を確保し、より決定論的な動作を実現し、プラットフォーム全体でのわかりやすさを高めるために、データの制限を適用します。これらの制限への準拠は、インデックス化中に検証されます。バッチデータソースを基盤とするオブジェクトタイプでは、違反があるとインデックス化ジョブが失敗します。ストリーミングデータソースを基盤とするオブジェクトタイプでは、これらの制限に違反するレコードは削除されます。
OSv2 ではオブジェクトの主キーが一意である必要がありますが、一意性の評価方法はデータソースの種類によって異なります。データセットをデータソースとする場合、主キーは各トランザクション内で一意でなければなりません。1つのトランザクションに重複する主キーが含まれていると、インデックス化が失敗し、エラーが発生します。インクリメンタル(差分処理)データセットをインデックス化する際に、複数のトランザクションに同じ主キーが存在する場合、OSv2 は最新のトランザクションの行を使用します。
Iceberg テーブルをデータソースとする場合、主キーは、別々の書き込みで追加された行も含め、現在のテーブルの内容全体で一意でなければなりません。重複するキーはサポートされておらず、最初のインクリメンタルインデックス化が成功しても、インデックス化済みデータが不正確になったり、その後の完全な再インデックス化が失敗したりする可能性があります。Iceberg テーブルデータソースを参照してください。
OSv2 では、オントロジーのモデリングのベストプラクティスを促進するため、特定のデータ型を主キーとして使用できないようにしています。次のデータ型は主キーとして使用できません。
Double から Integer へ)、そのプロパティの既存の値はすべて、変更先のデータ型に厳密に適合している必要があります。新しいデータ型と互換性のない値(Integer への変更時の小数や、通貨記号など)がデータに含まれていると、移行は失敗し、A property could not be cast to the new type などのエラーが発生します。互換性のない値が存在する場合、スキーマ移行は進行せず、移行処理でこれらの値を自動的にクレンジングしたり、型を強制変換したりすることはできません。NaN または ±infinity は許容されません。Lat, Long は、-29.123, 150.982 のように、括弧を含まないカンマ区切りの文字列にする必要があります。Not 条件をサポートします。これは、Ontology Manager で該当するプロパティを必須に設定することで構成できます。OSv2 は、インデックス化のパフォーマンスと安定性を確保するために、個々のプロパティにサイズ制限を適用します。これらの制限は、大きなプロパティ値を処理する際に発生する可能性があるシリアル化の制約やメモリーの負荷に対処するものです。
| プロパティタイプ | 最大サイズ |
|---|---|
| 文字列プロパティ | 12 MB |
| 配列プロパティ | 100,000個の要素 |
これらの制限を超えるプロパティがあると、インデックス化ジョブは失敗します。これらの制限は、まずバッチデータソースを基盤とするオブジェクトタイプに適用されます。今後、ストリーミングデータソースを持つオブジェクトタイプにも同様の制限が適用される予定です。