注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

データの制限

Object Storage V2 (OSv2) は、オントロジーに取り込むデータの品質を確保し、より決定論的な動作を実現し、プラットフォーム全体でのわかりやすさを高めるために、データの制限を適用します。これらの制限への準拠は、インデックス化中に検証されます。バッチデータソースを基盤とするオブジェクトタイプでは、違反があるとインデックス化ジョブが失敗します。ストリーミングデータソースを基盤とするオブジェクトタイプでは、これらの制限に違反するレコードは削除されます。

主キーと一意性

OSv2 ではオブジェクトの主キーが一意である必要がありますが、一意性の評価方法はデータソースの種類によって異なります。データセットをデータソースとする場合、主キーは各トランザクション内で一意でなければなりません。1つのトランザクションに重複する主キーが含まれていると、インデックス化が失敗し、エラーが発生します。インクリメンタル(差分処理)データセットをインデックス化する際に、複数のトランザクションに同じ主キーが存在する場合、OSv2 は最新のトランザクションの行を使用します。

Iceberg テーブルをデータソースとする場合、主キーは、別々の書き込みで追加された行も含め、現在のテーブルの内容全体で一意でなければなりません。重複するキーはサポートされておらず、最初のインクリメンタルインデックス化が成功しても、インデックス化済みデータが不正確になったり、その後の完全な再インデックス化が失敗したりする可能性があります。Iceberg テーブルデータソースを参照してください。

OSv2 では、オントロジーのモデリングのベストプラクティスを促進するため、特定のデータ型を主キーとして使用できないようにしています。次のデータ型は主キーとして使用できません。

  • Geopoint
  • Geoshape
  • 配列
  • 時系列プロパティ
  • 実数型(Decimal、Double、Float)

プロパティタイプの制限

  • OSv2 は、同期のたびにデータソースのスキーマとオブジェクトタイプのスキーマの間でデータ型の整合性を強制します。プロパティのデータ型に互換性がない場合、ビルドは失敗します。
  • 既存のプロパティのベースタイプを変更する場合(たとえば、Double から Integer へ)、そのプロパティの既存の値はすべて、変更先のデータ型に厳密に適合している必要があります。新しいデータ型と互換性のない値(Integer への変更時の小数や、通貨記号など)がデータに含まれていると、移行は失敗し、A property could not be cast to the new type などのエラーが発生します。互換性のない値が存在する場合、スキーマ移行は進行せず、移行処理でこれらの値を自動的にクレンジングしたり、型を強制変換したりすることはできません。
  • OSv2 では、プロパティ値として NaN または ±infinity は許容されません。
  • OSv2 では空の文字列は許容されません。OSv1 では、空の文字列は通知なく null に変換されていました。
  • Lat, Long は、-29.123, 150.982 のように、括弧を含まないカンマ区切りの文字列にする必要があります。
  • OSv2 では、ネストされた配列を持つプロパティは許容されません。
  • OSv2 では、配列データ型のプロパティの配列内に null 要素を含めることは許容されません。
  • OSv2 オブジェクトタイプの制限付きビューデータソースのポリシー、オブジェクトセキュリティポリシー、およびプロパティセキュリティポリシーには、ポリシータイプと比較演算子の制限があります。
  • OSv2 は、制限付きビューデータソースの詳細な権限設定ポリシーにおいて、否定されるフィールドがコレクションであり、空でないという制約がある場合に、Not 条件をサポートします。これは、Ontology Manager で該当するプロパティを必須に設定することで構成できます。
  • OSv2 では、Geopoint プロパティに対してより厳格な検証が行われます。

プロパティのサイズ制限

OSv2 は、インデックス化のパフォーマンスと安定性を確保するために、個々のプロパティにサイズ制限を適用します。これらの制限は、大きなプロパティ値を処理する際に発生する可能性があるシリアル化の制約やメモリーの負荷に対処するものです。

プロパティタイプ最大サイズ
文字列プロパティ12 MB
配列プロパティ100,000個の要素

これらの制限を超えるプロパティがあると、インデックス化ジョブは失敗します。これらの制限は、まずバッチデータソースを基盤とするオブジェクトタイプに適用されます。今後、ストリーミングデータソースを持つオブジェクトタイプにも同様の制限が適用される予定です。

大きなデータに関する推奨事項

  • 大きな文字列プロパティ: 12 MB を超えるデータを格納する必要がある場合は、代わりに Media Reference プロパティを使用します。Media Reference を使用すると、インデックス化のパフォーマンスに影響を与えずに、大きなファイルやバイナリコンテンツをオブジェクトに関連付けることができます。
  • 大きな配列: 100,000個の要素を超える関係をモデル化する必要がある場合は、配列プロパティの代わりにリンクタイプの使用を検討します。リンクを使用すると、オブジェクト間の関係を、よりスケーラブルでクエリ可能な形で表現できます。