注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Ontology SQL

Ontology SQL は、オントロジーデータに使い慣れた SQL のセマンティクスを適用するために専用設計された、Foundry のオントロジーオブジェクト向け SQL クエリエンジンです。Ontology SQL を使用すると、オブジェクトタイプ、多対多リンク、インターフェースに対して SQL クエリを直接実行できます。標準の Spark SQL 構文を使用してオントロジーオブジェクトをクエリでき、クエリはオブジェクトストレージに対して直接実行されます。Ontology SQL は Foundry の SQL インフラストラクチャを基盤としており、変数、標準 SQL 関数、既存のオントロジーモデリングとのシームレスな統合をサポートする、単一の SELECT 文のインターフェースを提供します。

Ontology SQL のアーキテクチャ

Ontology SQL は、オントロジーオブジェクトのクエリに統一された SQL の操作環境を提供します。Foundry のほかの SQL 機能と同じ SQL 方言およびフロントエンドの操作環境を共有しつつ、専用のバックエンドで動作します。

  • 統一された SQL 方言: Ontology SQL は、Furnace と同じ SQL パースレイヤーおよび ANSI 準拠の Spark SQL 方言を共有し、Foundry の SQL エコシステム全体で構文と動作の一貫性を確保します。これにより、使い慣れた SQL の操作環境を提供しながら、基盤となるクエリのプランニングと最適化はオントロジーデータに特化して行われます。
  • オントロジーデータプロバイダー: Ontology SQL には、オブジェクトタイプおよび多対多リンクテーブル専用のプロバイダーが導入されています。これらのプロバイダーは、オブジェクトプロパティ、主キー、リンク関係などのオントロジーの概念を SQL 対応のテーブルスキーマに変換し、標準 SQL 構文を使用してオントロジーデータをシームレスにクエリできるようにします。
  • オブジェクトストレージへの直接アクセス: クエリは、オブジェクトセットが使用するものと同じ基盤ストレージである Foundry のオブジェクトストレージレイヤーに対して直接実行されます。この直接アクセスにより、中間的なデータ移動を必要とせず、パフォーマンスとコストの特性をほかのオントロジー操作と一貫させます。
  • コンピュートエンジンの抽象化: プランニング後、オブジェクトストレージサービス (OSS) が、クエリを実行するコンピュートエンジンを決定します。コンピュートエンジンは、クエリの実行、データの読み取り、結果の返却を担当し、自動リソース管理と組み込みのスケール制約によって安定したパフォーマンスを確保します。
  • 一貫した API の利用体験: Ontology SQL は Furnace と同様の API を提供し、開発者に一貫した利用体験をもたらすとともに、プラットフォームの進化に伴う将来の拡張を可能にします。
  • サポートされるコンピュートエンジン: Ontology SQL は Foundry のコンピュートエンジンの抽象化を基盤としており、プラットフォームの進化に伴う将来の最適化と更新に対応できます。さらに、より大規模で複雑なクエリを活用するために、Ontology SQL の一部のクエリは Spark ↗ で実行できます。

Ontology SQL をはじめる

Ontology SQL にアクセスする

SQL Studio または SQL Console のオブジェクトモードで Ontology SQL を操作できます。オブジェクトモードに入ると、標準 SQL 構文を使用してオブジェクトタイプをクエリできます。利用可能な操作の完全なリファレンスについては、SQL 方言のドキュメントを参照してください。

最初のクエリを記述する

Ontology SQL クエリでは、リソース識別子 (RID) を使用してオブジェクトタイプを参照します。基本構文は次のパターンに従います。

Copied!
1 SELECT * FROM `ri.ontology.main.object-type.<object-type-rid>`;

たとえば、Employee オブジェクトタイプのすべてのプロパティを取得するクエリは、次のように記述します。

Copied!
1 SELECT * FROM `ri.ontology.main.object-type.00000000-0000-0000-0000-000000000000`;

多対多リンクのクエリは、次のように記述できます。

Copied!
1 SELECT * FROM `ri.ontology.main.relation.<relation-rid>`;

列名を理解する

クエリでは、すべてのオブジェクトプロパティを表示名ではなくAPI名で参照します。クエリで利用可能な列は、オントロジーで定義されたプロパティのAPI名に直接対応します。プロパティのAPI名は Ontology Manager で確認できます。

たとえば、Employee オブジェクトに employeeId、firstName、department というAPI名のプロパティがある場合、次のようにクエリを記述します。

Copied!
1 2 SELECT employeeId, firstName, department FROM ri.ontology.main.object-type.<employee-rid>;

リンクタイプを操作する

一対一および一対多リンク

一対一および一対多のリンクタイプは、Ontology SQL で使用するために Ontology Manager で定義する必要はありません。SQL を使用して、任意の方法でオブジェクトを結合できます。結合で Ontology Manager に定義されたリンクを使用するかどうかにかかわらず、パフォーマンスは同じです。

多対多リンク

多対多リンクには結合テーブルが必要であり、Ontology Manager で定義する必要があります。SQL の結合で使用するには、SQL クエリでリンクタイプを選択する必要があります。

多対多リンクテーブルをクエリする場合、曖昧さを避けるため、列名は特定の規則に従います。

各外部キー列には、次のパターンで名前が付けられます。

<objectTypeApiName>_<relationApiName>

Person オブジェクトと Car オブジェクト間の多対多の関係を考えます。

オントロジーの設定は次のとおりです。

  • オブジェクトタイプ: Person(API名:person)
    • 主キー: personId
    • Person 側のリンクのAPI名: vehicles
  • オブジェクトタイプ: Car(API名:car)
    • 主キー: carId
    • Car 側のリンクのAPI名: drivers
  • リンクタイプの RID: ri.ontology.main.relation.0

次に、特定の人物が運転するすべての車を検索するクエリの例を示します。

Copied!
1 2 3 4 5 SELECT c.* FROM `ri.ontology.main.relation.0` AS linkTable INNER JOIN `car` AS c ON c.`carId` = linkTable.`person_vehicles` WHERE linkTable.`car_drivers` = 'person-123';

また、特定の車を運転するすべての人物を検索するクエリの例を示します。

Copied!
1 2 3 4 5 SELECT p.* FROM `ri.ontology.main.relation.0` AS linkTable INNER JOIN `person` AS p ON p.`personId` = linkTable.`car_drivers` WHERE linkTable.`person_vehicles` = 'car-456';
ベストプラクティス

多対多リンクを操作する場合は、必ずテーブルのエイリアスを使用してください。エイリアスがないと、列名が読みにくくなり、保守が難しくなることがあります。次の例を比較してください。

エイリアスあり(推奨):

Copied!
1 2 3 4 SELECT c.* FROM `ri.ontology.main.relation.0` AS linkTable INNER JOIN car AS c ON c.carId = linkTable.person_vehicles WHERE linkTable.car_drivers = 'person-123';

エイリアスなし(読みにくい):

Copied!
1 2 3 4 SELECT car.* FROM `ri.ontology.main.relation.0` INNER JOIN car ON car.carId = `ri.ontology.main.relation.0`.person_vehicles WHERE `ri.ontology.main.relation.0`.car_drivers = 'person-123';

変数を使用する

Ontology SQL は、DECLARE 文による変数の使用をサポートしています。

Copied!
1 2 3 4 5 DECLARE @minSalary DOUBLE = 75000.0, @department STRING = 'Engineering'; SELECT employeeId, salary FROM ri.ontology.main.object-type.<employee-rid> WHERE salary > @minSalary AND department = @department;

変数の要件

  • DECLARE 文はクエリの最初の文である必要があり、1回しか使用できません。複数の変数を宣言する方法については、上の例を参照してください。
  • サポートされる変数のデータ型については、SQL 方言のドキュメントを参照してください。
  • 変数名には、英字、数字、アンダースコアを使用できます。
  • SET 文は使用できません。

オブジェクトセット変数

次の Palantir 独自の構文を使用して、オブジェクトセット変数を定義できます。

Copied!
1 2 3 4 DECLARE @employees `ri.ontology.main.object-type.<object-type-rid>`; SELECT employeeId FROM @employees;

INT や STRING などの変数のデータ型を指定する代わりに、オブジェクトタイプの RID をバッククォートで囲んで記述します。これにより、オブジェクトセットの形式が強制されます。オブジェクトセット変数のデフォルト値は、指定されたタイプのすべてのオブジェクトであり、上書きできません。

予約キーワード

user や result など、一部のキーワードは予約されています。競合を避けるため、次に示すように列名をバッククォートで囲むことを推奨します。

Copied!
1 SELECT `user`, `result` FROM ri.ontology.main.object-type.<object-rid>;

パフォーマンスのベストプラクティス

フィルター条件での関数の使用を避ける

WHERE 句の列に関数や変換を適用する場合、または計算列を使用して絞り込む場合、クエリエンジンはインデックスを活用できません。これにより、クエリのパフォーマンスと計算の規模が大幅に制限されます。

インデックスを使用できなくなる次のパターンは避けてください。

Copied!
1 2 3 4 5 6 7 8 9 -- 計算列で絞り込みます SELECT employeeId, salary, bonus FROM employee WHERE salary + bonus > 100000; -- 関数の結果で絞り込みます SELECT employeeId, hireDate FROM employee WHERE YEAR(hireDate) = 2023;

インデックスを使用できる次のパターンを優先してください。

Copied!
1 2 3 4 5 6 7 8 9 -- 元の列で直接絞り込みます SELECT employeeId, salary, bonus FROM employee WHERE salary > 100000 - bonus; -- 年を抽出する代わりに日付範囲の比較を使用します SELECT employeeId, hireDate FROM employee WHERE hireDate >= '2023-01-01' AND hireDate < '2024-01-01';

同じ原則が集計にも当てはまります。クエリのいずれかの部分で変換された列(たとえば、colA + colB AS newColumn)を対象に絞り込むと、エンジンはインデックスを使用して一致する行を効率的に特定できず、パフォーマンスが低下します。

不要な大きい列の選択を避ける

必要がない場合は、クエリでベクトル(埋め込み)などの大きい列を選択しないでください。これらの列は、分析に不要な場合には価値をもたらさず、クエリの実行時間とメモリー使用量を大幅に増加させる可能性があります。

制限事項と制約

クエリ構造の制限事項

  • SELECT クエリのみ: Ontology SQL は読み取り操作のみに対応しています。データ変更(INSERT、UPDATE、DELETE)やスキーマ定義(CREATE、ALTER、DROP`)の操作は利用できません。
  • 単一の SELECT 文: 変数用の DECLARE 文を除き、1つのクエリで使用できる SELECT 文は1つのみです。
  • オブジェクトとデータセットの混在不可: クエリは、オントロジーオブジェクトのみ、またはデータセットのみを対象にする必要があります。1つのクエリで両方を混在させることはできません。

データ型の制約

  • ベクトル列(埋め込み)は技術的には対応していますが、サイズが大きく、SQL のコンテキストでの有用性が限られるため、フロントエンドアプリケーションでは除外されることがよくあります。
  • その他すべてのオントロジーの列のデータ型に対応しており、SQL と互換性のあるデータ型に自動的に変換されます。

規模とパフォーマンスの制約

  • 出力制限: Ontology SQL サービスは、結果を最大10,000行に切り詰めます。クエリで制限を指定しない場合でも、結果は10,000行が上限となります。OFFSET + LIMIT が10,000以下であれば、OFFSET を使用できます。たとえば、OFFSET 1000 LIMIT 1000 は機能しますが、OFFSET 9000 LIMIT 2000 は機能しません。アプリケーションを使用して Ontology SQL を操作する場合、それぞれのアプリケーションでより厳しい制限が適用されることがあります。

リソースの制約

  • OSS Spark のリソースが飽和している間、ジョブは最大6秒間キューで待機する場合があります。
  • クエリ実行のタイムアウトは20秒です。
  • これらの時間を超えると、NotEnoughSparkResources エラーが発生します。

プラットフォームの制約

  • Object Storage V2 のみ: Ontology SQL は現在、Object Storage V2 でのみ利用可能です。
  • オブジェクトセットの制限事項:
    • フロントエンドアプリケーションによっては、オブジェクトセットをクエリの入力として使用できます。
    • オブジェクトセットをクエリの出力として直接使用することはできません。

対応しているオントロジー機能

機能サポート状況
オブジェクトタイプサポートされています。オブジェクトタイプを Ontology Manager で定義する必要があります
多対多のリンクサポートされています。リンクタイプを Ontology Manager で定義する必要があります
インターフェースサポートされています
一対一および一対多のリンクサポートされています。Ontology Manager でリンクタイプを定義する必要がないため、Ontology SQL で直接使用できます
ブランチ分岐サポートされています
シナリオサポートされています
書き込み操作利用できません