注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

基本概念

このページでは、Data Connection 全体で使用される基本概念について説明します。

ソース

ソースは、外部システムへの単一の接続を表し、ターゲットシステムの指定と場所の特定に必要な設定(通常は URL)と、認証に必要な資格情報を含みます。ソースには、そのソースで使用する機能のコンピューティングを実行する場所を定義する、特定のワーカーを設定する必要があります。Agent ワーカーは、 Palantir プラットフォームとターゲットシステム間のネットワーク接続も制御します。

ソースは、特定のコネクター(ソースタイプとも呼ばれます)に基づいて設定します。Palantir プラットフォームでは幅広いコネクターが利用可能であり、組織で一般的に使用されるデータシステムをサポートするように設計されています。選択したコネクターとワーカーによって、利用可能な機能が異なる場合があります。

専用のコネクターがないシステムでは、汎用コネクターまたは REST API ソースを、外部トランスフォーム、外部関数、Compute Modulesなどのコードベースの接続オプションとともに使用できます。

資格情報

資格情報は、特定のシステムへのアクセスに必要なシークレット値です。つまり、資格情報は認証に使用されます。資格情報には、パスワード、トークン、APIキー、その他のシークレット値を使用できます。Palantir プラットフォームでは、すべての資格情報が暗号化され、安全に保存されます。ワーカーによって、シークレットは Data Connection Agent のローカルに保存される場合と、プラットフォームに直接保存される場合があります。

OpenID Connect、アウトバウンドアプリケーション、クラウド IDを使用する場合など、シークレットを保存せずに認証できるソースもあります。

ワーカー

ワーカーは、機能のコンピューティングを実行する場所を定義し、ネットワーク接続は、ターゲットシステムに到達する方法を定義します。ワーカーとネットワーク接続を組み合わせて使用する例については、アーキテクチャ図を参照してください。

ソースは Foundry ワーカーで実行されます。Agent ワーカーは、既存の顧客向けに維持されているレガシーオプションです。比較については、Foundry ワーカーと Agent ワーカーの比較を参照してください。すべてのソースタイプですべての種類のワーカーが利用可能なわけではありません。

Foundry ワーカー

Foundry ワーカーのソースは、ソース機能のコンピューティングを Foundry で実行します。これらのソースは、Foundry のコンテナー化されたスケーラブルなジョブ実行と安定性の向上という利点を得られ、Agentに伴うメンテナンスの負担もありません。すべてのソースはコードで使用できます。

ネットワーク接続はエグレスポリシーで設定し、直接接続と Agent プロキシ経由の接続を有効にします。

当初、Foundry ワーカーは直接接続エグレスポリシーのみをサポートしていたため、この種類のワーカーを使用するソースは「直接接続」ソースと呼ばれていました。現在は、これらのソースが Agent プロキシポリシーもサポートしているため、混乱を避けるために「Foundry ワーカー」ソースに名称が変更されています。

Agent ワーカー

レガシー

Agent ワーカーは、開発のレガシー段階にあります。既存の Agent ワーカーのソースを Foundry ワーカーに移行することを推奨します。この推奨の運用上の理由については、Foundry ワーカーと Agent ワーカーの比較を参照してください。

Agent ワーカーのソースは、Agentを介して、顧客が用意したホスト上でソース機能のコンピューティングを実行します。ネットワーク接続は、Agent ホストのファイアウォールとプロキシの設定で手動で設定します。ホストは、接続先のソースシステムにネットワーク経由でアクセスできる必要があります。

ネットワーク接続とエグレスポリシー

ネットワーク接続は、ターゲットシステムに到達する方法を定義し、ワーカーは、機能のコンピューティングを実行する場所を定義します。ワーカーとネットワーク接続を組み合わせて使用する例については、アーキテクチャ図を参照してください。

Foundry ワーカーのソースでは、ネットワーク接続をエグレスポリシーで設定します。エグレスポリシーは、Foundry から各ターゲットシステムに到達する方法と、許可されるエグレスの宛先を詳細に定義します。

ソースは、2種類のポリシーをサポートしています。

  • 直接接続ポリシー: Foundry から直接アクセス可能なシステムに使用します。クラウドでホストされる Foundry インスタンスの場合、これはパブリックインターネットを意味します。プライベート環境でホストされる Foundry の場合、これは Foundry がインストールされているネットワークを意味します。
  • Agent プロキシポリシー: Foundry とは異なるネットワークでホストされる外部システムへのアクセスに使用します。クラウドでホストされる Foundry インスタンスの場合、これはオンプレミスでホストされる外部システムを意味します。Agentのセットアップが必要です。Agent ホスト自体にも、ターゲットシステムに到達できるようにネットワーク接続を設定する必要があります。Agent プロキシポリシーは、Palantir の Kubernetes ベースのインフラストラクチャである Rubix 上で稼働する Foundry エンロールメントでのみ利用可能です。

両方のネットワーク経路が必要なユースケースでは、同じソースに直接接続ポリシーと Agent プロキシポリシーの両方を割り当てることができます。たとえば、インターネット上でホストされるシステムから資格情報を取得し、その資格情報を使用してオンプレミスのシステムで認証する必要があるユースケースが該当します。

エグレスポリシーの詳しくはこちら。

Agent ワーカーのソースでは、ネットワーク接続を Agent ホストで直接設定します。

Agent

Agent は、組織のネットワーク内にインストールし、Foundry の Data Connection インターフェースから管理する、ダウンロード可能なプログラムです。Agent は、組織のネットワーク内のさまざまな外部システムに接続でき、Agent プロキシポリシーおよび Agent ワーカー接続を使用する接続を支えます。

Agent をセットアップする方法について詳しくは、こちらを参照してください。

機能

ソースはさまざまな機能をサポートできます。それぞれの機能は、ソース接続を通じて実行できる処理を表します。Foundry へのデータの取り込み、Foundry からのデータの送信、Foundry 外に保存されたデータの仮想化、ほかのシステムへの対話的なリクエストなど、幅広い機能がサポートされています。

利用可能な機能の概要を次のテーブルに示します。特定のコネクターでサポートされている機能の詳細については、そのコネクターのドキュメントページを参照してください。

機能説明
バッチ同期外部ソースからデータセットにデータを同期します。
Iceberg 同期外部ソースから Foundry の Iceberg テーブルにデータを同期します。
ストリーミング同期外部メッセージキューからストリームにデータを同期します。
変更データキャプチャ(CDC)同期データベースから CDC メタデータを含むストリームにデータを同期します。
メディア同期外部ソースからメディアセットにデータを同期します。
HyperAutoシステム全体を自動的に同期します。
ファイルエクスポートデータセットから外部システムにデータをファイルとして送信します。
テーブルエクスポートデータセットから外部データベースにスキーマを持つデータを送信します。
ストリーミングエクスポートストリームから外部メッセージキューにデータを送信します。
Webhook外部システムに構造化されたリクエストを対話的に送信します。
仮想テーブル外部データウェアハウスのデータを登録し、仮想テーブルとして使用します。
仮想メディア外部システムの非構造化メディアをメディアセットとして登録します。
探索ほかの機能を使用する前に、外部システムのデータとスキーマを対話的に探索します。
コード内で使用ソースをコード内で使用して、上記のポイントアンドクリックで設定可能な機能では対応できない機能を拡張またはカスタマイズします。これは Foundry ワーカーのソースでのみ利用可能です。

追加の機能も開発されており、各コネクターのドキュメントでは、サポートする機能が定期的に更新されています。

特定のコネクターでサポートされている機能は、Data Connection アプリケーションの新規ソースページにも表示されます。コネクター名と機能の両方で検索できます。次の例は、「virtual」オプションをサポートするソースの検索結果を示しています。

「virtual」で検索した新規ソースページで、コネクターカードに利用可能な機能が表示されているスクリーンショット。

バッチ同期

バッチ同期は、外部システムからデータを読み取り、Foundry のデータセットに書き込みます。バッチ同期では、読み取るデータと、Foundry 内での出力先データセットを定義します。バッチ同期は、データをインクリメンタルに同期するように設定でき、対応するスキーマがあるデータもないデータも同期できます。同期を設定する方法を参照してください。

バッチ同期はトランザクション型です。同期を実行するたびに、出力データセットの単一のトランザクション内でデータが書き込まれます。実行中のどの時点で同期が失敗しても、トランザクションは中止され、その実行のデータは一切コミットされません。つまり、一部の処理が失敗しても、データが部分的に書き込まれることはありません。出力データセットは、失敗した同期の実行前の状態から変更されません。具体的なエラーは失敗の原因によって異なります。失敗した実行のエラーメッセージと完全なスタックトレースは、同期の実行タブで確認できます。一般的な失敗パターンについては、同期のトラブルシューティングを参照してください。

一般に、バッチ同期には主に2つの種類があります。

  • ファイルバッチ同期: スキーマのないファイルを Foundry データセットに直接同期できます。これらのファイルには、下流のトランスフォームからアクセスできます。たとえば、ファイルベースのトランスフォームを使用できます。ファイルバッチ同期をサポートする代表的なシステムは、S3、ABFS、Google Cloud Storage、SMB、SharePoint online などのファイルシステムや Blob ストアです。ファイルバッチ同期について詳しくはこちら。
  • テーブルバッチ同期: スキーマを持つデータを Foundry データセットに同期できます。この場合、同期の定義には、外部システムのスキーマとサポートされている Foundry スキーマのオプションとの間でデータ型を変換する方法も含まれます。テーブルバッチ同期をサポートする代表的なシステムは、Microsoft SQL Server、Postgres、SAP、Salesforce、NetSuite などのデータベースや SaaS プロバイダーです。

Iceberg 同期

Iceberg 同期は、外部ソースからデータを読み取り、標準のデータセットではなく、Foundry の Iceberg テーブルに直接書き込みます。Iceberg 同期は、非インクリメンタルとインクリメンタル(差分連携)の両方の取り込みに加え、いくつかの書き込みモードをサポートしています。Iceberg 同期は、Foundry ワーカーのランタイムでのみサポートされており、一部のコネクターで利用可能です。Data Connection から Iceberg テーブルへのデータ同期について詳しくはこちら。

ストリーミング同期

ストリーミング同期では、低遅延のデータフィードを提供するシステムからデータをストリーミングできます。データはストリーミングデータセットに配信されます。ストリーミング同期をサポートするシステムの例として、Kafka、Amazon Kinesis、Google Pub/Sub があります。

ストリーミング同期について詳しくはこちら。

変更データキャプチャ同期

変更データキャプチャ(CDC)同期はストリーミング同期に似ていますが、データの配信先であるストリーミングデータセットに、変更履歴のメタデータも自動的に伝播されます。この種類の同期は通常、何らかの形式の低遅延レプリケーションをサポートするデータベースで使用されます。変更データキャプチャ同期について詳しくはこちら。

メディア同期

メディア同期では、メディアデータをメディアセットにインポートできます。メディアセットは、Foundry 全体でメディアデータを取り込み、加工し、利用するためのツールが、標準のデータセットよりも充実しています。PDF、画像、動画、その他のメディアを扱う場合は、データセットよりもメディアセットを使用することを推奨します。メディア同期について詳しくはこちら。

HyperAuto

HyperAuto は、SAP システムのスキーマを動的に発見し、Foundry 内で同期、パイプライン、および対応するオントロジーの作成を自動化できる専用機能です。HyperAuto は現在、SAP でのみサポートされています。HyperAuto について詳しくはこちら。

ファイルエクスポート

ファイルエクスポートは、ファイルバッチ同期とは逆の処理です。ファイルエクスポートでは、Foundry データセット内の基盤となるファイルからデータを直接取得し、ターゲットシステムのファイルシステム上の場所にそのまま書き込みます。ファイルエクスポートの詳しくはこちら。

テーブルエクスポート

テーブルエクスポートは、テーブルバッチ同期とは逆の処理です。テーブルエクスポートでは、スキーマを持つ Foundry データセットからデータを行としてエクスポートし、ターゲットシステムのテーブルに書き込みます。テーブルエクスポートの詳しくはこちら。

ストリーミングエクスポート

ストリーミングエクスポートは、ストリーミング同期とは逆の処理です。ストリーミングエクスポートでは、Foundry ストリームからデータをエクスポートし、ターゲットシステムで指定されたストリーミングキューまたはトピックにレコードを書き込みます。ストリーミングエクスポートの詳しくはこちら。

Webhook

Webhook は、Foundry 外部のソースシステムへのリクエストを表します。Data Connection では Webhook リクエストを柔軟に定義でき、外部システムへの幅広い接続を実現できます。Webhook の詳しくはこちら。

仮想テーブル

仮想テーブルは、外部システムのテーブル形式データを Foundry の仮想テーブルリソースに登録する機能です。

この機能では、個々の仮想テーブルの登録に加えて、外部システム内のすべてのテーブルを動的に検出し、自動的に登録することもできます。

仮想テーブルの詳しくはこちら。

仮想メディア

仮想メディアはメディア同期と同様に機能し、外部システムのメディアをメディアセットで使用できますが、データを Foundry にコピーしません。代わりに、外部システム内のメディアファイルを、特定のメディアセットに仮想メディアアイテムとして登録できます。

仮想メディアの詳しくはこちら。

探索

対話型の探索機能を使用すると、同期、エクスポート、または外部システムとやり取りするその他の機能を実行する前に、そのシステムにどのようなデータが含まれているかを確認できます。

探索は、接続が意図どおりに動作していること、および接続に適切な権限と資格情報が使用されていることを確認するために最もよく使用されます。

コードで使用する

コードから接続を使用する機能は、開発者が Foundry から他のシステムへの接続を拡張およびカスタマイズできるようにすることを目的としています。Palantir の基本方針は、専用コネクターとポイントアンドクリックの設定オプションを使用してプラットフォーム上で実行できることは、カスタムコードを記述しても実現できるべきだというものです。開発者はいつでもコードベースの接続に切り替えて、外部接続を行うワークフローの機能やパフォーマンスをより細かく制御できるべきです。

どのコネクターもコードで使用できます。コードから接続する場合、ほとんどのケースでは REST API ソースまたは汎用コネクターの使用を推奨します。

Agent ワーカー接続はコードで使用できません。また、クラウド ID、アウトバウンドアプリケーション、OIDC など、一部の種類の資格情報は現在コードから使用できません。

コードでの使用オプション説明
外部トランスフォーム外部トランスフォームを使用すると、Python で記述されたトランスフォームが外部システムと通信できます。

外部トランスフォームは、ファイルバッチ同期、ファイルエクスポート、テーブルバッチ同期、テーブルエクスポート、メディア同期に代わるコードベースの手段です。外部トランスフォームは、仮想メディアセットや仮想テーブルにデータを登録するためにも使用できます。
外部関数(Webhook)TypeScript で記述された外部関数は、ソースのインポートに対応しており、そのソースに定義された既存の Webhook を呼び出すことができます。これにより、既存の Webhook 呼び出しをカスタムの TypeScript ロジックとエラー処理でラップできます。
外部関数(直接)外部関数では、TypeScript の fetch と Python の requests を使用して、外部システムを直接呼び出せるようになりました。外部関数は、Webhook に代わるコードベースの手段です。
Compute ModulesCompute Modules を使用すると、長時間実行される計算や、任意の言語による接続の記述ができます。

Compute Modules は、ストリーミング同期、ストリーミングエクスポート、変更データキャプチャ同期、Webhook に代わるコードベースの手段として使用できます。
カスタム CI ジョブカスタム CI ジョブを使用すると、Code Repositories のチェックで、リポジトリにインポートされたソースのエグレスポリシーとシークレットを使用できます。
外部モデル外部モデルは、現在ソースのインポートに対応していません。代わりに、ネットワークエグレスポリシーを直接使用する必要があります。
Code WorkspacesCode Workspaces は、現在ソースのインポートに対応していません。代わりに、ネットワークエグレスポリシーを直接使用する必要があります。
Code WorkbookCode Workbook は、現在外部接続に対応していません。

その他の概念

Data Connection には、特定のワークフローに関連するさまざまな概念も含まれます。以前使用されていた概念の一部は現在サンセット段階ですが、参考情報としてここに残しています。

同期

以前は、同期という用語は Foundry にデータを取り込むことを広く指していました。現在、同期は上記のより具体的な機能に分かれています。バッチ同期、ストリーミング同期、変更データキャプチャ同期、メディア同期など、それぞれの機能について詳細情報を確認できます。

タスク [サンセット]

サンセット

タスクは開発ライフサイクルのサンセット段階にあり、将来廃止される予定です。引き続き全面的なサポートを受けられます。ワークフローをコードベースの接続オプションに移行することを推奨します。

コネクターの実装に使用されるプラグインフレームワークでは、タスクと呼ばれるカスタム拡張機能を利用できます。タスクは、YAML を指定して設定し、Data Connection プラグインの一部として Java で実装される機能の単位です。Palantir は新しいタスクの開発を停止しており、公式にサポートされているすべての機能は、タスクを使用しない方式に移行済みです。

直接接続

Foundry 内で実行される接続は、当初は直接接続のみをサポートしており、「直接接続」と呼ばれていました。これらの接続は、現在 Foundry ワーカーの概念に統合されています。