注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Data Connection

Data Connection は、外部システムやほかの Foundry インスタンスからデータを同期し、Foundry で利用するためのアプリケーションです。ユーザーは Data Connection を使ってデータを Foundry に同期し、データ統合、モデリング、オントロジーの各レイヤーで利用できます。また、Data Connection では、Webhook やデータエクスポートを介した外部システムへのライトバックを可能にするアウトバウンド接続を設定できます。

Data Connection アプリケーションにアクセスするには、ワークスペースのナビゲーションバーでアイコンを選択します。

Foundry のサイドバーにある Data Connection アプリケーション。

Applications Portal で検索して Data Connection アプリケーションを見つけることもできます。

Applications Portal で見つかった Data Connection アプリケーション

組織で初めて Foundry をデータに接続する場合は、初期セットアップガイドを参照してはじめてください。

Foundry は、次の3つの原則に基づいてデータ接続のプロセスを標準化しています。

  • 堅牢性
  • 拡張性
  • 使いやすさ

堅牢性

システム間のデータ接続では、復旧が難しい障害が発生しがちです。外部環境でユーザーが制御できない問題(ネットワーク接続の不良、ディスク障害、ソースシステムの応答停止など)がデータ同期に影響し、下流の分析パイプラインも破損する場合があります。不完全なデータや破損したデータは、技術的な課題であるだけでなく、気づかずに使用されたり、緊急に必要なときに利用できなかったりすると、組織にとって危険となる可能性もあります。

Foundry は、障害発生時の自動再試行、シンプルな機能(ファイルシステムやデータベースの同期など)によるソースシステムからの複雑さを抑えたクエリを使った小規模バッチでのデータ取得、さらに、重大な障害の警告やパイプラインの健全性に関するほかの問題を可視化する統合されたデータ健全性監視システムによって、こうした一般的な障害要因に積極的に対処します。これらの機能を組み合わせることで、不完全なデータや破損したデータのリスクを最小限に抑えます。

Foundry はまた、外部で前処理を行わず、最も生に近いソースからデータを「そのまま」取り込むべきという考え方にも特徴があります。外部で前処理を行わないことで、ブランチ化され、バージョン管理された Foundry のパイプラインが、生データからオントロジーに至るまでに行われたすべての変更を把握できる唯一のソースとなり、その過程で生じた問題をプラットフォーム内で特定し、解決できます。Data Connection は、表形式とファイルベースの両方の同期をサポートし、データが宛先データセット(Foundry パイプラインの開始点)に到達する前に加工するためのオプションを意図的に控え目にすることで、この設計思想に沿っています。

拡張性

企業には、多様で複雑なシステム群があり、それぞれ単独でも、統合されたシステムとしても価値を生み出しています。システムごとに統合の要件が異なり、中には、通常は統合が難しくなるような独自の機能を必要とするシステムもあります。

Foundry は、よく知られた種類のシステム(リレーショナルデータベース、FTPS、HDFS、S3、SFTP、ローカルディレクトリなど)との統合をすぐに利用できる形で提供するとともに、新しい種類のシステムに接続してデータを同期できる柔軟性も備えています。多くの場合、新しいシステムでも既存のプラグインをそのまま、またはわずかな変更だけで再利用できます。主要な機能(スケジュール設定やアップロードなど)は標準化されているため、調整が必要なのは接続自体のみです。

Foundry は、専用の Foundry コネクターを介した Foundry エンロールメント間の通信もサポートしています。このコネクターを使うと、ある Foundry インスタンスを別のインスタンスのソースとして扱うことができ、インクリメンタル(差分連携)オプション付きのバッチ同期とストリーミング同期をサポートします。

利用可能なソースの種類の全範囲について詳しくはこちら。

使いやすさ

システム間のデータ接続の管理は複雑なプロセスになり得ます。同期、認証、スケジュール設定とオーケストレーション、監視というすべてのステップを担当する管理者にとって、大きな負担となります。

Foundry では、バックエンドサービスが作業の大部分を担い、ユーザーはシンプルなフロントエンドのユーザーインターフェースを通じてパイプラインを設定・管理するため、この複雑さを意識する必要がありません。これにより、通常は複雑な技術作業に取り組むためのハードルが下がり、より多くのユーザーがデータ接続を行えるようになります。初めてのデータ接続の作成を試すには、learn.palantir.com ↗ で該当するコースを受講します。