パイプラインを構築する

データパイプラインを作成する最初のステップは、組織のデータソースを Foundry に接続し、システム内でデータが流れるようにすることです。まずは、データの品質が高く、ユースケース開発、モデル開発、分析の信頼できる基盤として利用できることの検証を重視します。

ドキュメントのこのセクションでは、ビジネス要件がまだ流動的で、パイプラインのロジックが頻繁に変更される可能性のある、パイプライン作成の初期段階に焦点を当てます。この段階では、対象のユースケースを支え、将来のパイプラインの保守も可能にするための、堅実な基盤を築くことを重視します。この段階のガイド付きウォークスルーについては、learn.palantir.com ↗ で、初めてのパイプライン構築に関する詳細コースを受講してください。

最初のステップ

ほとんどの場合、パイプライン開発では、まず次のステップに従います。

• 推奨されるプロジェクト構成を設定し、開発プロセスの最初からデータセキュリティとガバナンスを体系的に管理できるようにします。
• Pipeline Builder または Code Repositories でバッチパイプラインを作成し、入力データセットの処理、データのクリーニングと絞り込み、ほかのデータセットとの結合を行います。これにより、ワークフロー開発を支えるためにオントロジーに供給できる高品質なデータセットを作成します。
• 最終的なデータセットを、オントロジー内のオブジェクトタイプとリンクタイプにマッピングします。
• スケジュールを設定し、データが定期的に流れるようにします。

これらのステップに加えて、ユニットテストの追加、ブランチとリリースのプロセスの設定、ヘルスチェックの定義など、パイプラインの堅牢性とスケーラビリティを高めるためのさまざまなステップを実施できます。パイプライン開発のベストプラクティスについて詳しくはこちら。

インクリメンタル（差分処理）パイプライン

パイプラインに流れ込む入力データの変更規模が大きい場合は、変更されたデータを高いパフォーマンスで処理するために、インクリメンタルパイプラインを作成するのが最適な場合があります。ほとんどの場合、まずバッチパイプラインから始め、後からインクリメンタルパイプラインを導入することで、パフォーマンスを向上させ、遅延を低減できます。

特に、パイプラインに流れ込む新しいデータの規模が非常に大きくなると分かっている場合など、最初からインクリメンタル処理を行うようにパイプラインを設計する方が望ましいこともあります。ただし、インクリメンタルパイプラインの作成と保守は、バッチパイプラインよりもはるかに複雑です。Foundry のさまざまな種類のパイプラインについて詳しくはこちら。

ストリーミングパイプライン

データに求められる遅延が非常に低い場合は、入力データを高いパフォーマンスで処理するために、ストリーミングパイプラインを作成するのが最適な場合があります。ストリーミングパイプラインの速度は最も遅いコンポーネントによって制限されるため、目標の低遅延とスループットを確実に達成できるよう、最初からパイプラインを設計する必要があります。より詳細な分析については、ストリーミング処理とバッチ処理の比較を確認してください。