考慮事項：Pipeline Builder と Code Repositories

Foundry には、データパイプラインの作成と管理に利用できる2つの製品、Pipeline Builder と Code Repositories があります。これらのツールは相互に補完し合い、連携してパイプラインに関するすべてのニーズに対応できるよう設計されています。以下のガイドでは、ユースケースに最適なツールを判断する方法と、両方のツールを組み合わせて使う方法を説明します。

Pipeline Builder

Pipeline Builder は、堅牢性とセキュリティを確保しながら、データパイプラインを迅速かつ柔軟に、スケーラブルな形で提供するための Foundry の主要なアプリケーションです。Pipeline Builder では、エンドユーザーとデータエンジニアがグラフとフォームをベースにした環境で共同作業し、データの統合、ビジネスロジックに基づくデータ加工の作成、本番パイプライン向けの厳密なリリースプロセスの定義を行えます。ユーザーは、コードを使わずに、リアルタイムでフィードバックが得られるパイプラインを作成できます。さらに、Pipeline Builder はヘルスチェックを使用し、要件に完全に準拠したデータのみが本番環境にデプロイされることを保証します。Pipeline Builder について詳しくはこちら。

Code Repositories

Code Repositories は、Foundry で本番運用に対応したコードを作成し、共同作業するための Web ベースの統合開発環境（IDE）を提供します。このアプリケーションでは、基盤となる Git リポジトリを使いやすい方法で操作できます。Code Repositories について詳しくはこちら。

ベストプラクティス

パイプラインは Pipeline Builder で設計することを推奨します。これにより、次のことが可能になります。

• わかりやすいポイントアンドクリックのインターフェースを通じて、異なるユーザーグループ間の共同作業を可能にします。
• 安全かつ効率的にデータ加工とパイプライン管理を行えるようにする Pipeline Builder のガイドに沿った仕組みを活用し、パイプラインの健全性を保ちます。

Pipeline Builder では利用できない、コードベースの特殊なロジックが必要な場合は、Code Repositories でその処理段階を作成し、メインのパイプラインに追加してください。このような特殊なケースには、次のような例があります。

• API 呼び出しの実行
• カスタムライブラリの使用
• コードベースの論理的な概念の追加

Pipeline Builder と Code Repositories はどちらも Foundry データセットを入力と出力に使用するため、Code Repositories でビルドしたパイプラインの入力は、Pipeline Builder のパイプラインの前後や途中に追加できます。パイプラインの作成に使用したアプリケーションに関係なく、Data Lineage でパイプライン全体のスケジュールとヘルスチェックを設定できます。Data Lineage について詳しくはこちら。

機能の概要

次のテーブルは、Pipeline Builder と Code Repositories で利用できる機能とサポートを示しています。前述のとおり、両方のツールを組み合わせることで、コードベースの特殊なロジックを備えた、堅牢で型安全かつ再利用可能なパイプラインを作成できます。