注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、Pipeline Builder に関連する Foundry のデータ統合の基本概念を紹介します。
データセット、ブランチ、データ加工、出力の概念は、Pipeline Builder の基礎となります。初めてパイプラインを構築する前に、またデータを加工してパイプラインの出力に向けて統合する際に、これらのトピックを確認することを推奨します。
データセットは、パイプラインの構成要素です。データ統合プロセスでは、データが Foundry に取り込まれてからオントロジーのオブジェクトモデルにマッピングされるまで、データは Foundry データセットとして表現されます。
基本的に、Foundry データセットは、基盤ファイルシステムに保存されるファイル群をまとめたラッパーです。Pipeline Builder は主に構造化データを対象としていますが、半構造化データにも使用できます。
Pipeline Builder の入力データセットについて詳しくはこちら。
正常なパイプラインワークフローを維持するには、バージョン管理が不可欠です。Pipeline Builder では、Git のバージョン管理におけるコードブランチと同様に動作するパイプラインのブランチを使用して、バージョン管理を実装しています。
パイプラインブランチはパイプラインのコピーであり、Git のコードブランチと同様に、メインのパイプラインに変更を保存せずに試行錯誤できます。ユーザーは自分のブランチで変更、プレビュー、保存、ビルドを行えます。変更内容に満足したら、Git のプルリクエストをマージするのと同様に、メインブランチへのマージを提案できます。
ブランチを作成する際には、作業中のパイプラインを対象とする Pipeline Builder ブランチと、単一のブランチで複数のアプリケーションに変更を加えられるグローバルブランチのいずれかを選択できます。Pipeline Builder ブランチは、Code Repositories のブランチ名と一致するように設定することもでき、両方のアプリケーションで共通のブランチを使って試行錯誤できます。フォールバックブランチを設定すると、入力データセットが現在のブランチでビルドされていない場合に、どのブランチを使用するかを制御できます。
Pipeline Builder のブランチについて詳しくはこちら。
データ加工は関数定義として捉えることができます。つまり、データ加工はデータセットなどの入力を受け取り、出力を生成します。パイプラインは、データセット、データが満たすべき条件、目的のデータ出力を、データ加工によってつないだものです。
Pipeline Builder のデータ加工について詳しくはこちら。
Pipeline Builder の出力は、パイプラインで実行されるデータ加工の結果であり、データセット、ファイル、仮想テーブル、またはオブジェクトタイプ、オブジェクトのリンクタイプ、時系列などのオントロジーコンポーネントになります。出力は、Quiver や Code Workbook など、ほかの Foundry アプリケーションで使用できます。
Pipeline Builder のパイプラインの出力について詳しくはこちら。
スケジュールとデータが満たすべき条件の概念は、正常で安定したパイプラインを維持するのに役立ちます。初めてパイプラインを構築したら、これらのトピックについて詳しく学ぶことを推奨します。
スケジュールは、データセットのビルドを定期的に実行し、Foundry 内でデータが継続的に流れるようにするために使用します。Pipeline Builder では、特定の時刻、特定の頻度、または親リソースのステータスに基づいてビルドをスケジュールできます。たとえば、上流データセットが更新されたときにビルドが実行されるよう設定できます。
Pipeline Builder のスケジュールについて詳しくはこちら。
Pipeline Builder では、単体テストを通じて、出力や中間のデータ加工に対するデータが満たすべき条件をサポートしています。データが満たすべき条件は、データセットの出力に適用できる要件です。これらの要件は「データが満たすべき条件」と呼ばれ、データパイプラインの安定性を向上させるチェックを作成するために使用できます。
データが満たすべき条件は、パイプラインの出力ごとに設定でき、生成される出力が満たすべき条件を定義します。Pipeline Builder は、主キー、行数、行レベルの条件など、いくつかの種類のデータが満たすべき条件をサポートしています。
いずれかの条件のチェックに失敗すると、ビルドは失敗となります。ジョブの条件ペインには、どの条件のチェックに成功し、どの条件のチェックに失敗したかが表示されます。