アプリケーションリファレンス

このページでは、データ統合ワークフローで使用する可能性のある Foundry アプリケーションについて説明します。

Pipeline Builder

Pipeline Builder は、データ統合のための Foundry の主要アプリケーションです。Pipeline Builder を使用すると、データソースから最終出力まで、エンドツーエンドのパイプラインワークフローを作成できます。Pipeline Builder のユーザーは、使いやすい単一のアプリケーションで、ワークフローの記述、データの加工、スキーマの編集、出力のビルドを行えます。

Pipeline Builder は、直感的なポイントアンドクリックのインターフェースと堅牢なバックエンドモデルを備えており、技術に精通したユーザーも、そうでないユーザーも、大量のコードを必要とするアプリケーションより迅速にパイプラインを定義してデプロイできます。効率的なビルダーインターフェースでは、スキーマチェックとともにデータ加工を適用できるため、通常はビルド時の計算処理やチェックにかかる時間とコストを削減できます。完全なバージョン管理や拡張性などの追加機能により、Pipeline Builder は安全な共同作業に最適なアプリケーションとなっています。

Code Repositories

Code Repositories は、コード開発のための Foundry の主要インターフェースであり、主に Python、Java、SQL でのデータパイプラインの作成に使用されます。Code Repositories は git サーバー上に統合開発環境 (IDE) を提供し、パイプラインロジックの共同開発とガバナンスを実現するとともに、データ加工ロジックの記述、テスト、プレビューを標準でサポートします。Code Repositories は、機械学習モデルやオントロジーの Functions の開発にも使用できます。

データサイエンスやコードベースの分析に関心がある場合は、Code Workbook のほうがユースケースに適しているかもしれません。Code Workbook、Code Workspaces、Code Repositories の違いについて詳しくはこちら。

Data Lineage

Data Lineage は、Foundry 内のデータの流れを表示するアプリケーションです。個々のプロジェクトやユースケースの境界を越えて、Foundry 内の任意のリソースがほかのリソースとどのようにつながっているかを探索できます。データソース、データセット、分析、オントロジーのオブジェクトタイプとリンクタイプ、ユーザー向けアプリケーションをサポートしています。つながりの探索に加えて、Data Lineage では、データのプレビューの表示、任意のデータの導出に使用されたロジックの確認、スケジュールされたパイプラインの管理を行えます。

Data Connection

Data Connection は、データを Foundry に同期し、ソースの資格情報を含む関連リソースを管理するためのアプリケーションです。初期セットアップが完了すると、Data Connection を使用してデータソースを簡単に探索し、ユースケース開発のために新しいデータを同期できます。その際、大規模なソースシステムおよびユースケースの管理に必要なあらゆるガバナンス制御に準拠できます。

データセットプレビュー

データセットプレビュー は、データセットを表示し、理解するためのアプリケーションです。ほかのアプリケーションからデータセットを開くと、データセットの内容と、その背景を示すさまざまな情報が表示されます。これには、データセットの所有者、データセットの経時的な変化、適用されるヘルスチェックなどの詳細情報が含まれます。

Data Health

Data Health は、すべてのデータパイプラインにわたってデータ品質を管理するために使用します。パイプラインの保守担当者は、ヘルスチェックを実行してパイプラインのパフォーマンスと信頼性をすばやく把握できるほか、監視ビューのアラートをフォローして、幅広いデータパイプライン保守ワークフローを実現できます。

Builds

Builds アプリケーション（旧称 Job Tracker）では、Foundry 全体で行われるビルドをすべて表示し、実行の進行状況、スケジュール、過去の成功率と失敗率など、各ビルドの詳細を探索できます。Builds アプリケーションでは、実行を支える Spark 実行エンジンの詳細情報にもアクセスでき、デバッグや最適化のワークフローを実現できます。