Iceberg テーブルでデータパイプラインを構築する

Foundry の Iceberg テーブルは、Python トランスフォームと Pipeline Builderの入力および出力として使用できます。このページでは、利用可能なワークフローの概要を説明します。

パイプラインの開発環境を選択する

次のテーブルは、Foundry が管理する Iceberg テーブルでパイプラインを構築する主なオプションをまとめたものです。

Foundry が管理するすべての Iceberg テーブルでは、サーバー側暗号化を使用する必要があります。最後の列は、クライアント側暗号化オプションについて、各パイプラインの種類が、この追加の Iceberg テーブル暗号化 ↗レイヤーを使用するテーブルの読み取りと書き込みを現在サポートしているかどうかを示しています。

シングルノードの Python トランスフォーム向けの Foundry API は、クライアント側で暗号化された Iceberg テーブルの読み取りと書き込みをサポートしていますが、この場合、フィルタープッシュダウンは現在サポートされていません。

Python トランスフォームでパイプラインを構築する

Python トランスフォームでは、さまざまなオープンソースライブラリーとコンピュートエンジンを使用して、Spark またはシングルノードのパイプラインを作成できます。

Python トランスフォームでの Iceberg の使用について詳しくは、次を参照してください。

• Iceberg を使用するトランスフォーム
• コード例
• 高度な Iceberg API
• インクリメンタルトランスフォーム
• インクリメンタルのコード例

Pipeline Builder でパイプラインを構築する

Pipeline Builderは、データパイプラインを構築するためのノーコードのグラフィカルインターフェースを提供します。

Pipeline Builder では、Iceberg テーブルを入力および出力として使用できます。

1. Pipeline Builder を開き、標準または高速のバッチパイプラインを作成します。
2. Foundry データを追加を選択し、既存の Iceberg テーブルを選択します。
3. ワークフローに必要なデータ加工を追加して接続します。
4. パイプラインの出力パネルで、パイプラインの出力を追加を選択します。
5. Foundry Iceberg テーブルを選択し、出力の名前と場所を設定します。
6. 結果をプレビューし、パイプラインをデプロイします。

入力をインクリメンタルに処理するには、標準 Spark パイプラインを使用し、Iceberg 入力の計算モードをインクルメンタル（差分処理） に設定します。