注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Iceberg テーブルとデータセットは、どちらも Foundry で表形式データを表現できるリソースタイプです。Iceberg テーブルは、幅広い Iceberg エコシステムとの相互運用性に加え、行レベルの編集や変更履歴などの機能を提供します。一方、データセットは現在、より幅広い Foundry 機能に対応しています。
現在、Foundry では Iceberg テーブルの次の利点を活用できます。
DELETE、UPDATE、MERGE INTO ステートメントに対応しており、スナップショットを再作成せずに、条件に基づいて行を変更できます。Iceberg テーブル履歴を表示するインターフェースを、次のスクリーンショットに示します。

現在、Iceberg テーブルでは、次のような一部の Foundry 機能を利用できません。
きめ細かなアクセス制御に使用できる方法は、ユーザーがどこでデータにアクセスするかによって異なります。
Iceberg テーブルでは、テーブル全体のアクセス制御にマーキングを使用することもできます。Iceberg テーブルのマーキングを参照してください。
マネージド Iceberg テーブルを Marketplace 製品にパッケージ化し、対象環境にその製品をインストールできます。インストールされる各テーブルには、パッケージ化されたテーブルと同じストレージタイプ、つまり Foundry 管理ストレージまたは独自バケット持ち込み(BYOB)ストレージを使用する必要があります。たとえば、Foundry 管理ストレージを使用するテーブルを、BYOB ストレージを使用するテーブルとしてインストールすることはできません。その逆も同様です。
Iceberg テーブルと Foundry データセットの動作には、次のような重要な違いがあります。
main、Foundry のメインブランチは master という名前です。Foundry と Iceberg の統合では、main と master は同じものとして扱われます。つまり、master で実行される Foundry ジョブは、Iceberg テーブルの main に書き込みます。Foundry がブランチごとにスキーマの変更を分離する仕組みの詳細については、ブランチを参照してください。ALTER TABLE などの明示的なスキーマ進化のコマンドや設定が必要です。Foundry のトランスフォーム API と Pipeline Builder を介して書き込む場合、非インクリメンタル実行時には Foundry がテーブルの置き換えを使用するため、スキーマ進化は自動的に処理されます。インクリメンタルなスキーマ進化など、ほかのワークフローでは失敗し、手動での解決が必要になる場合があります。詳細については、Apache Iceberg のスキーマ進化に関するドキュメント ↗を参照してください。Iceberg で導入される用語には、Foundry に直接対応する用語がないものもあります。
| Iceberg 用語 | 意味 | Foundry での用語との違い |
|---|---|---|
| テーブルメタデータ ↗ | Iceberg テーブルの構造、スキーマ、状態を記述するメタデータです。 | Foundry も、すべての形式のテーブルとデータセットのメタデータを追跡しますが、このメタデータは Foundry サービスによって内部的に管理されます。Iceberg テーブルの場合、Foundry は Iceberg ネイティブのメタデータを、Iceberg カタログ経由で JSON ファイルとして明示的に公開します。 |
| スナップショット ↗ | 特定の時点におけるテーブルの状態の記録です。Iceberg は、データが変更されるたびに新しいスナップショットを作成します。 | Iceberg のスナップショットは、Foundry のトランザクションにおおむね相当します。ただし、Foundry では「スナップショット」という用語を別の意味でも使用します。Foundry では、「スナップショット」はデータセット内のすべてのデータを完全に置き換えるトランザクションを指します。一方、Iceberg のスナップショットは、インクリメンタルな変更を含むあらゆる種類のデータ操作を記録します。Foundry カタログのデータセットのトランザクションタイプと Iceberg のスナップショットの種類の違いについて詳しくは、Iceberg スナップショットの種類を参照してください。 |