ローカルノートブックから Iceberg テーブルを作成する

Iceberg のオープンテーブル形式を使用すると、外部エンジンで Foundry の Iceberg テーブルを読み書きできます。

以下のコード例では、PyIceberg ↗ を使用して、コンピューター上で実行されている Jupyter® ノートブックから Foundry テーブルを作成します。Iceberg REST カタログをサポートする任意の外部エンジンで Foundry テーブルを作成できます。

PyIceberg の識別子はドットで区切られており、SQL 全般でもこの形式が使用されます。Foundry は、Iceberg の名前空間を Compass のパスにマッピングする際に、この規則に従います。たとえば、Iceberg の名前空間識別子 Namespace.Project.Dir.Table は、Compass のパス Namespace/Project/Dir/Table にマッピングされます。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
from pyiceberg.catalog import load_rest
from getpass import getpass
import pyarrow.parquet as pq

# Foundry で Iceberg テーブルを作成、読み込み、探索するためのカタログクライアントを作成します
catalog = load_rest(
    'foundry',
    {
        'uri': 'https://<your_foundry_url>/iceberg',
        'token': getpass('Foundry token:')
    }
)

# ローカルの Parquet ファイルを Arrow テーブルに読み込みます
df = pq.read_table('/<local_filepath>/example_data.parquet')

# Foundry に新しい Iceberg テーブルを作成します
table = catalog.create_table(
    'Namespace.Project.Folder.example_data',
    schema = df.schema
)

# Iceberg テーブルを一覧表示します - 新しい空の Foundry テーブルが表示されます
catalog.list_tables('Namespace.Project.Folder.')

# `append` を使って、ローカルの PyArrow テーブルを Foundry の Iceberg テーブルに挿入します
table.append(df)

# `scan()` を使って、Foundry から Iceberg テーブルを読み込みます - たとえば、Pandas のデータフレームに読み込む場合に使います
table.scan().to_pandas()

---

Jupyter®、JupyterLab®、および Jupyter® のロゴは、NumFOCUS の商標または登録商標です。

記載されているすべての第三者の商標（ロゴおよびアイコンを含む）は、それぞれの所有者に帰属します。提携関係や推奨を示唆するものではありません。