BigQuery のコンピュートプッシュダウン

BigQuery でコンピュートプッシュダウンを使用するには、Python リポジトリを作成し、transforms-tables ライブラリの最新バージョンをインストールします。

入力または出力として設定された BigQuery テーブルの接続情報に基づいて、BigQuery への Ibis ↗ 接続が確立されます。Ibis DataFrame API を使用してデータを加工できます。Ibis API の詳しいガイダンスについては、Ibis ドキュメント ↗を参照してください。

次の BigQuery を基盤とする Ibis トランスフォームの例では、Foundry Spark 構文ではなく Foundry の軽量 API 構文を使用している点に注意してください。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
from transforms.api import transform
from transforms.tables import (
    IbisInput,
    IbisOutput,
    TableInput,
    TableOutput,
    BigQueryTable
)


@transform.bigquery.using(
    source_table=TableInput("ri.tables.main.table.1234"),
    output_table=TableOutput(
        "ri.tables.main.table.5678",
        "ri.magritte..source.1234",
        BigQueryTable("PROJECT", "DATASET", "TABLE"),
    ),
)
def compute(source_table: IbisInput, output_table: IbisOutput):
    # Ibis によるデータ変換
    table = source_table.table()
    output_table.write(table)