出力列のメタデータ

コードリポジトリのトランスフォームでは、出力データセットの列の説明と列の型クラスを読み書きできます。

コードリポジトリのトランスフォームで列の説明を更新する

TransformOutput の write_dataframe() 関数に任意の column_descriptions 引数を指定することで、出力データセットに出力列の説明を追加できます。

• この引数は、列名をキー、列の説明を値とする dict ↗ にする必要があります。列の説明の長さは最大800文字に制限されています。
• コードは、DataFrame ↗ に存在する列名と、指定した dict ↗ のキーの積集合を自動的に計算するため、存在しない列に説明を設定しようとすることはありません。

例：コードリポジトリのトランスフォームで列の説明を書き込む

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions={
            "col_1": "col 1 description"
        }
    )

列の型クラス

column_typeclasses プロパティは、列名をその列の型クラスにマッピングする、構造化された Dict<str, List<Dict<str, str>>> を返します。

• List 内の各型クラスは Dict[str, str] オブジェクトです。
  • この Dict オブジェクトでは、キーとして "name" と "kind" のみを使用する必要があります。これらのキーはそれぞれ、ユーザーが指定したい対応する文字列にマッピングされます。

column_typeclasses の値の例は、{"my_column": [{"name": "my_typeclass_name", "kind": "my_typeclass_kind"}]} です。

例：コードリポジトリのトランスフォームで列の説明と型クラスを読み書きする

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from transforms.api import transform, Input, Output


@transform(
    my_output=Output("ri.foundry.main.dataset.my-output-dataset"),
    my_input=Input("ri.foundry.main.dataset.my-input-dataset"),
)
def my_compute_function(my_input, my_output):
    recent = my_input.dataframe().limit(10)

    existing_typeclasses = my_input.column_typeclasses
    existing_descriptions = my_input.column_descriptions

    my_output.write_dataframe(
        recent,
        column_descriptions=existing_descriptions,
        column_typeclasses=existing_typeclasses
    )