トランスフォームをプレビューする

Code Repositories のプレビューツールを使うと、入力データセットの限られたサンプルに対してコードを実行し、出力をすばやくプレビューできます。プレビューでは、変更のコミット、チェックの実行、Foundry 内のデータセットの実体化を行わずに、サンプル出力を生成します。コードの変更をテストするためにビルドを開始する必要がなくなるため、プレビューによって開発サイクルを短縮できます。

プレビューを実行する

Code Repositories 内の2か所からプレビューを開始できます。

(1) コードエディターのオプションパネルでプレビューを選択します。

(2) ヘルパーパネルでプレビューを選択します。

プレビューの実行が完了すると、出力が表示されます。

ファイルを使ってプレビューを設定する

プレビューは、非構造化ファイルを含むデータセットで使用できます。ファイルを含むデータセットで初めてプレビューを実行する際は、サンプルで使用するファイルを設定する必要があります。

サンプルファイルを選択した後は、入力の一覧から該当する入力を選択して、ファイルを再設定できます。設定を保存すると、選択したファイルのサンプルに対してプレビューがコードを実行します。プレビューを再度実行する際は、入力ファイルを再設定する必要はありません。プレビューの実行が完了すると、サンプル出力を行またはファイルとして表示できます。必要な権限がある場合は、出力ファイルのダウンロードも選択できます。

モデルを使ってプレビューを設定する

モデルアセット

Foundry でトレーニングされた、または事前トレーニング済みファイルを元にしているモデルアセットでは、追加の設定を行わずにプレビューを使用できます。

コンテナで実行されるモデルと外部でホストされるモデルは、現在プレビューをサポートしていません。

トランスフォームジェネレーターで作成したトランスフォームをプレビューする

トランスフォームジェネレーターで作成したトランスフォームは、関数と同じ名前を持ちます。プレビュー対象のトランスフォームを選択しやすくするには、生成されたトランスフォームの __name__ 属性を変更して、意味のある名前を付けます。たとえば、次のようにします。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from transforms.api import transform_df, Output


def generate_transforms():
    transforms = []
    for output_dataset_name in ["One", "Two", "Three"]:
        @transform_df(
            Output(f"/output/path/{output_dataset_name}"))
        def my_transform(ctx, output_dataset_name=output_dataset_name):
            # デフォルトでは、生成されたトランスフォームには `my_transform (1)`、`my_transform (2)`... という名前が付けられます。
            cols = ['id', 'value']
            vals = [
                (0, f'{output_dataset_name}'),
                (1, f'{output_dataset_name}'),
                (2, f'{output_dataset_name}')
            ]
            df = ctx.spark_session.createDataFrame(vals, cols)
            return df
        transforms.append(my_transform)
        transforms[-1].__name__ = f'{output_dataset_name}_{transforms[-1].__name__}' # トランスフォームの名前を上書きします。
    return transforms


TRANSFORMS = generate_transforms()