注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Transforms クラス

このドキュメントページは非推奨です。代わりに、最新の transforms ライブラリのリファレンスドキュメントを使用してください。

クラス	説明
`Check`	データが満たすべき条件をラップして、Data Health に登録できるようにします。
`FileStatus`	FoundryFS ファイルの詳細を保持する collections.namedtuple です。
`FileSystem(foundry_fs[, read_only])`	データセットファイルを読み書きするためのファイルシステムオブジェクトです。
`IncrementalTransformContext`(ctx, is_incremental)	インクリメンタル（差分処理）計算の機能を追加した TransformContext です。
`IncrementalTransformInput`(tinput[, prev_txrid])	インクリメンタル計算の機能を追加した TransformInput です。
`IncrementalTransformOutput`(toutput[, …])	インクリメンタル計算の機能を追加した TransformOutput です。
`Input`(alias)	トランスフォーム入力の仕様です。
`Output`(alias[, sever_permissions])	トランスフォーム出力の仕様です。
`Pipeline`()	Transform オブジェクトをグループ化するためのオブジェクトです。
`Transform`(compute_func[, inputs, outputs, ...])	計算の1ステップを記述する呼び出し可能なオブジェクトです。
`TransformContext`(foundry_connector[, parameters])	必要に応じてトランスフォームの計算関数に注入できるコンテキストオブジェクトです。
`TransformInput`(rid, branch, txrange, …)	実行時に Transform オブジェクトに渡される入力オブジェクトです。
`LightweightInput`(alias)	実行時に Lightweight Transform オブジェクトに渡される入力オブジェクトです。
`IncrementalLightweightInput`(alias)	実行時にインクリメンタルな Lightweight Transform オブジェクトに渡される入力オブジェクトです。
`TransformOutput`(rid, branch, txrid, …)	実行時に Transform オブジェクトに渡される出力オブジェクトです。
`LightweightOutput`(alias)	実行時に Lightweight Transform オブジェクトに渡される出力オブジェクトです。

`Check`

クラス `transforms.api.Check`

データが満たすべき条件をラップして、Data Health に登録できるようにします。

expectation
- Expectation – 評価する、データが満たすべき条件です。
name
- str – チェックの名前です。長期にわたって安定した識別子として使用されます。
is_incremental
- bool – トランスフォームがインクリメンタルに実行されているかどうかを示します。
on_error
- (str, 任意) – データが満たすべき条件を満たさない場合に実行するアクションです。現在は 'WARN'、'FAIL' です。
description
- (str, 任意) – チェックの説明です。

`FileStatus`

クラス transforms.api.FileStatus

FoundryFS ファイルの詳細を保持する collections.namedtuple です。

FileStatus(path, size, modified) の新しいインスタンスを作成します。

count(value) → Integer -- value の出現回数を返します
index(value[, start[, stop]]) → Integer -- value の最初のインデックスを返します
- 値が存在しない場合は ValueError を送出します。
modified
- フィールド番号2のエイリアスです。
path
- フィールド番号0のエイリアスです。
size
- フィールド番号1のエイリアスです。

`FileSystem`

クラス transforms.api.FileSystem(foundry_fs, read_only=False)

データセットファイルを読み書きするためのファイルシステムオブジェクトです。

files(glob=None, regex='.*', show_hidden=False, packing_heuristic=None)
- このデータセット内でアクセス可能なパスを含む DataFrame ↗ を作成します。
- DataFrame ↗ はファイルサイズでパーティション分割されます。各パーティションには、合計サイズが最大 spark.files.maxPartitionBytes バイトのファイルパスが含まれます。ファイルが spark.files.maxPartitionBytes より大きい場合は、そのファイル1個でパーティションが構成されます。ファイルのサイズは、ディスク上のファイルサイズに spark.files.openCostInBytes を加えた値として計算されます。
- パラメーター
  - glob (str ↗, 任意) – Unix のファイル照合パターンです。globstar をサポートしています。ファイル（たとえば pdf）を再帰的に検索するには、**/*.pdf を使用します。
  - regex (str ↗, 任意) – ファイル名の照合に使用する正規表現パターンです。
  - show_hidden (bool ↗, 任意) – . または _ で始まる隠しファイルを含めます。
  - packing_heuristic (str ↗, 任意) – ファイルを Spark パーティションにビンパッキングする際に使用するヒューリスティックを指定します。選択できる値は ffd (First Fit Decreasing) または wfd (Worst Fit Decreasing) です。wfd は分布がより不均等になる傾向がありますが、はるかに高速なため、非常に多くのファイルを含むデータセットには wfd を推奨します。ヒューリスティックを指定しない場合は、自動的に選択されます。
- 戻り値
  - (path, size, modified) の DataFrame
- 戻り値の型
  - pyspark.sql.DataFrame
ls(glob=None, regex='.*', show_hidden=False)
- データセットのルートディレクトリから開始し、すべてのディレクトリを再帰的に走査して、指定されたパターンに一致するすべてのファイルを一覧表示します。
- パラメーター
  - glob (str ↗, 任意) – Unix のファイル照合パターンです。globstar をサポートしています。ファイル（たとえば pdf）を再帰的に検索するには、**/*.pdf を使用します。
  - regex (str ↗, 任意) – ファイル名の照合に使用する正規表現パターンです。
  - show_hidden (bool ↗, 任意) – . または _ で始まる隠しファイルを含めます。
- 生成する値
  - FileStatus - 論理パス、ファイルサイズ（バイト）、変更タイムスタンプ（1970年1月1日 UTC からのミリ秒）です。
open(_path, mode='r', kwargs)
- 指定されたモードで FoundryFS ファイルを開きます。kwargs はキーワード引数です。
- パラメーター
  - path (str ↗) – データセット内のファイルの論理パスです。
  - kwargs – io.open() ↗ に渡される残りのキーワード引数です。
  - show_hidden (bool ↗, 任意) – . または _ で始まる隠しファイルを含めます。
- 戻り値
  - ストリームに接続された Python のファイルライクオブジェクトです。
- 戻り値の型
  - File
hadoop_path
- str – Spark で生ファイルを読み取る際に使用する、ファイルシステムのベースパスです。

`IncrementalTransformContext`

クラス `transforms.api.IncrementalTransformContext`(ctx, is_incremental)

インクリメンタル計算の機能を追加した TransformContext です。

auth_header
- str – トランスフォームの実行に使用する認証ヘッダーです。
fallback_branches
- List[str] – トランスフォームの実行時に設定されたフォールバックブランチです。
is_incremental
- bool – トランスフォームがインクリメンタルに実行されているかどうかを示します。
parameters
- dict of (str, any) – トランスフォームのパラメーターです。
spark_session
- pyspark.sql.SparkSession – トランスフォームの実行に使用する Spark セッションです。
abort_job
- ジョブを中止し、実行を終了します。これにより、すべての出力トランザクションが中止されます。

`IncrementalTransformInput`

class `transforms.api.IncrementalTransformInput`(tinput, prev_txrid=None)

インクリメンタル（差分処理）計算用の機能が追加された TransformInput です。

dataframe(mode='added')
- 指定された読み取りモードの pyspark.sql.DataFrame を返します。
- current、previous、added モードのみがサポートされています。
- パラメーター
  - mode (str ↗, 省略可能) – 読み取りモードです。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのデータフレームです。
- 戻り値の型
  - Dataframe ↗
filesystem(mode='added')
- 指定された読み取りモードで FoundryFS から読み取るための FileSystem オブジェクトを構築します。
- current、previous、added モードのみがサポートされています。
- パラメーター
  - mode (str ↗, 省略可能) – 読み取りモードです。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - 指定されたビューのファイルシステムオブジェクトです。
- 戻り値の型
  - FileSystem
pandas()
- pandas.DataFrame ↗: 入力データセットの全体ビューを含む Pandas データフレームです。
branch
- str – 入力データセットのブランチです。
path
- str – 入力データセットのプロジェクトパスです。
rid
- str – データセットのリソース識別子です。

`IncrementalTransformOutput`

class transforms.api.IncrementalTransformOutput(toutput, prev_txrid=None, mode='replace')

インクリメンタル計算用の機能が追加された TransformOutput です。

abort()
- トランザクションを中止し、データを書き込まずにジョブを正常に完了できるようにします。詳細は Python での中止を参照してください。
dataframe(mode='current', schema=None)
- 指定された読み取りモードの pyspark.sql.DataFrame ↗ を返します。
- パラメーター
  - mode (str ↗, 省略可能) – 読み取りモードです。current、previous、added、modified、removed のいずれかです。デフォルトは current です。
  - schema (pyspark.types.StructType, 省略可能) - 空のデータフレームを構築するときに使用する PySpark スキーマです。読み取りモード「previous」を使用する場合は必須です。
- 戻り値
  - データセットのデータフレームです。
- 戻り値の型
  - DataFrame ↗
- 発生する例外
  - ValueError ↗ - モード「previous」を使用するときにスキーマが渡されない場合です。
filesystem(mode='current')
- FoundryFS に書き込むための FileSystem オブジェクトを構築します。
- パラメーター
  - mode (str ↗, 省略可能) – 読み取りモードです。added、current、previous のいずれかです。デフォルトは current です。書き込み可能なのは current のファイルシステムのみです。
- 発生する例外
  - NotImplementedError ↗ – 現在はサポートされていません。
pandas(mode='current')
- pandas.DataFrame ↗: 指定された読み取りモードの Pandas データフレームです。
set_mode(mode)
- データセットの書き込みモードを変更します。
- パラメーター
  - mode (str ↗) – 書き込みモードです。「replace」または「modify」のいずれかです。modify モードでは、出力に書き込まれた内容はすべてデータセットに追加されます。replace モードでは、出力に書き込まれた内容でデータセットが置き換えられます。

データが書き込まれた後は、書き込みモードを変更できません。

write_dataframe(df, partition_cols=None, bucket_cols=None, bucket_count=None, sort_by=None, output_format=None, options=None)
- 指定された DataFrame ↗ を出力データセットに書き込みます。
- パラメーター
  - df (_pyspark.sql.DataFrame ↗) – 書き込む PySpark データフレームです。
  - partition_cols (List[str ↗], 省略可能) - データの書き込み時に使用する、列によるパーティション分割です。
  - bucket_cols (List[str ↗], 省略可能) – データをバケット分割する基準となる列です。bucket_count が指定されている場合は、必ず指定してください。
  - bucket_count (int ↗, 省略可能) – バケット数です。bucket_cols が指定されている場合は、必ず指定してください。
  - sort_by (List[str ↗], 省略可能) – バケット分割されたデータを並べ替える基準となる列です。
  - output_format (str ↗, 省略可能) – 出力ファイル形式です。デフォルトは「parquet」です。
  - options (dict ↗, 省略可能) – org.apache.spark.sql.DataFrameWriter#option(String, String) に渡す追加のオプションです。
write_pandas(pandas_df)
- 指定された pandas.DataFrame ↗ を出力データセットに書き込みます。
- パラメーター
  - pandas_df (pandas.DataFrame ↗) – 書き込むデータフレームです。
branch
- str – データセットのブランチです。
path
- str – データセットのプロジェクトパスです。
rid
- str – データセットのリソース識別子です。

`Input`

class transforms.api.Input(alias, branch, stop_propagating, stop_requiring, checks)

トランスフォームの入力の指定です。

パラメーター
- alias (str ↗, 省略可能) – データセットの RID またはデータセットの絶対プロジェクトパスです。値を指定しない場合は、パラメーターは未バインドになります。
- branch (str ↗, 省略可能)：入力データセットの解決先となるブランチ名です。値を指定しない場合は、ビルド時に解決されます。
- stop_propagating (Markings, 省略可能)：この入力からの伝播を停止するセキュリティマーキングです。マーキングおよび継承したマーキングの削除のドキュメントを参照してください。
- stop_requiring (OrgMarkings, 省略可能)：この入力で引き受ける組織マーキングです。
- checks (List[Check], Check, 省略可能)：1個以上の :class:Check オブジェクトです。
- failure_strategy (str ↗, 省略可能)：入力の更新に失敗した場合の戦略です。continue または fail のいずれかである必要があります。値を指定しない場合は、デフォルトは fail です。

`Output`

クラス transforms.api.Output(alias=None, sever_permissions=False, checks=None)

トランスフォーム出力の仕様です。

パラメーター
- alias (str ↗, 任意) - データセットの RID またはデータセットの絶対 Project パスです。値を指定しない場合は、パラメーターは未バインドになります。
- sever_permissions (bool ↗, 任意) - true の場合、データセットの権限をその入力の権限から切り離します。パラメーターが未バインドの場合は無視されます。
- checks (List[Check], Check, 任意) - 1個以上の :class:Check オブジェクトです。

`Pipeline`

クラス transforms.api.Pipeline

Transform オブジェクトをグループ化するためのオブジェクトです。

add_transforms(*transforms)
- 指定された Transform オブジェクトを Pipeline インスタンスに登録します。
- パラメーター
  - transforms (Transform) – 登録するトランスフォームです。
- 送出される例外
  - ValueError ↗ – 複数の Transform オブジェクトが同じ Output エイリアスに書き込む場合です。
discover_transforms(*modules)
- モジュールを再帰的に検索してインポートし、モジュールレベルのすべてのトランスフォームを登録します。
- このメソッドは、指定されたモジュールの path を起点にモジュールを再帰的に検索してインポートします。見つかったモジュールはそれぞれインポートされ、Transform のインスタンスである属性（transforms デコレーターによって構築されたもの）がパイプラインに登録されます。各モジュールがインポートされるため、モジュールレベルでコードを実行することは避けてください。
- パラメーター
  - modules (module) – 検索の起点となるモジュールです。

Copied!1
2
3
>>> import myproject
>>> p = Pipeline()
>>> p.discover_transforms(myproject)

transforms
- List[Transform] – パイプラインに登録されたトランスフォームのリストです。

`Transform`

クラス transforms.api.Transform(compute_func, inputs=None, outputs=None, profile=None)

計算の単一ステップを記述する呼び出し可能なオブジェクトです。

Transform は、Input の仕様、Output の仕様、および計算関数で構成されます。

Transform オブジェクトは、用意されているデコレーター transform()、transform_df()、transform_pandas() を使用して構築するのが一般的です。

注：元の計算関数は、Transform の __call__ メソッドを通じて公開されます。

パラメーター
- compute_func (Callable) – ラップする計算関数です。
- inputs (Dict[str ↗, Input]) - 入力名を Input の仕様にマッピングする辞書です。
- outputs (Dict[str ↗, Output]) - 入力名を Output の仕様にマッピングする辞書です。
- profile (str ↗, 任意) – 実行時に使用する Transforms プロファイルの名前です。
compute(ctx=None, _kwargs_)**
- コンテキストと入力および出力を使用してトランスフォームを計算します。
- パラメーター
  - ctx (TransformContext, 任意) – トランスフォームがコンテキストを要求する場合に渡されるコンテキストオブジェクトです。
  - kwargs (TransformInput または TransformOutput) - 入力名を Input の仕様にマッピングする辞書です。kwarg はキーワード引数の略です。
  - outputs (Dict[str ↗, Output]) - 名前を指定して計算関数に渡される入力、出力、およびコンテキストのオブジェクトです。
- 戻り値
  - トランスフォームを実行した後の出力オブジェクトです。
- 戻り値の型
  - (str ↗, TransformOutput) の辞書
version
- str – ロジックが古くなっているかを判断する際に、トランスフォームの2つのバージョンを比較するために使用される文字列です。
- たとえば、SQL トランスフォームでは SQL クエリのハッシュを使用する場合があります。理想的には、意味的に同等のトランスフォームが同じバージョンになるような形式に SQL クエリを変換します。つまり、SQL クエリ select A, B from foo; は、SQL query select A, B from (select * from foo); と同じバージョンになるべきです。
- バージョンを指定しない場合は、リポジトリのバージョンが使用されます。
- 送出される例外
  - ValueError ↗ – 計算関数のオブジェクトハッシュの計算に失敗した場合です。

`TransformContext`

クラス transforms.api.TransformContext(foundry_connector, parameters=None) トランスフォームの計算関数に任意で注入できるコンテキストオブジェクトです。

auth_header
- str – トランスフォームの実行に使用される認証ヘッダーです。この認証ヘッダーのスコープは限定されており、ジョブの実行に必要な権限のみを持ちます。API 呼び出しには使用しないでください。
fallback_branches
- List[str] – トランスフォームの実行時に設定されたフォールバックブランチです。
parameters
- dict of (str, any) – トランスフォームのパラメーターです。
spark_session
- pyspark.sql.SparkSession – トランスフォームの実行に使用される Spark セッションです。
abort_job
- ジョブを中止して実行を終了します。これにより、すべての出力トランザクションが中止されます。

`TransformInput`

クラス transforms.api.TransformInput(rid, branch, txrange, dfreader, fsbuilder)

実行時に Transform オブジェクトに渡される入力オブジェクトです。

dataframe()
- 指定された読み取りモードの pyspark.sql.DataFrame ↗ を返します。
- 戻り値
  - データセットのデータフレームです。
- 戻り値の型
  - pyspark.sql.DataFrame ↗
filesystem()
- FoundryFS から読み取るための FileSystem オブジェクトを構築します。
- 戻り値
  - Foundry から読み取るための FileSystem オブジェクトです。
- 戻り値の型
  - FileSystem
pandas()
- pandas.DataFrame ↗：入力データセット全体を含む Pandas データフレームです。
branch
- str – 入力データセットのブランチです。
path
- str – 入力データセットの Project パスです。
rid
- str – データセットのリソース識別子です。
column_descriptions
- Dict<str, str> – データセットの列の説明です。
column_typeclasses
- Dict<str, str> – データセットの列の型クラスです。

`LightweightInput`

クラス transforms.api.LightweightInput(alias)

Foundry Data Sidecar に処理を委譲することで TransformInput の API の一部を再現し、さらにさまざまなデータ形式のサポートを追加することを目的としています。

dataframe()
- データセットを含む pandas.DataFrame ↗ を返します。pandas() のエイリアスです。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
filesystem()
- FoundryFS から読み取るための FileSystem オブジェクトを構築します。
- 戻り値
  - Foundry から読み取るための FileSystem オブジェクト。
- 戻り値の型
  - FileSystem
pandas()
- データセットを含む pandas.DataFrame ↗ を返します。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
arrow()
- データセットを含む pyarrow.Table ↗ を返します。
- 戻り値
  - データセットのテーブル。
- 戻り値の型
  - pyarrow.Table ↗
polars(lazy: Optional[bool]=False)
- lazy パラメーターの値に基づいて、データセットを含む polars.DataFrame ↗ または polars.LazyFrame ↗ を返します。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - polars.DataFrame ↗ または polars.LazyFrame ↗
path()
- ダウンロードされたデータセットのファイルへのパスを含む str ↗ を返します。ファイルはフォルダー内の CSV、Parquet、または Avro ファイルの場合があります。pandas() や polars() に依存せず、独自のリーダーでファイルを読み取る必要がある場合に、このメソッドを使用します。例については、高度な単一ノードコンピューティングオプションと DuckDB の高度なユースケースを参照してください。
- 戻り値
  - データセットのファイルを含むディレクトリへのパス。
- 戻り値の型
  - str ↗

`IncrementalLightweightInput`

クラス transforms.api.IncrementalLightweightInput(alias)

Foundry Data Sidecar に処理を委譲することで IncrementalTransformInput の API の一部を再現し、さらにさまざまなデータ形式のサポートを追加することを目的としています。LightweightInput のインクリメンタル（差分処理）版です。

dataframe(mode)
- データセットを含む pandas.DataFrame ↗ を返します。pandas() のエイリアスです。
- パラメーター
  - mode（str ↗、任意）– 読み取りモード。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
filesystem()
- FoundryFS から読み取るための FileSystem オブジェクトを構築します。
- 戻り値
  - Foundry から読み取るための FileSystem オブジェクト。
- 戻り値の型
  - FileSystem
pandas()(mode)
- データセットを含む pandas.DataFrame ↗ を返します。
- パラメーター
  - mode（str ↗、任意）– 読み取りモード。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
arrow()(mode)
- データセットを含む pyarrow.Table ↗ を返します。
- パラメーター
  - mode（str ↗、任意）– 読み取りモード。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのテーブル。
- 戻り値の型
  - pyarrow.Table ↗
polars(lazy=False, mode)
- lazy パラメーターの値に基づいて、データセットを含む polars.DataFrame ↗ または polars.LazyFrame ↗ を返します。
- パラメーター
  - lazy (Optional[bool]) – 遅延評価または即時評価の Polars データフレームを選択します。
  - mode（str ↗、任意）– 読み取りモード。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - polars.DataFrame ↗ または polars.LazyFrame ↗。
path(mode)
- ダウンロードされたデータセットのファイルへのパスを含む str ↗ を返します。ファイルはフォルダー内の CSV、Parquet、または Avro ファイルの場合があります。
- パラメーター
  - mode（str ↗、任意）– 読み取りモード。current、previous、added、modified、removed のいずれかです。デフォルトは added です。
- 戻り値
  - データセットのファイルを含むディレクトリへのパス。
- 戻り値の型
  - str ↗

`TransformOutput`

class transforms.api.TransformOutput(rid, branch, txrid, dfreader, dfwriter, fsbuilder)

実行時に Transform オブジェクトに渡される出力オブジェクトです。

abort()
- トランザクションを中止し、データを書き込まずにジョブを正常に完了できるようにします。詳細については、Python での中止を参照してください。
dataframe()
- 出力データセットのフルビューを含む pyspark.sql.DataFrame ↗ を返します。
- 戻り値
  - データセットのデータフレームです。
- 戻り値の型
  - pyspark.sql.DataFrame ↗
filesystem()
- FoundryFS に書き込むための FileSystem オブジェクトを構築します。
- 戻り値
  - Foundry に書き込むための FileSystem オブジェクトです。
戻り値の型
- FileSystem
pandas()
- pandas.DataFrame ↗: 出力データセットのフルビューを含む Pandas データフレームです。
set_mode(mode)
- データセットの書き込みモードを変更します。
- パラメーター
  - mode (str ↗) – 書き込みモードで、'replace' または 'modify' のいずれかです。modify モードでは、出力に書き込まれた内容がデータセットに追加されます。replace モードでは、出力に書き込まれた内容がデータセットを置き換えます。
write_dataframe(df, partition_cols=None, bucket_cols=None, bucket_count=None, sort_by=None, output_format=None, options=None, column_descriptions=None, column_typeclasses=None)
- 指定された DataFrame ↗ を出力データセットに書き込みます。
- パラメーター
  - df (pyspark.sql.DataFrame ↗) – 書き込む PySpark データフレームです。
  - partition_cols (List[str ↗], 任意) - データの書き込み時に使用する列によるパーティション分割です。
  - bucket_cols (List[str ↗], 任意) - データのバケット分割に使用する列です。bucket_count が指定されている場合は、必ず指定する必要があります。
  - bucket_count (int ↗, 任意) – バケット数です。bucket_cols が指定されている場合は、必ず指定する必要があります。
  - sort_by (List[str ↗], 任意) - バケット分割されたデータの並べ替えに使用する列です。
  - output_format (str ↗, 任意) - 出力ファイル形式で、デフォルトは 'parquet' です。ファイル形式は Spark の DataFrameWriter ↗ に基づいており、ほかの形式には 'csv'、'json'、'orc'、'text' があります。
  - options (dict ↗, 任意) - org.apache.spark.sql.DataFrameWriter#option(String, String) に渡す追加のオプションです。
  - column_descriptions (Dict[str ↗, str ↗], 任意) - 列名を文字列の説明に対応付けるマップです。このマップは DataFrame の列との共通部分が使用され、説明（最大800文字）を含む必要があります。
  - column_typeclasses (Dict[str ↗, List[Dict[str ↗, str ↗]], 任意) - 列名を列の型クラスに対応付けるマップです。List 内の各型クラスは Dict[str ↗, str ↗] であり、有効なキーは "name" と "kind" の2つのみです。各キーは、ユーザーが指定する対応する文字列にマッピングされます。
write_pandas(pandas_df)
- 指定された pandas.DataFrame ↗ を出力データセットに書き込みます。
- パラメーター
  - pandas_df (pandas.DataFrame ↗) – 書き込むデータフレームです。
branch
- str – データセットのブランチです。
path
- str – データセットのプロジェクトパスです。
rid
- str – データセットのリソース識別子です。

`LightweightOutput`

クラス transforms.api.LightweightOutput(alias)

Foundry Data Sidecar に委譲することで、TransformOutput の API の一部を模倣することを目的としています。これは、Lightweight トランスフォームに注入される出力オブジェクトです。@transform.using(...) で定義されたトランスフォームは、デフォルトで Lightweight として実行されるため、@lightweight デコレーターがなくても、出力は LightweightOutput になります。

filesystem()
- FoundryFS に書き込むための FileSystem オブジェクトを構築します。
- 戻り値
  - Foundry に書き込むための FileSystem オブジェクト。
- 戻り値の型
  - FileSystem
dataframe()
- データセットを含む pandas.DataFrame ↗ を返します。これは pandas() のエイリアスです。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
pandas()
- データセットを含む pandas.DataFrame ↗ を返します。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - pandas.DataFrame ↗
arrow()
- データセットを含む pyarrow.Table ↗ を返します。
- 戻り値
  - データセットのテーブル。
- 戻り値の型
  - pyarrow.Table ↗
polars(lazy: Optional[bool]=False)
- lazy パラメーターの値に基づいて、データセットを含む polars.DataFrame ↗ または polars.LazyFrame ↗ を返します。
- 戻り値
  - データセットのデータフレーム。
- 戻り値の型
  - polars.DataFrame ↗ または polars.LazyFrame ↗
path()
- ダウンロードされたデータセットのファイルへのパスを含む str ↗ を返します。ファイルは、フォルダー内の CSV、Parquet、または Avro ファイルの場合があります。
- 戻り値
  - データセットのファイルを含むディレクトリへのパス
- 戻り値の型
  - str ↗
write_pandas(pandas_df)
- 指定された pandas.DataFrame ↗ を出力データセットに書き込みます。処理は write_table に委譲します。
- パラメーター
  - pandas_df (pandas.DataFrame ↗) – 書き込むデータフレーム。
write_table(df)
- 指定された pandas.DataFrame ↗、pyarrow.Table ↗、polars.DataFrame ↗、polars.LazyFrame ↗、または path を出力データセットに書き込みます。path が指定された場合（str または pathlib.Path として）、その値は path_for_write_table が返す値と一致している必要があります。
- パラメーター
  - df (pandas.DataFrame ↗、pyarrow.Table ↗、polars.DataFrame ↗、polars.LazyFrame ↗、または path) – 書き込むデータフレーム。
path_for_write_table
- write_table で使用するデータセットのファイルへのパス。
- 戻り値の型
  - str ↗
path_for_object_store_write_table
- 出力トランザクションにマッピングされる仮想オブジェクトストアのパスです。これにより、クエリエンジンは出力データを直接書き込めます。
- 戻り値の型
  - str ↗
set_mode(mode)
- データセットの書き込みモードを変更します。
- パラメーター
  - mode (str ↗) – 書き込みモード。値は「replace」または「modify」のいずれかです。modify モードでは、出力に書き込まれたものはすべてデータセットに追加されます。replace モードでは、出力に書き込まれたものがデータセットを置き換えます。

Transforms クラス

Check

クラス transforms.api.Check

FileStatus

FileSystem

IncrementalTransformContext

クラス transforms.api.IncrementalTransformContext(ctx, is_incremental)

IncrementalTransformInput

class transforms.api.IncrementalTransformInput(tinput, prev_txrid=None)

IncrementalTransformOutput

Input

Output

Pipeline

Transform

TransformContext

TransformInput

LightweightInput

IncrementalLightweightInput

TransformOutput

LightweightOutput