Foundry コネクター

transforms API から Foundry とやり取りするためのコネクターです。

コネクターは、TransformInput および TransformOutput オブジェクトを対話的に構築するために使用でき、Transform の実行にも使用できます。

FoundryConnector

クラス transforms.foundry.connectors.FoundryConnector(service_config, auth_header, filesystem_id=None, fallback_branches=None, resolver=None)

• Foundry サービスにアクセスするためのエントリーポイントです。
• Foundry オブジェクトは、データセットを操作するための API を提供することで、Foundry サービスとのインタラクションを管理します。

パラメーター

• service_config (dict ↗)
  • Java クラス com.palantir.remoting.api.config.service.ServicesConfigBlock の JSON 仕様に準拠した設定辞書です。
• auth_header (str ↗)
  • Foundry サービスへの接続時に使用する認可文字列です。
• filesystem_id (str ↗, 省略可能)
  • 使用する基盤ファイルシステムです。
• fallback_branches (List[str ↗], 省略可能)
  • フォールバックブランチです。
• resolver (Callable[[str ↗], str ↗], 省略可能)
  • データセットのエイリアスを RID に解決する関数です。デフォルトでは、エイリアスをプロジェクトパスとして解決します。

---

input(alias=None, rid=None, branch=None, end_txrid=None, start_txrid=None, schema_version=None)

• 指定されたパラメーターから TransformInput を構築します。
• TransformInput の構築に使用する_リソース識別子_は、rid パラメーターが渡されない限り、指定された alias から解決されます。

パラメーター

• alias (str ↗, 省略可能)
  • データセットのエイリアスです。
• rid (str ↗, 省略可能)
  • データセットのリソース識別子です。
• branch (str ↗, 省略可能)
  • データセットを読み取るブランチです。設定されていない場合は、fallbacks リスト内で Catalog に存在する最初のブランチが選択されます。
• end_txrid (str ↗, 省略可能)
  • ビューの終了トランザクションです。設定されていない場合は、指定されたブランチの最新のトランザクションになります。
• start_txrid (str ↗, 省略可能)
  • ビューの開始トランザクションです。
• schema_version (str ↗, 省略可能)
  • 読み取り時に使用するスキーマバージョンです。設定されていない場合は、指定されたブランチの最新のスキーマバージョンになります。

戻り値

• 要求されたデータセットを表す入力オブジェクトです。

戻り値の型

• transforms.api.TransformInput

発生する例外

• ValueError ↗
  • alias または rid のいずれか一方のみが指定されていない場合です。
• ValueError ↗
  • ブランチが指定されておらず、Catalog でフォールバックブランチが見つからない場合です。

---

output(alias=None, rid=None, branch=None, txrid=None, filesystem_id=None)

• 指定されたエイリアスまたは RID から TransformOutput を構築します。
• transforms.api.TransformOutput の構築に使用する_リソース識別子_は、rid パラメーターが渡されない限り、指定された alias から解決されます。

パラメーター

• alias (str ↗, 省略可能)
  • データセットのエイリアスです。
• rid (str ↗, 省略可能)
  • データセットのリソース識別子です。
• branch (str ↗, 省略可能)
  • データセットを書き込むブランチです。設定されていない場合は、fallbacks リスト内の最初のブランチが選択されます。
• txrid (str ↗, 省略可能)
  • データの書き込み先となるトランザクションです。
• filesystem_id (str ↗, 省略可能)
  • データセットがまだ存在しない場合に、そのデータセットを作成するファイルシステムです。

戻り値

• 要求されたデータセットを表す出力オブジェクトです。

戻り値の型

• transforms.api.TransformOutput

発生する例外

• ValueError ↗
  • alias または rid のいずれか一方のみが指定されていない場合です。

---

run(transform)

• 最新の入力と出力を使用して、指定された Transform を実行します。

パラメーター

• transform (transforms.api.Transform)
  • 実行するトランスフォームです。

---

auth_header

• str
  • Foundry への接続に使用する認証ヘッダーです。

---

fallback_branches

• List[str]
  • データセットの取得に使用するフォールバックブランチです。

---

spark_session

• pyspark.sql.SparkSession ↗
  • FoundrySparkManager によって作成された SparkSession を理解します。