Foundry コネクタ

FoundryとトランスフォームAPIを介して対話するためのコネクタ。

コネクタは、TransformInput および TransformOutput オブジェクトをインタラクティブに構築したり、Transformを実行したりするために使用できます。

FoundryConnector

class transforms.foundry.connectors.FoundryConnector(service_config, auth_header, filesystem_id=None, fallback_branches=None, resolver=None)

• Foundry サービスへのアクセスポイント。
• Foundry オブジェクトは、データセットを操作するためのAPIを提供することで Foundry サービスとのやり取りを管理します。

パラメーター

• service_config (dict ↗)
  • Javaクラス com.palantir.remoting.api.config.service.ServicesConfigBlock の JSON スペックに準拠した設定辞書。
• auth_header (str ↗)
  • Foundry サービスへの接続時に使用する認証文字列。
• filesystem_id (str ↗, optional)
  • 使用するバックエンドのファイルシステム。
• fallback_branches (List[str ↗], optional)
  • フォールバックブランチ。
• resolver (Callable[[str ↗], str ↗], optional)
  • データセットエイリアスを rid に解決する関数。デフォルトではエイリアスをプロジェクトパスとして解決します。

---

input(alias=None, rid=None, branch=None, end_txrid=None, start_txrid=None, schema_version=None)

• 指定されたパラメーターから TransformInputを構築します。
• TransformInput を構築するために使用されるリソース識別子は、ridパラメーターが渡されない限り、指定されたaliasから解決されます。

パラメーター

• alias (str ↗, optional)
  • データセットのエイリアス。
• rid (str ↗, optional)
  • データセットのリソース識別子。
• branch (str ↗, optional)
  • データセットを読み取るブランチ。設定されていない場合、ブランチは Catalog に存在する fallbacks リストの最初のブランチとして選択されます。
• end_txrid (str ↗, optional)
  • ビューの終了トランザクション。設定されていない場合、指定したブランチの最新のトランザクションにデフォルト設定されます。
• start_txrid (str ↗, optional)
  • ビューの開始トランザクション。
• schema_version (str ↗, optional)
  • 読み取り時に使用するスキーマバージョン。設定されていない場合、指定したブランチの最新のスキーマバージョンにデフォルト設定されます。

戻り値

• 要求されたデータセットを表す入力オブジェクト。

戻り値のタイプ

• transforms.api.TransformInput

例外

• ValueError ↗
  • alias または rid （ただし両方ではない）が指定されていない場合。
• ValueError ↗
  • ブランチが指定されておらず、 Catalog にフォールバックブランチが見つからない場合。

---

output(alias=None, rid=None, branch=None, txrid=None, filesystem_id=None)

• 指定されたエイリアスまたは rid から TransformOutputを構築します。
• transforms.api.TransformOutput を構築するために使用されるリソース識別子は、ridパラメーターが渡されない限り、指定されたaliasから解決されます。

パラメーター

• alias (str ↗, optional)
  • データセットのエイリアス。
• rid (str ↗, optional)
  • データセットのリソース識別子。
• branch (str ↗, optional)
  • データセットを書き込むブランチ。設定されていない場合、ブランチは fallbacks リストの最初のブランチとして選択されます。
• txrid (str ↗, optional)
  • データを書き込むべきトランザクション。
• filesystem_id (str ↗, optional)
  • データセットがまだ存在しない場合にデータセットを作成するためのファイルシステム。

戻り値

• 要求されたデータセットを表す出力オブジェクト。

戻り値のタイプ

• transforms.api.TransformOutput

例外

• ValueError ↗
  • alias または rid （ただし両方ではない）が指定されていない場合。

---

run(transform)

• 最新の入力と出力を使用して指定された Transform を実行します。

パラメーター

• transform (transforms.api.Transform)
  • 実行するトランスフォーム。

---

auth_header

• str
  • Foundry に接続するために使用する認証ヘッダ。

---

fallback_branches

• List[str]
  • データセットを取得するために使用されるフォールバックブランチ。

---

spark_session

• pyspark.sql.SparkSession ↗
  • FoundrySparkManager によって作成された SparkSession を理解します。