注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
データセットのトランスフォームを Marketplace 製品に追加する
Foundry DevOps を使用して、データセットのトランスフォームを Marketplace 製品に含めると、ほかのユーザーがインストールして再利用できます。最初の製品を作成する方法を確認してください。
サポートされている機能
データセットのトランスフォームを、それを生成するコードリポジトリとともにパッケージ化すると、必要な依存関係がすべて製品の一部として保存されます。これにより、トランスフォームが自己完結しており、どこでも正常に実行できることが保証されます。リポジトリには Maven、PyPI、Conda の依存関係を含めることができます。
Python、Java、SQL のトランスフォームがサポートされています。トランスフォームは新しいテンプレートを使用したリポジトリから生成する必要があります。そうでない場合、パッケージ化エラーが発生する可能性があります。デバッグするには、Code Repositories アプリケーションでリポジトリをアップグレードします。トランスフォームを正常にパッケージ化できれば、インストールエラーや実行時エラーは発生しません。
インストール時に入力として指定するデータセットの列名と変数タイプは、ソースデータセットと同一である必要があります。
これは、ソースとなる入力データセット（たとえば、データセットのトランスフォームへの入力として使用され、そのトランスフォームが Marketplace 製品に含まれる airplane データセット）のすべての列が、データセットのトランスフォームで参照されているかどうかにかかわらず、インストール時に必須の入力となるためです。
サポートされている機能は次のとおりです。
- インクリメンタル（差分処理）トランスフォーム
- マーキング解除ワークフロー
- Spark プロファイル
- テレメトリ
- ライブラリ
- 外部トランスフォーム
- スキーマレスデータセット
データセットのトランスフォームを製品に追加する
データセットのトランスフォームを製品に追加するには、まず製品を作成し、次に出力を追加します。ファイルを追加オプションを選択して、Compass ファイルシステム内のデータセットのトランスフォームに移動し、製品に追加します。
1個のトランスフォームが複数の出力データセットを生成する場合があります。その場合は、生成されるデータセットをすべて製品に含める必要があります。
リポジトリのパッケージ化オプション
リポジトリをパッケージ化する方法は3つあります。
- すべてのソースコードを除外： リポジトリはソースコードを含めずにパッケージ化されます。このリポジトリの唯一の目的は、トランスフォームの実行時に必要な依存関係を保持することです。この方法では、コンパイル済みのユーザーコードとすべての推移的依存関係が含まれます。
- 最新のソースコードを含め、バージョン履歴を除外： リポジトリにはソースコードと必要なアーティファクトの両方が含まれますが、Git 履歴（タグを含む）は永続化されません。読み取り専用のドキュメントとしてリポジトリを配布する場合は、この方法を推奨します。
- ソースコードと完全なバージョン履歴を含める： リポジトリはそのままの状態で製品内に永続化されます。Git 履歴全体がパッケージ化時に保存され、インストール時に復元されます。インストール後に Code Repositories アプリケーション内でチェックを実行し、トランスフォームを再ビルドできるのは、このモードのみです。