モデルの接続と開発モデルFoundry でトレーニング済みのモデルCode Repositories でのトレーニング

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Code Repositories でモデルをトレーニングする

モデルは、Code Repositories アプリケーションでモデルのトレーニングテンプレートを使ってトレーニングできます。

モデルをトレーニングするには、次のステップを完了します。

  1. モデルアダプターを作成する
  2. モデルをトレーニングする Python トランスフォームを記述する
  3. Python トランスフォームをプレビューしてロジックをテストする
  4. Python トランスフォームをビルドしてトレーニング済みモデルを公開する
  5. モデルを利用する

1. モデルアダプターを作成する

モデルはモデルアダプターを使って、Foundry がモデルの初期化、シリアライズ、デシリアライズ、および推論を正しく実行できるようにします。Code Repositories では、モデルアダプターライブラリテンプレートまたはモデルのトレーニングテンプレートからモデルアダプターを作成できます。

モデルアダプターは、Python トランスフォームのリポジトリ内で直接作成できません。既存のリポジトリからモデルを作成するには、モデルアダプターライブラリを使ってそのライブラリをトランスフォームのリポジトリにインポートするか、モデルのトレーニングテンプレートに移行してください。

各種類のモデルアダプターリポジトリを使用する場面と、その作成方法については、モデルアダプターの作成のドキュメントを参照してください。以下のステップでは、モデルのトレーニングテンプレートを使用することを前提としています。

モデルアダプターの実装

Code Repositories のモデルのトレーニングテンプレートのデフォルト構造

トレーニング済みモデルを下流のトランスフォームで使用できるように、モデルアダプターとモデルのトレーニングコードは、別々の Python モジュールに配置する必要があります。テンプレートでは、この目的のために model_adapters モジュールと model_training モジュールを分けています。adapter.py ファイルにモデルアダプターを記述します。

モデルアダプターの定義は、トレーニングするモデルによって異なります。詳しくは、ModelAdapter API リファレンス、sklearn モデルアダプターの例、または教師あり機械学習のチュートリアルを参照してください。

2. モデルをトレーニングする Python トランスフォームを記述する

次に、コードリポジトリで、トレーニングロジックを格納する新しい Python ファイルを作成します。

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 from transforms.api import transform, Input from palantir_models.transforms import ModelOutput from model_adapter.example_adapter import ExampleModelAdapter # これはカスタムの ModelAdapter です def train_model(training_data): ''' この関数にはカスタムのトレーニングロジックが含まれます。 ''' pass @transform.using( training_data=Input("/path/to/training_data"), model_output=ModelOutput("/path/to/model") # これはモデルへのパスです ) def compute(training_data, model_output): ''' この関数には Foundry への読み書きを行うロジックが含まれます。 ''' trained_model = train_model(training_data) # 1. Python トランスフォームでモデルをトレーニングします wrapped_model = ExampleModelAdapter(trained_model) # 2. トレーニング済みのモデルをカスタムの ModelAdapter でラップします model_output.publish( # 3. ラップしたモデルを Foundry に保存します model_adapter=wrapped_model # Foundry は ModelAdapter.save を呼び出してモデルを生成します )

このロジックは ModelOutput に公開します。変更をコミットすると、指定したパスに Foundry がモデルリソースを自動的に作成します。機密情報区分に基づくアクセス制御(CBAC)を使用するエンロールメントでは、トランスフォームが自身の出力リソースを作成できません。そのため、ビルドする前に対象フォルダーで + 新規 > モデルを選択してモデルを作成し、新しく作成したリソースに必要なファイルの機密情報区分を設定してから、その既存のパスを ModelOutput に指定します。同じ制限は、トランスフォームで宣言するすべての Output データセットにも適用されます。出力がまだ存在しないトランスフォームをビルドすると、機密情報区分に基づくアクセス制御が有効な場合はデータセットの作成が許可されないことを示すエラーが発生し、ビルドが失敗します。また、@configure 注釈を使って、CPU、メモリー、GPU の要件など、モデルのトレーニングに必要なリソースを設定することもできます。

(任意)メトリクスとハイパーパラメーターをモデル実験に記録する

モデル実験は、モデルのトレーニング実行中に生成されるメトリクスとハイパーパラメーターを記録するための軽量なフレームワークです。記録した内容は、モデルとともに公開し、モデルページに保存できます。

実験の作成と書き込みについて詳しくはこちら。

3. Python トランスフォームをプレビューしてロジックをテストする

Code Repositories アプリケーションでは、プレビューを選択すると、完全なビルドを実行せずにトランスフォームのロジックをテストできます。ただし、プレビューは、@configure 注釈で設定していても、それより小さいリソースプロファイルで実行されます。

ModelOutput のプレビュー

ModelOutput のプレビューでは、モデルのトレーニングロジックに加えて、モデルのシリアライズ、デシリアライズ、および API の実装を検証できます。

Code Repositories アプリケーションでのモデル出力のプレビュー。

ModelInput のプレビュー

ModelInput のプレビューでは、既存のモデルに対して推論ロジックを検証できます。Code Repositories でのプレビューでは、各 ModelInput に 5 GB のサイズ制限があります。

Code Repositories アプリケーションでのモデル入力のプレビュー。

4. Python トランスフォームをビルドしてトレーニング済みモデルを公開する

コードリポジトリで Build を選択して、トランスフォームを実行します。Foundry は、トレーニングロジックを実行する前に、Python の依存関係とモデルの依存関係の両方を解決します。

Code Repositories でモデルをビルドする。

ModelOutput.publish() を呼び出すと、モデルのバージョンが Foundry に公開されます。Foundry は ModelAdapter.save() 関数を呼び出し、実行に必要なすべてのフィールドを ModelAdapter がシリアライズできるようにします。

5. モデルを利用する

Modeling Objective に登録する

モデルは、次の用途で Modeling Objective に公開できます。

Python トランスフォームで推論を実行する

以下で説明するように、パイプラインで Palantir モデルを使用することもできます。

モデルが定義されていないトランスフォームのリポジトリ内でモデルを実行するには、ModelInput で use_sidecar = True を設定します。これにより、モデルアダプターとその依存関係が自動的にインポートされ、依存関係の競合を防ぐために別の環境で実行されます。詳しくは、ModelInput クラスリファレンスを参照してください。この機能は、palantir_models バージョン 0.2010.0 以降で、Spark を使用しないトランスフォーム(@lightweight または @transform.using デコレーターを使用するもの)で利用可能です。

use_sidecar が True に設定されていない場合は、モデルアダプターとその依存関係を現在のコードリポジトリにインポートするか、そのリポジトリ内で定義する必要があります。

モデルを作成したリポジトリとは異なる Python トランスフォームのリポジトリでモデルを使用する場合は、モデルアダプターの Python ライブラリを開発用 Python 環境に追加する必要があります。これにより、モデルの読み込みに必要な Python パッケージが、モデルを利用するリポジトリの環境に取り込まれます。コード開発用のユーザーインターフェースは、モデルの依存関係がリポジトリに存在しない場合にそれを検出し、警告にカーソルを合わせるとライブラリのインポートを提案します。特定のモデルバージョンに対応するアダプターライブラリとそのバージョンは、Foundry のモデルページで確認できます。

モデルが別のリポジトリにある場合は依存関係をインポートします。

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 from transforms.api import transform, Input, Output, LightweightInput, LightweightOutput from palantir_models.transforms import ModelInput from palantir_models import ModelAdapter @transform.using( inference_input=Input("/path/to/inference_input"), model=ModelInput( "/path/to/model", # 現在のトランスフォームリポジトリの外部で定義されたモデルには use_sidecar=True を推奨します ), inference_output=Output("/path/to/inference_output"), ) def compute( inference_input: LightweightInput, model: ModelAdapter, inference_output: LightweightOutput ): inference_results = model.transform(inference_input) # "output_data" をモデルバージョンの API で指定された出力に置き換えます。この API はモデルバージョンの Web ページで確認できます。 # たとえば、Hugging Face アダプターでは inference_results.output_data が適切な出力です。 inference = inference_results.output_data inference_output.write_pandas(inference)

ModelInput および ModelOutput API

上記のトランスフォームで呼び出される ModelInput および ModelOutput オブジェクトは、Code Repositories でモデルと直接やり取りする役割を担います。各オブジェクトの概要は次のとおりです。

ModelInput

Copied!
1 2 3 4 5 6 7 8 9 10 11 12 13 # ModelInput は palantir_models.transforms からインポートできます class ModelInput: def __init__(self, model_rid_or_path: str, model_version: Optional[str] = None): ''' `ModelInput` は、トランスフォームで使用する既存のモデルを取得します。最大2個の引数を受け取ります。 1. モデルへのパス(またはモデルの RID)。 2. (任意)取得するモデルのバージョン RID。 これが指定されていない場合は、最後に公開されたモデルが使用されます。 例:ModelInput("/path/to/model/asset") ''' pass

トランスフォーム関数では、ModelInput で指定されたモデルが、取得したモデルバージョンに関連付けられたモデルアダプターのインスタンスとしてインスタンス化されます。Foundry は、トランスフォームのビルドを開始する前に、ModelAdapter.load を呼び出すか、定義された @auto_serialize インスタンスを使用してモデルをセットアップします。そのため、ModelInput インスタンスは、関連付けられた読み込み済みのモデルの状態と、モデルアダプターで定義されたすべてのメソッドにアクセスできます。

ModelOutput

Copied!
1 2 3 4 5 6 7 8 9 10 # ModelOutput は palantir_models.transforms からインポートできます class ModelOutput: def __init__(self, model_rid_or_path: str): ''' `ModelOutput` は、モデルの新しいバージョンを公開するために使用します。 `ModelOutput` は、モデルへのパス(またはモデルの RID)を1個の引数として受け取ります。 アセットがまだ存在しない場合、ユーザーが Commit または Build を選択し、トランスフォームのチェック(CI)が実行されると、ModelOutput がアセットを作成します。 ''' pass

トランスフォーム関数では、ModelOutput を割り当てることで取得されるオブジェクトは WritableModel であり、publish() メソッドを使用して新しいモデルバージョンを公開できます。このメソッドはモデルアダプターをパラメーターとして受け取り、そのモデルアダプターに関連付けられた新しいモデルバージョンを作成します。publish() の実行中、プラットフォームは定義された @auto_serialize インスタンスを使用するか、実装された save() メソッドを実行します。これにより、モデルアダプターはモデルファイルまたは Checkpoint を state_writer オブジェクトにシリアライズできます。