トランスフォームのバージョン

トランスフォームで使用される Spark、Java、Scala のバージョンは、ビルド時のトランスフォームのバージョンによって異なります。ジョブが最新のセキュリティおよびパフォーマンスの改善を反映した状態を維持できるように、トランスフォームはバックグラウンドで自動的にアップグレードされます。Spark のバージョニングポリシー ↗ に従い、バージョン間で API の一貫性が保たれ、動作の変更を防ぐためにレガシー設定が有効になっています。これらの設定は、Spark 移行ガイド ↗ に記載されています。

リリース

使用されるバージョンを以下のテーブルに示します。

Python

Java

SQL

環境ページ

環境ページには、ジョブトラッカーで Spark の詳細 > 環境を選択するとアクセスできます。このページでは、トランスフォームや Spark のバージョンを含む、ビルドの主要な設定の詳細を確認できます。

sparkModuleVersion はトランスフォームのバージョンに対応し、sparkVersion はビルドで使用される Spark のバージョンに対応します。

ランタイムのバージョニング

トランスフォームのランタイムのバージョンは、ビルドを実行するたびに選択されます。「adjudication」と呼ばれるシステムにより、ビルドが動作しなくなるバージョンにアップグレードされることを防ぎます。adjudication プロセスはアップグレードを選択的にテストし、必要に応じて古いバージョンに戻します。新しい Spark バージョンがリリースされると、自動的にテストされ、実行可能であればユーザーの操作なしでパイプラインに適用されます。アップグレードに失敗した場合、パイプラインは古い Spark バージョンで引き続き実行されます。Spark のバージョンアップグレードごとに、お知らせが公開されます。既存の Spark バージョンを一時的に使い続けるには、モジュールの固定を使用して、パイプラインを固定バージョンに設定します。

ランタイムのバージョンがリリースされてから約1か月後に、自動アップグレードができなかった問題をユーザーに知らせるため、リポジトリのアップグレードプロンプトが送信されます。これらのケースは、リポジトリ内のチェックのエラーに基づいてデバッグできるはずです。

デバッグジョブ

トランスフォームのアップグレードによってパイプラインが動作しなくなった疑いがある場合は、デバッグジョブを使用して問題を診断します。失敗したジョブで、アクション、デバッグジョブとして再実行を選択し、以前に成功したバージョンを指定して、トランスフォームのバージョン変更が動作しなくなった原因であるかを確認します。トランスフォームのアップグレードによってパイプラインが動作しなくなった場合は、Palantir サポートにお問い合わせください。