Spark プロファイル

リポジトリの設定では、リポジトリ内で使用する Spark プロファイルを指定します。リポジトリの設定で Spark プロファイルを設定すると、コード内でそのプロファイルを使用できます。

プロファイルを適用するには、まずプロジェクトにインポートする必要があります。プロファイルには2種類あります。

• 制限なしのプロファイル：すべてのユーザーがリポジトリにインポートできるプロファイルです。
• 制限ありのプロファイル：管理者のみがインポートできるプロファイルです。

リポジトリですでに利用可能な Spark プロファイルは、設定タブの Spark セクションにあるインポートされたプロファイルに表示されます。

Spark プロファイルをインポートする

トランスフォームジョブで Spark プロファイルを使用するには、まずそのジョブを含むプロジェクトにプロファイルをインポートする必要があります。インポートしていない場合、トランスフォームを公開しようとすると Checks に失敗します。

Code Repositories エディターの Spark 設定タブで Spark プロファイルの一覧を見たり、プロジェクトにインポートしたりできます。

プロファイルをプロジェクトにインポートするには、設定タブに移動して Spark を選択します。プロファイルをインポートをクリックして、ドロップダウンで目的のプロファイルを探します。必要なプロファイルにカーソルを合わせます。

• プロファイルが制限なしの場合は、インポートをクリックしてプロジェクトにインポートできます。
• プロファイルが制限ありの場合は、その横にロックアイコンが表示されることがあります。

デフォルトでは、Resource Management の管理者は、制限ありの Spark プロファイルをインポートするために必要な権限を持っています。また、必要な権限を持つ spark-profile-admins という名前のユーザーグループが存在する場合もあります。一般ユーザーがプロファイルを使用するには、事前に管理者に依頼してプロジェクトにインポートしてもらう必要があります。

有効な Spark プロファイル

プロジェクトですでに有効になっているすべてのプロファイルは、プロジェクトの概要サイドバーにある参照パネルで発見可能です。プロファイルをリポジトリにインポートすると、プロジェクト全体の参照として自動的に追加され、プロジェクト内のすべてのリポジトリで「インポートされたプロファイル」として利用可能になります。