バッチビルドとインタラクティブビルド

ワークブックのインターフェース内からジョブを実行して Code Workbook をインタラクティブに使用する場合、すべてのジョブはそのワークブックに関連付けられた Spark モジュールを使用します。以下の画像に示すように、どのセッションでもセッション履歴ダイアログで Spark モジュール ID を確認できます。

各ユーザーには、同じプロジェクト内で同じ環境を使用するワークブック全体で共有される Spark モジュールが1個割り当てられるため、インタラクティブジョブは別のワークブックのジョブが完了するまでキューで待機することがあります。たとえば、同じモジュール上で最大5個の Python ジョブを同時に実行できます。6個目のジョブは「Code Workbook でキュー待機中」と表示されます。

バッチビルド（たとえば、スケジュールされたビルドやデータセットプレビューからのビルド）では、1回のビルドで、ビルド内の環境ごとに1個の Spark モジュールを使用します。たとえば、スケジュールされたビルドに複数の Code Workbook で作成されたデータセットが含まれ、それらの Code Workbook がすべて同じ環境を使用している場合、そのビルドはすべてのジョブに同じ Spark モジュールを使用します。インタラクティブジョブがその Spark モジュールにルーティングされることはありません。

必要な出力をデータセットとして保存しており、コードを反復的に改良するためにトランスフォームを1個ずつ実行していない場合は、バッチビルドの使用を推奨します。これには、次のようなケースが含まれます。

• 同じワークブック、または同じインタラクティブ Spark モジュールを使用するほかのワークブックで、実行に時間のかかるトランスフォームをビルドしたい場合。
• 定期的にデータセットを更新したい場合。たとえば、新しい入力データがあるときや、毎日午前9時に更新されたデータを確認したい場合は、スケジュールされたバッチビルドを使用してください。

ワークブックからデータセットを開くを使用してデータセットプレビューでデータセットを表示し、画面右上の Build ボタンでビルドします。複数のデータセットをビルドするには、ページ上部の歯車アイコンに移動し、Data Lineage を探索を選択します。次に、ビルドしたいデータセットを選択し、右側のサイドバーでビルドを選択します。

または、同じサイドバーのカレンダーアイコンをクリックして、データセットを繰り返しビルドするスケジュールを設定します。スケジュールの設定について詳しくはこちら。

ジョブがバッチビルドモードとインタラクティブモードのどちらでビルドされているかを確認するには、Builds アプリケーションに移動し、「詳細」ボタンをクリックします。

詳細には Spark モジュールの ID と、isInteractive が true かどうかが表示されます。true の場合、ジョブはインタラクティブモードで実行されています。false の場合、ジョブはバッチビルドモードで実行されており、どのインタラクティブジョブとも Spark モジュールを共有していません。