Checkpoint

パイプラインを構築する際には、複数の出力でデータ加工ノードを共有することがよくあります。通常、このロジックは出力ごとに1回再計算されます。Pipeline Builder の Checkpoint を使用すると、データ加工ノードを「Checkpoint」として指定し、次回のビルド時に中間結果を保存できます。その Checkpoint ノードの上流にあるロジックは、共有するすべての出力に対して1回だけ計算されるため、計算リソースを節約し、ビルド時間を短縮できます。

Checkpoint によってパフォーマンスが低下する場合もあります。たとえば、データをディスクに書き込んでから再度読み込むコストは、ロジックを複数回再計算するコストより低い場合があります。また、クエリを複数の部分に分割すると、パイプラインに対して実行できる最適化の数が減る場合があります。

Checkpoint ノードでパイプラインの効率を向上させるには、出力が同じジョブグループに属している必要があります。Pipeline Builder のジョブグループについて詳しくはこちら。

Checkpoint ノードを追加する

以下は、Attachment と Request の2つの出力を生成するパイプラインの例です。データ加工ノード Checkpoint は、この2つの出力で共有されています。現在の状態では、ロジックノード Clean と Checkpoint は、出力ごとに1回ずつ、合計2回計算されます。

ただし、ここでは両方の出力に対して Clean と Checkpoint を1回だけ計算したいとします。そのためには、Checkpoint を右クリックし、Checkpoint としてマークを選択します。

Checkpoint 戦略

利用可能な Checkpoint 戦略は3種類あります。

• 短期のディスクに保存 [デフォルト]： すべての出力をディスクに一時的に保存します。これは、Checkpoint として指定されたノードのデフォルトの戦略です。
• メモリに保存 [最速]： 結果をメモリーに一時的に保存し、より高速にアクセスできるようにします。特に小規模なデータセットで有用ですが、大規模なデータセットではメモリーの制限により失敗する場合があります。
• 出力データとして保存： Checkpoint の最新のトランザクションを専用のデータセットに保存します。データセットは、Checkpoint の初回デプロイ時に作成されます。

デフォルトでは、Checkpoint として指定されたノードは、すべての出力に対して短期のディスクに保存戦略を使用します。これを設定するには、チェックポイントを選択し、次に戦略を設定するを選択します。

データ加工に複数の出力がある場合（たとえば、Checkpoint として指定されたノードが分割のデータ加工である場合）、出力ごとに Checkpoint 戦略を選択するオプションがあります。

出力が1つだけのノードでは、Checkpoint 戦略を選択するか、ノードの Checkpoint 指定を解除する必要があります。

これで、Checkpoint ノードの上隅に水色のバッジが表示されます。

次に、両方の出力を同じジョブグループに追加して、Checkpoint の動作を確認します。一方の出力（Request）を右クリックし、ジョブグループを割り当てるを選択します。新規グループを選択すると、ビルド設定パネルが開きます。

デフォルトではデータセットが異なるジョブグループに属しているため、Checkpoint は出力ごとに再計算され、メリットがなくなります。これを修正するには、もう一方の出力（Attachment）を選択し、パネルの下部にあるグループに追加… を選択して、同じジョブグループに追加します。

Pipeline Builder でカラーグループとジョブグループを使用してノードを設定する方法について詳しくはこちら。

Checkpoint のストレージコスト

短期のディスクに保存の Checkpoint 戦略では、Checkpoint はデータ加工の結果全体を、Hadoop Distributed File System (HDFS) などのストレージに書き込みます。たとえば、この戦略を使用して結合を Checkpoint として指定すると、結合の結果全体がストレージに出力されます。そのため、データセットの出力が小さい場合でも、大量のデータが保存される可能性があります。