注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

ストリーミング Pipeline Builder パイプラインでの結合

ストリーミング用の Pipeline Builder では、ストリームをバッチデータセットやほかのストリームと結合できます。ストリーミングは低遅延であるため、結合の実装方法は標準のバッチパイプラインとは異なります。このページでは、結合の仕組みと、パイプラインで結合を効果的に活用する方法を説明します。

ストリームをバッチデータセットと結合する

Foundry では、バッチ Pipeline Builder パイプラインで2つのバッチデータセットを結合する場合と同様の方法で、低遅延のストリームをバッチデータセットと組み合わせることができます。

Pipeline Builder でストリームをバッチデータセットと結合するには、次のステップを実行します。

  1. ストリームとバッチデータセットを Pipeline Builder のグラフに追加します。

  2. バッチデータセットの下にあるドロップダウンメニューを選択し、種類をスナップショットに変更します。

    ストリームの種類の選択画面。
  3. 結合するストリームを選択します。

  4. 結合を選択し、結合の右側にバッチデータセットを選択します。

  5. 結合の種類で、左ルックアップ結合を選択します。

  6. 一致条件を入力します。

アーキテクチャ

バッチデータセットとのストリーミング結合では、最初にバッチデータセットをダウンロードし、ストリーミングクラスター内でインデックス化することで、低遅延のルックアップを可能にします。結合を低遅延にするため、同じ Pipeline Builder パイプライン内で、ストリームとの結合前にバッチデータセットを加工することはできません。

バッチデータセットは、新しいトランザクションがデータセットに書き込まれたときに更新されます。バッチデータセットに新しいトランザクションが追加されると、バックグラウンドプロセスがデータの新しいビューをダウンロードし、クエリ可能な形式に変換します。このプロセスが完了すると、ストリームはバッチデータセットの新しいビューとの結合を開始します。

制限事項

バッチデータセットをストリームと結合する前に加工することはできません。バッチデータセットを加工する必要がある場合は、上流の Pipeline Builder パイプラインで加工できます。

ストリーミング結合には、次の制限事項があります。

  • バッチデータセットと結合する場合、結合の左側はストリーム、または読み取りモードが「ストリーム」のバッチデータセットである必要があります。

  • ストリーミング結合で使用するバッチ(スナップショット)データセットは、APPEND のみである必要があります。スナップショットデータセットに、上書きや削除などの APPEND 以外のトランザクションが含まれている場合、結合の出力が空になる可能性があります。この問題が発生した場合は、APPEND トランザクションのみを使用してスナップショットデータセットを再作成してください。

  • データ量が8~10 GB を超えるバッチデータセットと結合すると、パフォーマンスが低下する可能性があります。

  • 新しい APPEND トランザクションが検出された場合、バッチデータセットは最大で5分に1回更新されます。

  • データセットのダウンロードとインデックス化: データセットの合計サイズが小さくても、小さなファイルが多数含まれている場合は、バッチデータセットのダウンロードとインデックス化に必要な時間が長くなる可能性があります。バッチデータセットを生成するパイプラインを設定して、書き込むファイル数を減らし、ファイルサイズを大きくしてください。

  • ストリーム処理の遅延とチェックポイント所要時間: ストリーミングタスクは、初めてルックアップを実行するときにバッチデータセットをダウンロードしてインデックス化します。この初期化が完了するまでタスクはレコード処理を一時停止するため、パイプラインを通過するレコードに遅延が生じ、チェックポイント所要時間(チェックポイントのトリガーから完了までの時間)が長くなる可能性があります。この初期化は、ストリーミングクラスターの起動後に行われる場合があります。

  • バッチデータの鮮度: 結合が引き続き以前のバージョンを使用している間に、バックグラウンドでのリフレッシュによって更新されたバッチデータがダウンロードされ、インデックス化されます。リフレッシュにかかる時間が長いほど、結合で更新済みのバッチデータを使用できるようになるまでの時間も長くなります。

ストリームをほかのストリームと結合する

Foundry では、バッチ Pipeline Builder パイプラインで複数のバッチデータセットを結合する場合と同様に、複数の低遅延ストリームを組み合わせることができます。

Pipeline Builder で2つのストリームを結合するには、次のステップを実行します。

  1. 2つのストリームを Pipeline Builder のグラフに追加します。
  2. 結合を選択し、2つのストリームを選択します。
  3. 結合の種類で、外部キャッシュ結合を選択します。
  4. 一致条件を入力します。
  5. キャッシュ時間の値と単位を指定します。キャッシュ時間の値と単位によって、2つのストリームの結合に使用するキャッシュにデータを保存する期間が決まります。

外部結合ではなく左結合または右結合が必要な場合は、結合の下流で null 値を持つレコードを除外できます。左結合の場合は左側の値が null のレコードを除外し、右結合の場合は右側の値が null のレコードを除外します。

アーキテクチャ

ストリームは無期限に実行され、結合の両側に新しいレコードが絶えず流れ込むため、2つのストリーム間の結合は、ストリーム全体ではなく、結合の両側のデータのキャッシュを対象に動作します。

複数のストリーム間の結合は、状態が無制限に増大しないように、データのキャッシュのみを対象に動作します。状態が無制限に増大すると、ストリーミングクラスターは最終的にメモリー不足になり、クラッシュします。結合の左側と右側のキャッシュに有効期限を設定すると、結合用のレコードを保存するために必要な状態のサイズが制限され、ストリーミングクラスターのメモリー不足を防げます。

データはキーごとに保存され、タスクマネージャー間に分散されるため、より大規模な結合が可能です。つまり、より大規模なストリームと結合するには、タスクマネージャーあたりのメモリーを増やすか、クラスターで実行するタスクマネージャーの数を増やすことができます。

左側のストリームのレコードは、結合で指定したキー列に基づいて、常に右側の最新のレコードと結合されます。特定のキーに対して結合されるのは、最新のレコードのみです。

制限事項

ストリームをほかのストリームと結合する場合は、次の制限事項があります。

  • 状態が無制限に増大しないように、結合の左側と右側の両方でキャッシュの有効期限を設定する必要があります。
  • 結合の各側では、結合キーごとに最新の値のみが保存されます。つまり、この結合は「外部」結合のように動作します。
  • 結合の反対側に一致するレコードがない状態で、左側または右側のストリームにレコードが到着した場合、反対側の値が null のレコードが出力されます。