注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
ストリーミング用の Pipeline Builder では、ストリームをバッチデータセットやほかのストリームと結合できます。ストリーミングは低遅延であるため、結合の実装方法は標準のバッチパイプラインとは異なります。このページでは、結合の仕組みと、パイプラインで結合を効果的に活用する方法を説明します。
Foundry では、バッチ Pipeline Builder パイプラインで2つのバッチデータセットを結合する場合と同様の方法で、低遅延のストリームをバッチデータセットと組み合わせることができます。
Pipeline Builder でストリームをバッチデータセットと結合するには、次のステップを実行します。
ストリームとバッチデータセットを Pipeline Builder のグラフに追加します。
バッチデータセットの下にあるドロップダウンメニューを選択し、種類をスナップショットに変更します。
結合するストリームを選択します。
結合を選択し、結合の右側にバッチデータセットを選択します。
結合の種類で、左ルックアップ結合を選択します。
一致条件を入力します。
バッチデータセットとのストリーミング結合では、最初にバッチデータセットをダウンロードし、ストリーミングクラスター内でインデックス化することで、低遅延のルックアップを可能にします。結合を低遅延にするため、同じ Pipeline Builder パイプライン内で、ストリームとの結合前にバッチデータセットを加工することはできません。
バッチデータセットは、新しいトランザクションがデータセットに書き込まれたときに更新されます。バッチデータセットに新しいトランザクションが追加されると、バックグラウンドプロセスがデータの新しいビューをダウンロードし、クエリ可能な形式に変換します。このプロセスが完了すると、ストリームはバッチデータセットの新しいビューとの結合を開始します。
バッチデータセットをストリームと結合する前に加工することはできません。バッチデータセットを加工する必要がある場合は、上流の Pipeline Builder パイプラインで加工できます。
ストリーミング結合には、次の制限事項があります。
バッチデータセットと結合する場合、結合の左側はストリーム、または読み取りモードが「ストリーム」のバッチデータセットである必要があります。
ストリーミング結合で使用するバッチ(スナップショット)データセットは、APPEND のみである必要があります。スナップショットデータセットに、上書きや削除などの APPEND 以外のトランザクションが含まれている場合、結合の出力が空になる可能性があります。この問題が発生した場合は、APPEND トランザクションのみを使用してスナップショットデータセットを再作成してください。
データ量が8~10 GB を超えるバッチデータセットと結合すると、パフォーマンスが低下する可能性があります。
新しい APPEND トランザクションが検出された場合、バッチデータセットは最大で5分に1回更新されます。
データセットのダウンロードとインデックス化: データセットの合計サイズが小さくても、小さなファイルが多数含まれている場合は、バッチデータセットのダウンロードとインデックス化に必要な時間が長くなる可能性があります。バッチデータセットを生成するパイプラインを設定して、書き込むファイル数を減らし、ファイルサイズを大きくしてください。
ストリーム処理の遅延とチェックポイント所要時間: ストリーミングタスクは、初めてルックアップを実行するときにバッチデータセットをダウンロードしてインデックス化します。この初期化が完了するまでタスクはレコード処理を一時停止するため、パイプラインを通過するレコードに遅延が生じ、チェックポイント所要時間(チェックポイントのトリガーから完了までの時間)が長くなる可能性があります。この初期化は、ストリーミングクラスターの起動後に行われる場合があります。
バッチデータの鮮度: 結合が引き続き以前のバージョンを使用している間に、バックグラウンドでのリフレッシュによって更新されたバッチデータがダウンロードされ、インデックス化されます。リフレッシュにかかる時間が長いほど、結合で更新済みのバッチデータを使用できるようになるまでの時間も長くなります。
Foundry では、バッチ Pipeline Builder パイプラインで複数のバッチデータセットを結合する場合と同様に、複数の低遅延ストリームを組み合わせることができます。
Pipeline Builder で2つのストリームを結合するには、次のステップを実行します。
外部結合ではなく左結合または右結合が必要な場合は、結合の下流で null 値を持つレコードを除外できます。左結合の場合は左側の値が null のレコードを除外し、右結合の場合は右側の値が null のレコードを除外します。
ストリームは無期限に実行され、結合の両側に新しいレコードが絶えず流れ込むため、2つのストリーム間の結合は、ストリーム全体ではなく、結合の両側のデータのキャッシュを対象に動作します。
複数のストリーム間の結合は、状態が無制限に増大しないように、データのキャッシュのみを対象に動作します。状態が無制限に増大すると、ストリーミングクラスターは最終的にメモリー不足になり、クラッシュします。結合の左側と右側のキャッシュに有効期限を設定すると、結合用のレコードを保存するために必要な状態のサイズが制限され、ストリーミングクラスターのメモリー不足を防げます。
データはキーごとに保存され、タスクマネージャー間に分散されるため、より大規模な結合が可能です。つまり、より大規模なストリームと結合するには、タスクマネージャーあたりのメモリーを増やすか、クラスターで実行するタスクマネージャーの数を増やすことができます。
左側のストリームのレコードは、結合で指定したキー列に基づいて、常に右側の最新のレコードと結合されます。特定のキーに対して結合されるのは、最新のレコードのみです。
ストリームをほかのストリームと結合する場合は、次の制限事項があります。