ストリーミングパイプライン

ストリーミングパイプラインを使用すると、リアルタイムデータに基づいて重要な意思決定を即座に行えます。専用のコンピューティングリソースでデータをストリームとして処理することで、ストリーミングパイプラインは非常に低い遅延でレコードを処理できます。平均すると、ストリーミングデータは15秒未満でオントロジーからアクセスできるようになり、Quiver や Foundry Rules などの時系列アプリケーションで分析に利用可能になります。この低遅延を実現するため、ストリームは継続的に稼働するコンピューティングリソース上に構築されており、バッチパイプラインとは異なるアーキテクチャとメンテナンスの考慮が必要です。

ストリーミング変換には、ステートレスとステートフルがあります。ステートレス変換は各行を独立して処理し、ステートフル変換は以前に処理した行の情報を保持します。ステートフル変換は、ウィンドウ、集計、結合などのユースケースをサポートします。ステートフルなストリーミング変換について詳しくはこちら。

ベストプラクティス

ストリーミングパイプラインを構築する際は、次の点を考慮してください。

• ストリームは業務の遂行に直結するワークフローを支えることが多いため、高い稼働率と可用性を確保するには、ダウンタイム、メンテナンス、ロジックの変更について慎重に計画する必要があります。
• ストリーミング用のコンピューティングリソースは継続的に稼働します。そのため、定期的なバッチジョブよりもコンピューティングコストが高くなる場合があります。バッチパイプラインと同様に、利用可能な最小のプロファイルからはじめ、データの規模に応じて調整することを検討してください。
• ストリームは行単位で動作し、低遅延のデータ転送を確保するために、最大行サイズに制約があります。この制約は1行あたり1mb に設定されています。
• ステートフルなストリーミングロジックを変更する際は、既存の状態との互換性を損なわないように慎重に設計する必要があります。

はじめに

Foundry でストリーミングパイプラインの使用をはじめるには、シンプルなストリーミングパイプラインを作成する方法を確認し、Pipeline Builder のストリーミングトランスフォームについて学びます。データソースを Foundry に接続する方法について学ぶには、ストリームにデータをプッシュする方法、またはストリーミング同期を設定する方法を確認してください。