注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、エンドツーエンドのストリーミングワークフローを実装する際に参照する可能性のあるリソースを紹介します。
Data Connection は、さまざまなストリーミングプラットフォームから Foundry のストリーミングデータセットへのデータ同期をサポートしています。これらのデータセットは、ストリーミングパイプラインで使用できます。ストリーミング同期により、低遅延かつ高スループットでデータを Foundry に取り込み、リアルタイムの意思決定プロセスを支援できます。
ストリームから Foundry にデータを同期する方法は2つあります。
Foundry は、多くのストリーミングデータソースに接続できます。専用コネクターを備えたソースには、次のものがあります。
専用コネクターがないストリーミングソースには、外部トランスフォームを使用して接続できます。これには、次のようなソースが含まれます。
このページでは、エンドツーエンドのストリーミングワークフローを実装する際に参照する可能性のあるリソースを紹介します。
ストリームとは何か、どのように保存され、処理されるのかを理解するために、次の概念の入門ページを確認することを推奨します。
これらのページでは、ストリーミングがユースケースに適しているかを判断する際や、本番環境にストリームをデプロイする際に考慮すべきさまざまな点を、幅広く説明します。
ストリーミングのために外部データソースを Foundry に接続するには、次のいずれかのワークフローを完了する必要があります。ユースケースにおける利点と制限を理解するために、両方の方法を確認することを推奨します。
Pipeline Builder を使用して、ライブデータを加工できます。Pipeline Builder のデータ加工の出力もストリーミングデータセットとなり、Foundry 全体でリアルタイムに使用できます。
パイプラインの健全性に関するアラートを設定します。
ここでは、ストリーミングパイプラインの開発を改善するためのツールを紹介します。