ストリーム監視

ストリーム監視では、ストリームの正常性に関するアラートを有効にできます。

ストリームは、次の条件を満たしている場合に「正常」と見なされます。

一定期間に取り込まれたレコード数または出力されたレコード数がユーザー定義のしきい値を下回ったときに発生する取り込みアラートと出力アラートを設定して、パイプラインの正常性を監視できます。

たとえば、取り込みモニターは過去5分間にストリームが取り込んだレコードが0件の場合にアラートを発生させ、出力モニターは過去30分間にストリームが出力したレコードが1000件未満の場合にアラートを発生させることができます。

モニターを作成する

レコードのフローが決定論的なストリームにのみ、モニターを適用してください。

5分や30分など、さまざまな固定期間がサポートされています。

取り込みモニターは、次のことを確認します。

次の手順で設定します。

例：

取り込まれたレコード数で期間を5分、しきい値を0に設定：過去5分間にストリームがライブビューに書き込んだレコードが0件の場合にアラートを発生させます。
取り込まれたレコード数で期間を30分、しきい値を1000に設定：過去30分間にストリームがライブビューに書き込んだレコードが1000件以下の場合にアラートを発生させます。

パイプラインモニターも、取り込みモニターを設定する場合と同じワークフローに従って設定できます。ただし、ストリーミングパイプラインで利用可能なモニターには、以下に示す重要な違いがあります。

Checkpoint のライブネス：設定した時間内にストリームが Checkpoint を作成しなかった場合にアラートを発生させます。このモニターは、パフォーマンス低下を示す信頼性の高い指標であるため、本番ストリームでの使用を強く推奨します。Checkpoint の作成について詳しくはこちら。
最後の Checkpoint の所要時間：Checkpoint の所要時間が設定したしきい値を超えて増加した場合にアラートを発生させます。
Checkpoint トリガーの失敗：Checkpoint のトリガーに連続して失敗した場合にアラートを発生させます。
Checkpoint の連続失敗：Checkpoint に連続して失敗した場合にアラートを発生させます。

出力モニターは、パイプラインが次の処理を行っていることを確認します。

ストリーム監視がベータ版の段階では、監視できるデータ形式は時系列と地理時系列のみです。

時系列に書き込まれたレコードを監視するには、時系列同期にアラートを設定します。

例：

時系列 DB に書き込まれたポイント数で期間を5分、しきい値を0に設定：過去5分間に時系列同期が書き込んだレコードが0件の場合にアラートを発生させます。
時系列 DB に書き込まれたポイント数で期間を30分、しきい値を1000に設定：過去30分間に時系列同期が書き込んだレコードが1000件以下の場合にアラートを発生させます。

地理時系列観測を監視するには、元となる観測データセットにアラートを設定します。

例：

送信された地理時系列観測数で期間を5分、しきい値を0に設定：過去5分間に地理時系列同期が地理時系列に送信した観測が0件の場合にアラートを発生させます。
送信された地理時系列観測数で期間を30分、しきい値を1000に設定：過去30分間に地理時系列同期が地理時系列に送信した観測が1000件以下の場合にアラートを発生させます。

エラーデータセットではなく、元となる観測データセットにモニターを設定します。送信された地理時系列観測数は、地理時系列の取り込みからレコードが送信されたことのみを確認するものであり、取り込み後に地理時系列サービスがレコードを処理したことを保証するものではありません。