時系列同期

時系列同期は、任意の数の時系列（seriesIds をキーとします）に関連付けられた時刻と値のペアを保持し、各時系列と関連する時刻と値のペアを高いパフォーマンスでインデックス化できるようにします。時系列同期はデータセットまたはストリームを元にしており、時系列プロパティの元データソースとなります。また、異なるタイムスタンプで記録された緯度と経度の測定値がデータに含まれている場合は、地理空間エンティティの追跡に時系列を使用することもできます。場合によっては、時系列よりも地理時系列の方が適しています。地理空間と地理時系列に関する FAQでは、それぞれを選択する基準を説明しています。

Foundry が特定のオブジェクトの時系列プロパティを解決するときは、そのプロパティの値に含まれる seriesId をプロパティのデータソース内で検索し、関連する時系列データを返します。時系列プロパティが複数の時系列同期を元にしている場合、プロパティの値に含まれる seriesIds は、すべて単一の時系列同期内に含まれている必要があります。

時系列同期を作成すると、同期対象のデータセットに対してプロジェクションが作成されます。プロジェクションは、時系列データを取得するときに実行されるクエリの最適化に使用されます。

時系列同期には、次の列が必要です。

1. seriesId: 時系列の識別子（string）。
2. タイムスタンプ： 関連する値が発生した時刻（timestamp または long）。
   • Long 型の時刻列では、単位を指定する必要があります。利用可能な単位は、秒、ミリ秒、マイクロ秒、ナノ秒です。
3. 値： 指定したタイムスタンプにおける時系列の値（double、integer、float または string）。
4. 取り込み時刻：（任意）：ストリーミングデータポイントが取り込まれた時刻（timestamp）。

時系列同期を作成する

Time Series Catalog を使用して作成する

Time Series Catalog に移動し、新規時系列同期を選択します。同期の保存場所を選択するダイアログが表示されます。この場所は、時系列データセットを含むか、時系列データセットを参照としてインポートしているプロジェクト内である必要があります。時系列同期を設定するには、同期を設定を選択します。

時系列データセットを入力として選択し、データセットの列を時系列同期のシリーズID、値、Timestamp にマッピングします。Timestamp 列が Long 型の場合は、単位が SECONDS、MILLISECONDS、MICROSECONDS、NANOSECONDS のいずれであるかを指定します。プレビューを使用して、時系列データが正しく表示されていることを確認します。

必要に応じて詳細設定を設定できます。ほとんどの場合、デフォルト値を推奨します。

完了したら、ダイアログの最後のステップで保存してビルドを選択します。

Pipeline Builder を使用して作成する

Pipeline Builder では、時系列同期を作成できます。データの追加、トランスフォームの作成、同期対象の設定については、Pipeline Builder のドキュメントを参照してください。

Pipeline Builder に移動し、新しいパイプラインを作成します。

1. 時系列データをインポートし、時系列同期に必要な列がデータに含まれるように、必要なトランスフォームを適用します。

2. 必要な列を含むようにデータを加工したら、時系列同期の対象を作成します。

3. 次に、列のマッピングを設定します。

4. パイプラインをデプロイして、時系列同期を作成してビルドします。これにより、元データセットと時系列同期の両方が作成されます。

時系列同期を管理する

詳細設定と探索を行うには、時系列同期リソースを開きます。Time Series Catalog を使用して、利用可能なすべての時系列同期を探索できます。

プレビュータブでは、同期に含まれる系列識別子データを表示できます。また、そのリソースをデータソースとして使用する時系列プロパティなど、リソースのメタデータも表示できます。モニタータブには、デフォルトでストリーミング時系列同期の Checkpoint データセットに関するさまざまなメトリクスが表示されます。

時系列同期がどの時系列プロパティのデータソースにもなっていない場合は、オントロジーのセットアップガイドに沿って進めることができます。セットアップガイドを開始するには、オントロジーセクションで今すぐ設定を選択します。セットアップガイドでは、時系列プロパティの追加先となる既存のオブジェクトタイプを選択するか、自動化されたフローで新しいオブジェクトタイプを作成する手順を案内します。

列のマッピングと詳細設定を行うには、同期を更新を選択します。

時系列同期の詳細設定

このセクションでは、時系列同期で設定できる詳細設定と、これらの設定をメンテナンスに使用する方法について説明します。Time Series Catalog と Pipeline Builder のどちらを使用してセットアップした場合でも、作成した同期の設定オプションに詳細設定があります。同期の作成中はウィザードの3番目のセクションに進むことで、作成後は同期を編集することで、詳細設定にアクセスできます。

詳細設定は、ポップアップウィザードの3番目のステップにあります。

詳細設定には、時系列同期の作成中、および作成後に時系列同期を編集する際にアクセスできます。同期の作成中は、作成ウィザードの詳細設定セクションに移動します。作成後は、Time Series Catalog で同期を表示しているときに、以下に示す編集の選択肢を選択するとウィザードにアクセスできます。

データセットの詳細オプション

入力データセットの更新時に同期の実行をスケジュールする

デフォルトでは、入力の時系列データセットが更新されると、同期のビルドがスケジュールされます。時系列データを最新の状態に保つため、この設定を推奨します。

最適化された同期ビルドを有効にする

この同期内の系列にアクセスするために時系列プロパティまたは修飾された系列IDのみを使用する場合は、このオプションを有効にすることを強く推奨します。同期のビルドが高速化され、ディスク容量の使用量が減り、系列IDがグローバルに一意である必要もなくなります。

ビューデータセット入力のインデックス付けを行う

このオプションは、大量の時系列データ（約10 TB 以上）を含み、元データセットの数が少ない（10個未満）ビュー、つまり複数のデータセットの和集合に対する同期に推奨されます。

このオプションを選択すると、作成される同期はビュー自体ではなく、ビューの元データセットを時系列データベースにインデックス化します。また、ビューを構成するデータセットに対して、プロジェクションが透過的に生成されます。前述のとおり、このオプションは大規模な正規データセットに推奨されます。時系列同期の詳細セットアップオプションで設定できます。

時系列のコンテキストでは、大規模な正規データセットを小さなデータセットに分割し、それらの小さなデータセットを単一のビューの構成要素として使用することを推奨します。ビューデータセット入力のインデックス付けを行う機能を使用すると、この単一のビューを、すべての元データセットを対象とする単一の同期に設定できます。ただし、この同期の時系列データにアクセスする際には、ビュー内のすべてのデータセットを考慮する必要があるため、データセットの数が多い（10個を超える）場合はクエリのパフォーマンスに影響する可能性があります。

別のデータセットを元にした別の同期の系列を上書きする

別の時系列同期に重複する系列IDを書き込んでおり、その同期を新しい同期に置き換えたい場合は、ここで古い同期を指定できます。これにより古い同期は失敗するようになるため、その後ゴミ箱に移動してください。ストリーム入力を使用する時系列同期には、この設定はありません。

セキュリティマーキング

セキュリティマーキングを設定します。オントロジーの時系列プロパティを通じて時系列同期データを閲覧する際は、継承されたマーキングが必要になります。詳細については、時系列プロパティのきめ細かな権限を参照してください。

Spark/Flink プロファイル

時系列同期のビルドに対して Spark または Flink のコンピューティングプロファイルを設定することは可能ですが、必要になることはまれです。