地理時系列出力を追加する

パイプラインに地理時系列同期出力を追加すると、Foundry のバッチまたはストリーミングの地理時系列データを、Map アプリケーションなどの下流のアプリケーションで利用できるようになります。Foundry の地理時系列観測は Pipeline Builder で書き込まれます。さまざまな出力タイプおよび地理時系列について、詳しくはこちらをご覧ください。

前提条件

Pipeline Builder で地理時系列を使用するには、エンロールメントで地理時系列が有効になっている必要があります。この機能の有効化について詳しくは、Palantir の担当者にお問い合わせください。

地理時系列出力を作成する

Pipeline Builder のインターフェースの右側にあるパイプラインの出力パネルを開きます。次に、追加 > 地理的時間的系列の同期 > 追加を選択して、新しい地理時系列を作成します。

Pipeline Builder で地理時系列の出力タイプが表示されない場合は、エンロールメントが上記の前提条件を満たしているか確認します。

主要フィールドをマッピングする

Pipeline Builder のすべての地理時系列出力には、パイプラインの上流のデータ加工ロジックで生成する必要がある主要フィールド（組み込みフィールド）があります。これらのフィールドは、パイプラインの行から地理時系列観測への変換を制御します。主要フィールドについて詳しくは、地理時系列のデータモデリングを参照してください。これらの主要フィールドには、次のものがあります。

• シリーズID： 統合内の各トラックの一意の識別子として使用される文字列値です。たとえば、個々のフライトを区別するために使用されるフライト識別子などです。シリーズIDの選択に関するその他の例については、地理時系列のデータモデリングを参照してください。
• Timestamp： 特定の観測の時刻を表す値です。
• 位置： 観測時の位置を表す Geopoint 値です。Pipeline Builder の Geopoint 値は、上流のデータ加工ロジックで Geopoint 列を構築式を使用して、緯度と経度の座標から作成できます。
• 高度： 地表からの高さをメートル単位で表す、Double 型の任意の値です。

追加フィールドをマッピングする

上記の必須フィールドに加えて、カスタムフィールドを出力観測にマッピングできます。これを行うには、地理時系列出力パネルのプロパティセクションに移動し、プロパティを追加を選択します。上流のデータ加工ロジックの出力列を選択すると、対応する値が下流の観測に含まれるようになります。名前と、マッピングをライブまたは静的のどちらにするかを指定する必要があります。また、そのフィールドが何を表すかを説明するドキュメントを任意で指定できます。ライブプロパティは、飛行機の方位など、観測ごとに変化します。静的プロパティはシリーズ全体で一定であり、航空機の種類など、検索や絞り込み機能のために非正規化する際に使用されます。

地理時系列出力では、Pipeline Builder の標準データ型に加えて、特殊なジオメトリ型を地理時系列データモデル内の対応するデータ型にマッピングできます。これらのデータ型について詳しくは、Pipeline Builder の地理空間に関するドキュメントを参照してください。

• Geopoint： 下流のマップに表示できる単一の点です。「位置」主要フィールドに設定された点とは異なる点にすることもできます。
• ジオメトリ： 下流のマップに表示できる GeoJSON オブジェクトです。

詳細設定

地理時系列出力では、基本的な出力マッピングに加えて、次の任意の詳細設定をサポートしています。

• 有効期間： データが古い、または期限切れと見なされるまでの時間をミリ秒単位で表す long 型の値です。古いデータは下流のアプリケーションに表示されません。これはホットストレージ機能にのみ適用されます。
• 観察タイプ： 下流のアプリケーションでデータを絞り込むために使用する論理的な分類を表す string 型の値です。たとえば、「GPS ping」や「手動レポート」などです。
• スタイル設定： 下流のアプリケーションでの観測の外観を設定できます。サポートされる属性には、アイコンのサイズ、不透明度、回転、シンボル、タイトル、ジオメトリの幅、ジオメトリの色、ジオメトリの塗りつぶし、ジオメトリの不透明度、トラックの色があります。
• 観測スキーマ： 地理時系列の一部として、既存の観測スキーマを任意で選択できます。選択すると、そのスキーマに関連付けられたすべてのフィールドが、マッピング対象のプロパティとして事前入力されます。下位互換性を維持するため、既存のフィールドを削除、変更したり、ライブと静的の間で切り替えたりすることはできません。既存のスキーマを選択しない場合は、パイプライン出力の最初のデプロイが成功した時点で、統合用の新しいスキーマが作成されます。
• ソースシステム： ソースシステムは、異なる地理時系列同期をグループ化したもので、任意で再利用できます。既存のソースシステムを選択した場合は、デプロイが成功した時点で、生成される地理時系列統合が指定したソースシステムにアップサートされます。ソースシステム内の既存の統合は変更されません。既存のソースシステムを選択しない場合は、パイプライン出力の最初のデプロイが成功した時点で、新しいソースシステムが作成されます。デフォルトでは、特定のパイプライン内のすべての地理時系列出力は、そのパイプラインに対応するソースシステムにグループ化されます。
• 宛先名前空間： 地理時系列出力が設定された複数の名前空間にアクセスできる場合は、パイプラインが観測をエクスポートする宛先名前空間を指定できます。詳しくは、以下を参照してください。追加の宛先の設定に関するガイダンスについては、Palantir の担当者にお問い合わせください。

ホットストレージとコールドストレージ

地理時系列同期は、2種類の専用の観測データベースに書き込むことができます。

• ホットストレージ： リアルタイムのアクセスに最適化されたデフォルトの設定です。一定期間保存された観測データは、最終的にストアから削除されます。
• コールドストレージ：データ保持ポリシーに従って、Foundry データセットに観測データを保存します。地理時系列クエリのために観測データを長期間保存する必要がある場合は、コールドストレージを使用します。

セキュリティ

下流の地理時系列の観測のセキュリティは、パイプラインの入力データに基づきます。

• 必須権限：
  • 下流の観測は、Pipeline Builder の地理時系列出力データセットの最新の出力トランザクションまたはストリーミングビューによって保護されます。このリソースは、入力データセットから継承された必須マーキングまたは機密情報区分マーキングをパイプラインに伝播します。
  • 地理時系列出力のビルド間で上流の入力データのマーキングが変更された場合、以前に統合されたデータのマーキングが意図せず変更されることを防ぐため、次のビルドは失敗します。この場合、地理時系列出力を削除し、適切なマーキングを設定して再作成する必要があります。
  • すべてのパイプライン入力には、対応する地理時系列出力に設定された宛先の名前空間へのアクセス権を持つ組織のマーキングが必要です。地理時系列出力に付与されている組織マーキングは、出力の名前空間へのアクセス権を持つ組織をすべて含む必要があります。
• 任意権限：
  • 地理時系列出力が初めてデプロイされると、親プロジェクトに対して読み取り以上の権限を持つすべてのグループに、下流の地理時系列出力への閲覧アクセス権が付与されます。その後、親プロジェクトの任意権限が変更されても、下流の観測には伝播されません。地理時系列のワークフローでより詳細な任意権限が必要な場合は、Palantir の担当者にお問い合わせください。

必須権限と任意権限の詳細については、以下のドキュメントを参照してください。

• データ基盤を保護する
• 機密データを保護する

地理時系列同期の RID

Pipeline Builder のグラフで地理時系列同期の出力ノードを選択し、メタデータセクションの地理時系列の統合 RIDから RID をコピーします。

トラブルシューティング

パイプラインのデプロイとビルドのトリガー後、まもなく観測が地理時系列に流入するはずです。下流のアプリケーションにデータが表示されない場合は、以下の手順でトラブルシューティングできます。

• Pipeline Builder の右側にある出力パネルに移動し、出力の横にある3点リーダーを選択してから、元データセットを表示を選択し、観測の出力データセットにデータが表示されていることを確認します。

• 上記の出力パネルでエラーのデータセットを表示を選択し、エラーデータセットにエラーがないか確認します。
• 現在実行中のパイプラインビルドで、実行時の失敗を示すエラーログがないか確認します。ログには、Pipeline Builder の履歴タブからアクセスできます。
• 下流リソースに、元の地理時系列を閲覧するために必要な機密情報区分マーキング、必須マーキング、および任意権限のグループが含まれていることを確認し、下流のアプリケーションにセキュリティ設定のエラーがないことを確認します。