数据连接与集成管道构建器Pipeline outputs添加时空序列输出

注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

添加时空序列输出

您可以在Pipeline Builder的管道中添加时空序列同步输出,以便在Foundry中将批处理或流式时空数据提供给下游应用程序,例如地图应用程序。Foundry中的时空观测是在Pipeline Builder中编写的。了解更多关于不同输出类型时空序列的信息。

前提条件

要在Pipeline Builder中使用时空序列,必须为您的注册启用它们。请联系您的Palantir代表获取有关启用此功能的更多信息。

创建时空序列输出

打开Pipeline Builder界面右侧的Pipeline outputs面板。然后选择Add > Geotemporal series sync > Add以创建新的时空序列。

如果您在Pipeline Builder中看不到时空序列输出类型,请检查您的注册是否满足上述前提条件。

映射主要字段

Pipeline Builder中的所有时空序列输出都有主要字段或内在字段,这些字段必须作为管道上游变换逻辑的一部分生成。这些字段控制从管道中的行到时空观测的转换。有关主要字段的更多信息,请参阅时空序列数据建模。这些主要字段包括:

  • Series ID: 用作每个集成中每个轨道的唯一标识符的字符串值,例如用于区分唯一航班的航班标识符。有关选择Series ID的更多示例,请参阅时空序列数据建模
  • Timestamp: 表示给定观测时间的值。
  • Position: 表示观测时位置的GeoPoint值。Pipeline Builder中的GeoPoint值可以使用Construct geopoint column表达式从纬度和经度坐标创建。
  • Altitude: 一个可选的Double类型值,表示离地面的高度,单位为米。
映射所需的时空观测序列字段。

映射附加字段

除了上述必要字段外,您还可以将自定义字段映射到输出观测中。为此,请导航到时空序列输出面板的Properties部分并选择Add Property。选择一个上游变换逻辑输出列,以便相应的值出现在下游观测中。您必须指定一个名称,映射应为实时还是静态,并且可选地为该字段表示的内容提供文档。实时属性随每次观测变化,例如飞机的航向。静态属性在整个序列中是恒定的,并用于非规范化以实现搜索和筛选功能,例如飞机类型。

除了Pipeline Builder中的标准数据类型外,时空序列输出还支持将特殊几何类型映射到时空序列数据模型中的等效类型。有关这些类型的更多详细信息,请参阅Pipeline Builder的地理空间文档

  • GeoPoint: 一个单点,可以在下游地图上呈现,并且可以与“Position”主要字段中设置的点不同。
  • Geometry: 一个GeoJSON对象,可以在下游地图上呈现。
映射附加的时空观测序列字段。

高级设置

除了基本的输出映射外,时空序列输出还支持以下高级和非必填设置:

  • Time to live: 一个long类型的值,表示在数据被视为陈旧或过期之前的时间量(以毫秒为单位)。陈旧数据将不会在下游应用程序中呈现。请注意,time to live值不会影响索引到dataset archive的数据。
  • Indexing settings: 允许用户指定他们希望如何索引时空序列观测。有两种支持的数据存储选项:实时流和dataset archive。实时流允许实时呈现点和轨迹,而dataset archive将所有序列数据保存在永久存储中,索引以进行时空搜索。
  • Observation type: 一个字符串类型的值,表示用于在下游应用程序中筛选数据的逻辑分类,例如“GPS ping”或“manual report”。
  • Style configuration: 允许用户配置观测在下游应用程序中的外观。支持的属性包括图标大小、不透明度、旋转、符号、标题、几何宽度、几何颜色、几何填充、几何不透明度和轨迹颜色。
  • Observation schema: 您可以选择一个现有的观测模式作为时空序列的一部分。这样做会预先填充与该模式相关的所有字段作为要映射的属性。为了支持向后兼容,您将无法删除、修改或在实时和静态之间切换现有字段。如果您不选择现有模式,则在首次成功部署管道输出时,将为您的集成创建一个新模式。
  • Source system: 源系统是您可以选择重复使用的不同时空序列同步的分组。如果选择现有的源系统,在成功部署时生成的时空序列集成将被更新到指定的源系统中。源系统中的现有集成将不会被修改。如果您不选择现有的源系统,则在首次成功部署管道输出时,将创建一个新的源系统。默认情况下,给定管道内的所有时空序列输出将被分组到与该管道对应的源系统中。
  • Destination namespace: 如果用户有访问配置了时空输出系列的多个命名空间的权限,他们可以指定管道将导出观测的目标命名空间。更多详细信息可以在下方找到。请联系您的Palantir代表获取有关配置其他目标的指导。

安全

下游时空序列观测的安全性源自您的管道输入数据:

  • 强制权限:
    • 下游观测将由Pipeline Builder中时空序列输出数据集上的最新输出事务或流视图进行保护。此资源将继承自输入数据集的强制或分类权限标记传播到管道。
    • 如果上游输入数据权限标记在时空序列输出的构建之间发生变化,则后续构建将失败,以防止在先前集成的数据权限标记中发生意外更改。在这种情况下,您必须删除并重新创建带有适当权限标记的时空序列输出。
    • 所有管道输入必须具有访问配置为相应时空序列输出的目标命名空间的组织权限标记。时空序列输出上的组织权限标记必须是具有访问输出命名空间权限的组织的超集。
  • 自主权限:
    • 当时空序列输出首次部署时,父项目上具有读取权限及以上的所有组将被授予对下游时空序列输出的查看权限。父项目的自主权限的后续更改将不会传播到下游观测。如果您的时空序列工作流需要更细粒度的自主权限,请联系您的Palantir代表。

请参考以下文档以获取有关强制权限和自主权限的更多信息:

故障排除

在管道部署并触发构建后,观测应会很快流入您的时空序列。如果数据未出现在下游应用程序中,您可以使用以下步骤进行故障排除:

  • 通过导航到右侧的Outputs面板并选择输出旁边的三个点,然后选择View backing dataset,验证数据是否出现在Pipeline Builder中的观测输出数据集中。
检查备份数据集以进行数据故障排除。
  • 通过在上述Outputs面板中选择View errors dataset,检查错误数据集中的错误。
  • 检查错误日志,查看当前运行管道构建中的运行时失败。这可以从Pipeline Builder中的History选项卡访问。
  • 确保下游资源包含必要的分类权限标记、强制权限标记和自主组以查看底层时空序列,验证下游应用程序中没有安全配置错误。