函数索引

Pipeline Builder 提供在不同级别上操作的表达式。它们通常可以分为行级、聚合或生成器。

行级函数对来自单行的值进行操作。大多数表达式属于此类别，例如 add。

聚合将多个行值聚合为一个。例如 'sum' 表达式。

生成器从单行生成多个值。例如 'explode_array' 表达式。

变换是对整个表或多个表进行操作的函数。例如 'drop' 变换。以下文档将概述可用的表达式和变换。

行级表达式

---

绝对值

支持于: 批处理, 流式处理

返回绝对值。

表达式类别: 数值

类型变量界限: T 接受数值

输出类型: T

示例

参数值:

• 表达式: numeric_column

查看更多详细信息这里。

---

加法运算

支持于: 批处理, 流式处理

计算所有输入列的总和。

表达式类别: 数值

输出类型: 数值

示例

参数值:

• 表达式: [col_a, col_b]

查看更多详细信息这里。

---

添加或更新结构字段

支持于: 批处理, 流式处理

更新结构的字段或添加新字段。

表达式类别: 结构

输出类型: 结构

示例

参数值:

• 表达式: value
• 定位器: airline.id
• 结构: struct

查看更多详细信息这里。

---

日期加值

支持于: 批处理, 流式处理

返回在'起始'日期后 'value' 天/周/月/季度/年 的日期。

表达式类别: 日期时间

输出类型: 日期

示例

参数值:

• 日期: 2022-02-01
• 单位: DAYS
• 值: 2

输出: 2022-02-03

查看更多详细信息这里。

---

所有数组元素满足

支持于: 批处理, 流式处理

如果表达式对数组中的所有元素都为 true，则返回 true。

表达式类别: 数组

输出类型: 布尔

示例

参数值:

• 数组: miles
• 布尔条件:
  isNull(
   表达式: element,
  )

查看更多详细信息这里。

---

And

支持于: 批处理, 流式处理

如果所有指定条件都为 true，则返回 true。Null 被视为 false。

表达式类别: 布尔

输出类型: 布尔

示例

参数值:

• 条件: [left_boolean, right_boolean]

查看更多详细信息这里。

---

任何数组元素满足

支持于: 批处理, 流式处理

如果表达式对数组中的任何元素为 true，则返回 true。

表达式类别: 数组

输出类型: 布尔

示例

参数值:

• 数组: miles
• 布尔条件:
  isNull(
   表达式: element,
  )

查看更多详细信息这里。

---

Arccos

支持于: 批处理, 流式处理

反余弦函数。

表达式类别: 数值

输出类型: 双精度

示例

参数值:

• 角度单位: radians
• 值: 1.0

输出: 0.0

查看更多详细信息这里。

---

Arcsin

支持于: 批处理, 流式处理

反正弦函数。

表达式类别: 数值

输出类型: 双精度

示例

参数值:

• 角度单位: radians
• 值: 0.0

输出: 0.0

查看更多详细信息这里。

---

Arctan

支持于: 批处理, 流式处理

反正切函数。

表达式类别: 数值

输出类型: 双精度

示例

参数值:

• 角度单位: degrees
• 值: angle

查看更多详细信息这里。

---

Arctan2

支持于: 批处理, 流式处理

返回从原点到点 (x, y) 的射线与正 x 轴之间的角度 θ，范围 -π<θ<=π。

表达式类别: 数值

输出类型: 双精度

示例

参数值:

• 角度单位: degrees
• X: x
• Y: y

查看更多详细信息这里。

---

面积

支持于: 批处理, 流式处理

使用球面近似地球计算几何图形的面积（以平方米为单位）。对于线字符串或点，该值为 0。

表达式类别: 地理空间

输出类型: 双精度

查看更多详细信息这里。

---

数组添加

支持于: 批处理, 流式处理

在指定索引处向数组添加一个值。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 数组: numbers
• 索引: 1
• 值: 1

查看更多详细信息这里。

---

数组笛卡尔积

支持于: 批处理, 流式处理

计算数组的笛卡尔积。

表达式类别: 数组

输出类型: Array<Struct>

示例

参数值:

• 表达式: [first, second]

查看更多详细信息这里。

---

数组连接

支持于: 批处理, 流式处理

将提供的数组连接为一个单一数组，不去重。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [[ 1, 2, 3 ], [ 4, 5 ]]

输出: [ 1, 2, 3, 4, 5 ]

查看更多详细信息这里。

---

数组包含

支持于: 批处理, 流式处理

如果数组包含该值，则返回 true。

表达式类别: 数组, 布尔

输出类型: 布尔

示例

参数值:

• 数组: part_ids
• 值: BRR-123

查看更多详细信息这里。

---

数组包含 null

支持于: 批处理, 流式处理

如果 array 包含 null，则返回 true。

表达式类别: 数组, 布尔

输出类型: 布尔

示例

参数值:

• 表达式: part_ids

查看更多详细信息这里。

---

数组差异

支持于: 批处理, 流式处理

返回 left 数组中不在 right 数组中的所有唯一元素。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 左数组: [ 1, 2, 3 ]
• 右数组: [ 2, 3, 4 ]

输出: [ 1 ]

查看更多详细信息这里。

---

数组去重

支持于: 批处理, 流式处理

移除重复项并返回数组中的唯一值。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [ 1, 1, 2, 3 ]

输出: [ 1, 2, 3 ]

查看更多详细信息这里。

---

数组元素

支持于: 批处理, 流式处理

返回给定位置的输入数组中的元素。数组范围外的位置将返回 null。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值:

• 数组: [ 10, 11, 12 ]
• 位置: 1

输出: 10

查看更多详细信息这里。

---

数组元素是否唯一

支持于: 批处理, 流式处理

如果数组的元素是唯一的，则返回 true，否则返回 false。如果数组为 null，则返回值为 false。

表达式类别: 数组, 布尔

输出类型: 布尔

示例

参数值:

• 表达式: part_ids

查看更多详细信息这里。

---

数组扁平化

支持于: 批处理, 流式处理

通过联合嵌套的第一级元素，从输入嵌套数组创建单一数组。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: array

查看更多详细信息这里。

---

数组交集

支持于: 批处理, 流式处理

移除重复项并取数组列表的交集。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [[ 1, 2, 3 ], [ 3, 4 ]]

输出: [ 3 ]

查看更多详细信息这里。

---

数组最大值

支持于: 批处理, 流式处理

返回数组列的最大值。

表达式类别: 数组

类型变量界限: T 接受数值

输出类型: T

示例

参数值:

• 表达式: [ 1, 2, 3 ]

输出: 3

查看更多详细信息这里。

---

数组最小值

支持于: 批处理, 流式处理

返回数组列的最小值。

表达式类别: 数组

类型变量界限: T 接受数值

输出类型: T

示例

参数值:

• 表达式: [ 1, 2, 3 ]

输出: 1

查看更多详细信息这里。

---

数组位置

支持于: 批处理, 流式处理

返回给定数组中 'value' 的第一次出现的位置/索引。当未找到值或任何参数为 null 时返回 null。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: 长整型

示例

参数值:

• 数组: [ 10, 11, 12 ]
• 值: 10

输出: 1

查看更多详细信息这里。

---

数组移除

支持于: 批处理, 流式处理

返回从给定数组中移除所有提供的 'value' 后的数组。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 数组: [ 1, 2, 3 ]
• 值: 1

输出: [ 2, 3 ]

查看更多详细信息这里。

---

数组重复

支持于: 批处理, 流式处理

返回一个数组，其中 array 的内容被连接 value 次。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 数组: [ 1, 2 ]
• 值: 2

输出: [ 1, 2, 1, 2 ]

查看更多详细信息这里。

---

数组反转

支持于: 批处理, 流式处理

反转 'array' 中元素的顺序。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [ 1, 2, 3 ]

输出: [ 3, 2, 1 ]

查看更多详细信息这里。

---

数组排序

支持于: 批处理, 流式处理

返回给定输入数组的排序数组。所有 null 值在降序数组的末尾，在升序数组的开头。

表达式类别: 数组

类型变量界限: T 接受 ComparableType

输出类型: Array<T>

示例

参数值:

• 方向: ASCENDING
• 表达式: [ 5, 3, 6 ]

输出: [ 3, 5, 6 ]

查看更多详细信息这里。

---

数组并集

支持于: 批处理, 流式处理

移除重复项并取数组列表的并集。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [[ 1, 2, 3 ], [ 3, 4 ]]

输出: [ 1, 2, 3, 4 ]

查看更多详细信息这里。

---

数组有交集

支持于: 批处理, 流式处理

检查给定数组是否至少有一个共享元素。

表达式类别: 数组, 布尔

类型变量界限: T 接受 AnyType

输出类型: 布尔

示例

参数值:

• 表达式: [[ 1, 2, 3 ], [ 3, 4 ]]

输出: true

查看更多详细信息这里。

---

数组压缩

支持于: 批处理, 流式处理

将给定数组列表压缩为合并的结构数组，其中第 n 个结构包含输入数组的所有第 n 个值。

表达式类别: 数组

输出类型: Array<Struct>

示例

参数值:

• 表达式: [first_array, second_array]

查看更多详细信息这里。

---

Base 64 解码为字符串

支持于: 批处理, 流式处理

Base64 解码给定表达式。对二进制数据使用 utf-8 编码。

表达式类别: 二进制, 转换, 字符串

输出类型: 字符串

示例

参数值:

• 表达式: encoded

查看更多详细信息这里。

---

Base64 解码

支持于: 批处理, 流式处理

Base64 解码给定表达式。

表达式类别: 二进制, 转换

输出类型: 二进制

示例

参数值:

• 表达式: city_base64

查看更多详细信息这里。

---

Base64 编码

支持于: 批处理, 流式处理

Base64 编码给定表达式。

表达式类别: 二进制, 转换

输出类型: 字符串

示例

参数值:

• 表达式: city

查看更多详细信息这里。

---

位左移

支持于: 批处理, 流式处理

将给定值向左移位一定数量的位。

表达式类别: 二进制

类型变量界限: E 接受 Byte | Integer | Long | Short

输出类型: E

示例

参数值:

• 表达式: 1
• 位数: 1

输出: 2

查看更多详细信息这里。

---

位右移

支持于: 批处理, 流式处理

将给定值向右移位一定数量的位。

表达式类别: 二进制

类型变量界限: E 接受 Byte | Integer | Long | Short

输出类型: E

示例

参数值:

• 表达式: 1
• 位数: 1

输出: 0

查看更多详细信息这里。

---

缓冲 H3 索引

支持于: 批处理, 流式处理

从一组 H3 索引创建距离 k 的缓冲区。

表达式类别: 地理空间

输出类型: Array<H3 Index>

查看更多详细信息这里。

---

计算目标点

支持于: 批处理, 流式处理

根据起始点、航向和距离计算沿指定路径的目标点。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值:

• 航向: course
• 距离: distance
• 起始点: point_a
• 计算方法: GREAT_CIRCLE

查看更多详细信息这里。

---

计算哈弗赛因距离

支持于: 批处理, 流式处理

计算两对纬度和经度点之间的哈弗赛因距离（以米为单位）。

表达式类别: 地理空间

输出类型: 双精度

示例

参数值:

• 点 a: point_a
• 点 b: point_b

查看更多详细信息这里。

---

条件选择

支持于: 批处理, 流式处理

根据条件在不同分支之间进行选择。

表达式类别: 流行

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值:

• 默认: Yes
• 分支: [(
  lessThan(
   left: miles,
   right: 15000,
  ), No)]

查看更多详细信息这里。

---

类型转换

支持于: 批处理, 流式处理

将表达式转换为给定类型。

表达式类别: 转换, 流行

类型变量界限: C 接受 AnyType

输出类型: C

示例

描述: 将长整型转换为字符串 参数值:

• 表达式: 1234
• 类型: 字符串

输出: 1234

查看更多详细信息这里。

---

向上取整

支持于: 批处理, 流式处理

返回给定小数值的向上取整值。

表达式类别: 数值

输出类型: Decimal | Long

示例

参数值:

• 表达式: 10.123

输出: 11

查看更多详细信息这里。

---

更改时间戳时区

支持于: 批处理

更改时间戳的时区。

表达式类别: 日期时间

输出类型: 时间戳

示例

参数值:

• 输出时区: America/Chicago
• 时间戳: 2020-04-28T05:09:00Z
• 输入时区: US/Eastern

输出: 2020-04-28T04:09:00Z

查看更多详细信息这里。

---

字符逐个翻译字符串

支持于: 批处理, 流式处理

替换输入列中匹配的字符为替换字符串中的对应字符。如果匹配字符串比替换字符串长，匹配字符串末尾的字符将被删除。

表达式类别: 字符串

输出类型: 字符串

示例

参数值:

• 表达式: translate
• 匹配字符串: rnlt
• 替换字符串: 123

输出: 1a2s3ae

查看更多详细信息这里。

---

分块字符串

支持于: 批处理

将字符串分块为指定大小的块并在指定的分隔符上分块。

表达式类别: 字符串

输出类型: Array<String>

示例

参数值:

• 表达式: string
• 块重叠: null
• 块大小: 10
• 保留分隔符: null
• 分隔符: null

查看更多详细信息这里。

---

密码解密

支持于: 批处理, 流式处理

使用密码解密表达式。

表达式类别: 其他

输出类型: 字符串

示例

参数值:

• 密码许可证 rid: ri.bellaso.main.cipher-license.1-decrypt
• 表达式: string

查看更多详细信息这里。

---

密码加密

支持于: 批处理, 流式处理

使用密码加密表达式。

表达式类别: 其他

输出类型: 密码文本

示例

参数值:

• 密码许可证 rid: ri.bellaso.main.cipher-license.1-encrypt
• 表达式: string

查看更多详细信息这里。

---

密码哈希

支持于: 批处理, 流式处理

使用密码对表达式进行哈希处理。

表达式类别: 其他

输出类型: 密码文本

示例

参数值:

• 密码许可证 rid: ri.bellaso.main.cipher-license.1-hash
• 表达式: string

查看更多详细信息这里。

---

清理字符串

支持于: 批处理, 流式处理

对表达式应用一组清理操作。

表达式类别: 数据准备, 字符串

输出类型: 字符串

示例

参数值:

• 清理操作: {trim}
• 表达式: hello world

输出: hello world

查看更多详细信息这里。

---

压缩 H3 索引集

支持于: 批处理, 流式处理

如果可能，将 H3 索引压缩为混合分辨率的子集。如果输入索引都是相同分辨率，则运行反向操作（解压缩）将保证产生相同的索引集。如果任何输入索引无效，此变换将返回 null。输出索引按升序排序。

表达式类别: 地理空间

输出类型: Array<H3 Index>

示例

参数值:

• H3 索引: h3_set

查看更多详细信息这里。

---

连接字符串

支持于: 批处理, 流式处理

使用指定的分隔符连接字符串列表。

表达式类别: 字符串

输出类型: 字符串

示例

参数值:

• 表达式: [hello, world]
• 分隔符: _

输出: hello_world

查看更多详细信息这里。

---

构造 GeoPoint 列

支持于: 批处理, 流式处理

从纬度和经度列构造 GeoPoint 列。验证纬度参数是否在 -90 和 90 之间（含），经度参数是否在 -180 和 180 之间（含）；如果不在范围内，则返回 null 值。

表达式类别: 地理空间

输出类型: GeoPoint

查看更多详细信息这里。

---

构造委托媒体哥谭标识符 (GID)

支持于: 批处理, 流式处理

从组件构造一个有效的委托媒体哥谭标识符 (GID) 的表达式。如果结果超过 1024 个字符，则产生 null 行。

表达式类别: 其他

输出类型: 委托媒体哥谭标识符 (GID)

示例

参数值:

• 媒体定位器: locator
• 媒体类型: mediaType
• 生产者实例: invalidUuid

查看更多详细信息这里。

---

将 DMS 转换为 GeoPoint

支持于: 批处理, 流式处理

根据用户提供的格式，将度、分、秒 (DMS) 格式的地理坐标字符串转换为 GeoPoint。默认格式为 DDD*°MM*'SS*"H 和 DDD*MMSSssH。格式按顺序运行，第一个匹配的格式将被返回。请参阅格式指南以了解如何编写用户生成的格式。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值:

• 坐标: coordinates
• 格式: null

查看更多详细信息这里。

---

将 GeoPoint 转换为 Geohash

支持于: 批处理, 流式处理

将 GeoPoint 转换为包含 GeoPoint 的具有指定精度的 base32 编码 Geohash。有关 Geohash 的更多信息，请参阅：https://en.wikipedia.org/wiki/Geohash 。

表达式类别: 地理空间

输出类型: Geohash

查看更多详细信息这里。

---

将 GeoPoint 转换为 MGRS

支持于: 批处理, 流式处理

将 GeoPoint 按照 WGS84 坐标系（即 EPSG:4326）转换为 MGRS（军事网格参考系统）坐标。输出 MGRS 将遵循具有 5 位精度的空格分隔格式。

表达式类别: 地理空间

输出类型: MGRS

示例

参数值:

• 表达式: geoPoint

查看更多详细信息这里。

---

将 GeoPoint 转换为几何

支持于: 批处理, 流式处理

将 GeoPoint 转换为类型为点的 GeoJSON。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息这里。

---

将 MGRS 转换为 GeoPoint

支持于: 批处理, 流式处理

将 MGRS（军事网格参考系统）坐标转换为遵循 WGS84 坐标系（即 EPSG:4326）的 GeoPoint。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值:

• 表达式: mgrs

查看更多详细信息这里。

---

将字符串转换为日期

支持于: 批处理, 流式处理

根据 Java DateTimeFormatter 返回格式化字符串给定的日期。默认格式为 yyyy-MM-dd 和 yyyy-MM-dd'T'HH:mm:ss.SSSXXX。格式按顺序运行，第一个匹配的格式将被返回。

表达式类别: 转换, 日期时间

输出类型: 日期

示例

描述: 日期格式为非必填 参数值:

• 字符串: 2020-04-28
• 格式: null

输出: 2020-04-28

查看更多详细信息这里。

---

将字符串转换为时间戳

支持于: 批处理, 流式处理

根据 Java DateTimeFormatter 返回格式化字符串给定的时间戳。默认格式为 yyyy-MM-dd'T'HH:mm:ss.SSSXXX 和 yyyy-MM-dd。格式按顺序运行，第一个匹配的格式将被返回。

表达式类别: 转换, 日期时间

输出类型: 时间戳

示例

参数值:

• 字符串: timestamp
• 格式: [dd-yyyy-MM HH:mm, yyyy-MM-dd]
• 时区: null

查看更多详细信息这里。

---

进制转换

支持于: 批处理

将一个数字（或其字符串表示）从一个进制转换为另一个进制。

表达式类别: 二进制, 转换, 数值

输出类型: 字符串

示例

参数值:

• 表达式: 4A801
• 从进制: 16
• 到进制: 10

输出: 305153

查看更多详细信息这里。

---

角度单位转换

支持于: 批处理, 流式处理

表达式类别: 地理空间, 数值

输出类型: 双精度

查看更多详细信息这里。

---

在距离单位之间转换

支持于: 批处理, 流处理

表达式类别: 数值

输出类型: Double

查看更多详细信息此处.

---

在时间单位之间转换

支持于: 批处理, 流处理

表达式类别: 日期时间

输出类型: Double

查看更多详细信息此处.

---

在重量单位之间转换

支持于: 批处理, 流处理

表达式类别: 数值

输出类型: Double

查看更多详细信息此处.

---

将数据转换为 JSON

支持于: 批处理, 流处理

将输入变换为json字符串。

表达式类别: 文件, 字符串

输出类型: 字符串

示例

参数值:

• 输入: struct

查看更多详细信息此处.

---

从 Ontology GeoPoint 转换

支持于: 批处理, 流处理

将一个 Ontology GeoPoint 转换为常规 GeoPoint。Ontology GeoPoint 是格式为 '{lat},{lon}' 的字符串，其中 -90 <= lat <= 90 和 -180 <= lon <= 180。常规 GeoPoint 是格式为 {"longitude": {long},"latitude": {lat}} 的结构。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值:

• 表达式: geopoint

查看更多详细信息此处.

---

从十六进制转换

支持于: 批处理

十六进制的反转。将每对字符解释为一个十六进制数，并转换为该数字的字节表示。

表达式类别: 数值, 字符串

输出类型: Binary

示例

参数值:

• 表达式: string_hex

查看更多详细信息此处.

---

从十六进制转换为字符串

支持于: 批处理, 流处理

十六进制的反转，将每对字符解释为一个十六进制数，并转换为该数字的字节表示的utf-8字符串。

表达式类别: 字符串

输出类型: 字符串

示例

参数值:

• 表达式: string_hex

查看更多详细信息此处.

---

将地心坐标转换为 WGS 84 大地坐标

支持于: 批处理, 流处理

将地心笛卡尔坐标转换为大地极坐标。海拔定义为椭球面上方的高度。如果任何坐标为空，输出将为空。

表达式类别: 地理空间

输出类型: 带海拔的GeoPoint

示例

参数值:

• X坐标: x_coordinate
• Y坐标: y_coordinate
• Z坐标: z_coordinate

查看更多详细信息此处.

---

转换遗留的 OffsetDateTime

支持于: 批处理

将遗留的 OffsetDateTime 列转换为可在所有 Foundry 管道中使用的时间戳。时间戳以 UTC 返回。

表达式类别: 日期时间

输出类型: 时间戳

查看更多详细信息此处.

---

将线串转换为多边形

支持于: 批处理, 流处理

将线串几何转换为多边形几何。此表达式假定线串几何是闭合的。如果不是，表达式将返回 null。

表达式类别: 地理空间

输出类型: 几何

示例

参数值:

• 表达式: polygon_points

查看更多详细信息此处.

---

将时间戳从 UTC 转换

支持于: 批处理, 流处理

将时间戳从 UTC 转换到给定的时区。

表达式类别: 日期时间

输出类型: 时间戳

示例

参数值:

• 时区: EST
• 时间戳: 2020-04-28T10:09:00Z

输出: 2020-04-28T05:09:00Z

查看更多详细信息此处.

---

将时间戳转换为 UTC

支持于: 批处理, 流处理

根据给定的时区将时间戳转换为 UTC。

表达式类别: 日期时间

输出类型: 时间戳

示例

参数值:

• 时区: EST
• 时间戳: 2020-04-28T10:09:00Z

输出: 2020-04-28T15:09:00Z

查看更多详细信息此处.

---

转换为 Ontology GeoPoint

支持于: 批处理, 流处理

将一个 GeoPoint 转换为 Ontology 将接受的用于地理索引列（地理哈希类型列）的字符串。Ontology GeoPoint 是格式为 '{lat},{lon}' 的字符串，其中 -90 <= lat <= 90 和 -180 <= lon <= 180。

表达式类别: 地理空间

输出类型: Ontology GeoPoint

示例

参数值:

• 表达式: point

查看更多详细信息此处.

---

转换为十六进制

支持于: 批处理, 流处理

计算给定表达式的十六进制值。

表达式类别: 数值, 字符串

输出类型: 字符串

示例

参数值:

• 表达式: city_hex

查看更多详细信息此处.

---

转换为八进制

支持于: 批处理, 流处理

计算给定表达式的八进制值。

表达式类别: 数值

输出类型: 字符串

示例

参数值:

• 表达式: 12345

输出: 30071

查看更多详细信息此处.

---

余弦

支持于: 批处理, 流处理

取一个角度的余弦值。

表达式类别: 数值

输出类型: Double

示例

参数值:

• 角度单位: degrees
• 角度值: angle

查看更多详细信息此处.

---

从坐标系创建 GeoPoint

支持于: 批处理, 流处理

从源坐标系中获取一对坐标，并将其变换为 WGS 84 纬度/经度值。坐标系（也称为坐标参考系或空间参考系）代表不同的系统，用于识别地球上某个点的位置，通常在标准化数据库（如 EPSG）中由键标识。如果给定的投影不支持或任一坐标为空，则返回 null。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值:

• 源坐标系: EPSG:32618
• X坐标: x_coordinate
• Y坐标: y_coordinate

查看更多详细信息此处.

---

创建空数组

支持于: 批处理, 流处理

返回给定类型的空数组。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 类型: 字符串

输出: [ ]

查看更多详细信息此处.

---

创建数组

支持于: 批处理, 流处理

从提供的列创建一个数组。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 表达式: [1, 2, 3]

输出: [ 1, 2, 3 ]

查看更多详细信息此处.

---

创建椭圆几何

支持于: 批处理, 流处理

将椭圆近似为以给定地理坐标为中心的多边形。点之间的距离沿着近似地球表面的 WGS84 椭球面计算。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息此处.

---

创建测地线串

支持于: 批处理, 流处理

在两个点之间创建一条测地线。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息此处.

---

创建线串几何

支持于: 批处理, 流处理

从给定的点创建一个 GeoJSON 线串几何。

表达式类别: 地理空间

类型变量界限: T 接受 Struct<longitude, latitude>

输出类型: 几何

示例

参数值:

• 点: points

查看更多详细信息此处.

---

从数组创建映射

支持于: 批处理, 流处理

使用压缩数组中的键值对返回一个映射。Null 值不允许作为键，并将导致运行时错误。

表达式类别: 数组, 映射

类型变量界限: K 接受 AnyType**V 接受 AnyType

输出类型: Map<K, V>

示例

参数值:

• 键数组: [ 1, 2, 3 ]
• 值数组: [ 4, 5, 6 ]

输出: {
 1 -> 4,
 2 -> 5,
 3 -> 6,
}

查看更多详细信息此处.

---

创建空值

支持于: 批处理, 流处理

返回给定类型的空值。

表达式类别: 数据准备

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值:

• 类型: 字符串

输出: null

查看更多详细信息此处.

---

创建范围扇形几何

支持于: 批处理, 流处理

将范围扇形近似为一个多边形，指定到原点的哈弗辛距离在最小和最大半径之间的所有点的区域，并且从原点的方位角包含在围绕指定方位参数的角度范围内。范围扇形的左侧和右侧绘制为沿着近似地球表面的 WGS84 椭球面计算的测地线。如果范围跨越超过 180 度，同时也跨越反子午线，或如果最大半径跨越地球一半的周长，则返回 null。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息此处.

---

创建结构列

支持于: 批处理, 流处理

将多个列组合成一个结构化列。

表达式类别: 结构

输出类型: 结构

示例

参数值:

• 结构元素: [tail_number, id]

查看更多详细信息此处.

---

创建时间序列参考值

支持于: 批处理, 流处理

创建时间序列参考值。

表达式类别: 字符串

输出类型: 字符串

示例

参数值:

• 序列标识符: seriesId
• 时间序列同步 RID: ri.time-series-catalog.main.sync.11111111

查看更多详细信息此处.

---

当前日期

支持于: 批处理, 流处理

返回计算开始时的当前日期。

表达式类别: 日期时间

输出类型: 日期

查看更多详细信息此处.

---

当前时间戳

支持于: 批处理, 流处理

返回计算开始时的当前时间戳。

表达式类别: 日期时间

输出类型: 时间戳

查看更多详细信息此处.

---

日期序列

支持于: 批处理

创建一个包含从开始到结束范围内的日期的数组。

表达式类别: 日期时间

输出类型: Array<Date>

示例

参数值:

• 结束日期: last_planned_flight
• 开始日期: first_planned_flight
• 步长单位: DAYS
• 步长大小: null

查看更多详细信息此处.

---

解码 Geobuf 为 GeoJSON

支持于: 批处理, 流处理

将 Geobuf 几何解码为 GeoJSON。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息此处.

---

数字除法

支持于: 批处理, 流处理

将一个数字除以另一个数字。

表达式类别: 数值

输出类型: Decimal | Double

示例

参数值:

• 左: col_a
• 右: col_b

查看更多详细信息此处.

---

将 GeoJSON 编码为 Geobuf

支持于: 批处理, 流处理

将 GeoJSON 几何编码为 Geobuf。

表达式类别: 地理空间

输出类型: Geobuf

查看更多详细信息此处.

---

以...结尾

支持于: 批处理, 流处理

表达式类别: 布尔, 字符串

输出类型: 布尔

示例

参数值:

• 表达式: Hello World
• 忽略大小写: true
• 值: world

输出: true

查看更多详细信息此处.

---

纪元毫秒转换为日期

支持于: 批处理, 流处理

将纪元毫秒转换为日期，UTC。

表达式类别: 转换, 日期时间

输出类型: 日期

示例

描述: 可以将纪元时间戳（以毫秒为单位）转换为日期类型 参数值:

• 表达式: 1673964111000

输出: 2023-01-17

查看更多详细信息此处.

---

纪元毫秒转换为时间戳

支持于: 批处理, 流处理

将纪元毫秒转换为 UTC 时间戳。

表达式类别: 转换, 日期时间

输出类型: 时间戳

示例

描述: 可以将纪元时间戳（以毫秒为单位）转换为时间戳类型 参数值:

• 表达式: 1673964111000

输出: 2023-01-17T14:01:51Z

查看更多详细信息此处.

---

纪元秒转换为日期

支持于: 批处理, 流处理

将纪元秒转换为 UTC 日期。

表达式类别: 转换, 日期时间

输出类型: 日期

示例

描述: 可以将纪元时间戳转换为日期类型 参数值:

• 表达式: 1673964111

输出: 2023-01-17

查看更多详细信息此处.

---

纪元秒转换为时间戳

支持于: 批处理, 流处理

将纪元秒转换为 UTC 时间戳。

表达式类别: 转换, 日期时间

输出类型: 时间戳

示例

描述: 可以将纪元时间戳转换为时间戳类型 参数值:

• 表达式: 1673964111

输出: 2023-01-17T14:01:51Z

查看更多详细信息此处.

---

等于

支持于: 批处理, 流处理

如果左边和右边相等，返回 true。

表达式类别: 布尔

输出类型: 布尔

示例

参数值:

• 左: a
• 右: b

查看更多详细信息此处.

---

指数

支持于: 批处理, 流处理

计算列的指数，e^x。

表达式类别: 数值

输出类型: Double

示例

参数值:

• 表达式: 2.0

输出: 7.38905609893

查看更多详细信息此处.

---

提取所有正则表达式匹配项

支持于: 批处理

将正则表达式匹配的所有实例提取为数组。

表达式类别: 正则, 字符串

输出类型: Array<String>

示例

描述: 从每个代码中提取前两个首字母。 参数值:

• 表达式: MT-112, XB-967
• 组: 1
• 模式: (\w\w)(-)

输出: [ MT, XB ]

查看更多详细信息此处.

---

提取日期部分

支持于: 批处理, 流处理

提取日期的一部分，如年份或星期几。

表达式类别: 日期时间

输出类型: 整数

查看更多详细信息此处.

---

提取文档元数据

支持于: 批处理

从文档的媒体参考中提取元数据字段。

表达式类别: 媒体

输出类型: 结构

示例

参数值:

• 要包括的文档元数据信息: [Document Author, Page Count, Document Title]
• 媒体参考: Media Reference

查看更多详细信息此处.

---

提取图像元数据

支持于: 批处理

从图像的媒体参考中提取元数据字段。

表达式类别: 媒体

输出类型: 结构

示例

参数值:

• 要包括的图像元数据信息: [Attributes, Bands, Bytes, Dimensions, Format, Geographic Metadata, ICC Profile]
• 媒体参考: Media Reference

查看更多详细信息此处.

---

提取映射键

支持于: 批处理, 流处理

将映射键作为数组返回。请注意，数组元素的顺序是不确定的。

表达式类别: 映射

类型变量界限: K 接受 AnyType

输出类型: Array<K>

示例

参数值:

• 映射: flight_number

查看更多详细信息此处.

---

提取映射值

支持于: 批处理, 流处理

将映射值作为数组返回。请注意，数组元素的顺序是不确定的。

表达式类别: 映射

类型变量界限: V 接受 AnyType

输出类型: Array<V>

示例

参数值:

• 映射: flight_number

查看更多详细信息此处.

---

从 PDF 提取文本

支持于: 批处理

从 PDF 文件中的页面提取原始文本。

表达式类别: 媒体

输出类型: Array<String>

示例

参数值:

• 媒体参考: Media Reference
• 结束页: End Page
• 开始页: Start Page

查看更多详细信息此处.

---

从 PDF 提取文本（使用 OCR）

支持于: 批处理

对媒体集中的 PDF 文件运行 OCR 以提取文本。

表达式类别: 媒体

输出类型: Array<String>

查看更多详细信息此处.

---

从图像中提取文本（使用 OCR）

支持于: 批处理

对媒体集中的图像文件运行 OCR 以提取文本。

表达式类别: 媒体

输出类型: 字符串

查看更多详细信息此处.

---

提取时间戳部分

支持于: 批处理, 流处理

提取时间戳的一部分，如年份或星期几。

表达式类别: 日期时间

输出类型: 整数

查看更多详细信息此处.

---

筛选数组元素

支持于: 批处理, 流处理

根据筛选表达式筛选数组。注意，数组索引从1开始。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值:

• 数组: array
• 筛选表达式:
  isNotNull(
   expression: element,
  )

查看更多详细信息此处.

---

按几何类型筛选

支持于: 批处理, 流处理

将几何列中不是所提供的几何类型的值设为null。

表达式类别: 地理空间

输出类型: 几何

查看更多详细信息此处.

---

第一个非空值（合并）

支持于: 批处理, 流处理

选择输入中的第一个非空值。SQL中称为合并。

表达式类别: 数据准备

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值:

• 表达式: [tail_number, airline]
• 将空字符串视为空: null

查看更多详细信息此处.

---

向下取整

支持于: 批处理, 流处理

返回给定小数值的向下取整值。

表达式类别: 数值

输出类型: Decimal | Long

示例

参数值:

• 表达式: 10.123

输出: 10

查看更多详细信息此处.

---

将日期格式化为字符串

支持于: 批处理, 流处理

根据 Java DateTimeFormatter 返回格式化的字符串。默认格式为 ISO8601。

表达式类别: 转换, 字符串

输出类型: 字符串

示例

参数值:

• 日期: 2022-12-20
• 格式: yy-MM-dd

输出: 22-12-20

查看更多详细信息此处.

---

格式化数字

支持于: 批处理

将数字格式化为特定的小数位数。

表达式类别: 转换, 数值, 字符串

输出类型: 字符串

示例

描述: 将数字格式化为2个小数位。 参数值:

• 小数位数: 2
• 数字: 1234.5678

输出: 1,234.57

查看更多详细信息此处.

---

格式化字符串

支持于: 批处理, 流处理

格式化字符串为printf样式。

表达式类别: 字符串

输出类型: 字符串

示例

参数值:

• 格式参数: [argument1, argument2]
• 格式字符串: Hello %s, my name is %s

查看更多详细信息此处.

---

将时间戳格式化为字符串

支持于: 批处理, 流处理

将时间戳格式化为字符串（默认情况下为ISO8601）。

表达式类别: 转换, 日期时间, 字符串

输出类型: 字符串

示例

参数值:

• 时间戳: 2022-10-01T09:00:00Z
• 格式: yyyy-MM-dd
• 时区: null

输出: 2022-10-01

查看更多详细信息此处.

---

几何体是否相交

支持于: 批处理, 流处理

判断两个几何体是否相交。

表达式类别: 地理空间

输出类型: 布尔

示例

参数值:

• 几何 a: geometry_a
• 几何 b: geometry_b

查看更多详细信息此处.

---

三维仿射变换几何

支持于: 批处理, 流处理

对输入几何应用三维仿射变换。此变换发生在用户提供的投影坐标系中，并将结果投影回 WGS84。二维几何将在应用仿射变换之前将其 z 坐标设置为 0。返回的几何是三维的，对于每个坐标 [x,y,z]，表示矩阵乘法 [[x0, x1, x2, x-offset], [y0, y1, y2, y-offset], [z0, z1, z2, z-offset], [0, 0, 0, 1]] * [x, y, z, 1]，返回结果的前三个坐标。

表达式类别: 地理空间

输出类型: 几何

示例

参数值:

• 几何列: geometry
• 投影坐标系: EPSG:4326
• X偏移: 0.0
• X0: 0.0
• X1: -1.0
• X2: 0.0
• Y偏移: 0.0
• Y0: 1.0
• Y1: 0.0
• Y2: 0.0
• Z偏移: 0.0
• Z0: 0.0
• Z1: 0.0
• Z2: 0.0

查看更多详细信息此处.

---

几何数组（单一）合并

支持于: 批处理, 流处理

给定一个几何数组，将这些几何合并为一个几何，合并时不重叠。

表达式类别: 地理空间

类型变量界限: T 接受 几何

输出类型: T

示例

参数值:

• 表达式: geometries

查看更多详细信息此处.

---

几何数组线溶解

支持于: 批处理, 流式

给定一个几何数组，将这些几何组合成一个线性几何。溶解通过移除不必要的节点和连接可以组合的线字符串来简化输入的线字符串集。在溶解操作中将忽略Z坐标，但结果几何中的顶点将具有与输入点相同的Z坐标。

表达式类别: 地理空间

类型变量界限: T 接受 Geometry

输出类型: T

示例

参数值:

• 表达式: geometries

查看更多详情这里。

---

几何缓冲区

支持于: 批处理, 流式

计算几何的缓冲区，支持正缓冲区和负缓冲区距离。返回表示该几何对象在给定距离内所有点的近似表示（对于负缓冲区，则是所有点减去在边界缓冲区距离内的点）。缓冲区会丢弃任何Z坐标，零/负距离的线和点的缓冲区将返回null。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值:

• 缓冲区距离: distance
• 几何列: geometry
• 投影坐标系统: EPSG:32618
• 缓冲区端帽样式: ROUND
• 缓冲区连接样式: ROUND
• 每象限线段数: 8
• 单面或双面: DOUBLE_SIDED

查看更多详情这里。

---

几何质心

支持于: 批处理, 流式

返回几何的质心或“质心”，使用球形近似地球。如果几何是混合维度的集合，只有最高维度的元素才会对质心有贡献（例如，在点、线和多边形的集合中，点和线将被忽略）。

表达式类别: 地理空间

输出类型: GeoPoint

查看更多详情这里。

---

几何包含

支持于: 批处理, 流式

确定几何a是否包含几何b。位于多边形边界上的点或线不包含在另一个几何中。

表达式类别: 地理空间

输出类型: Boolean

示例

参数值:

• 几何 a: geometry_a
• 几何 b: geometry_b

查看更多详情这里。

---

几何差异

支持于: 批处理, 流式

计算几何a中不与几何b相交的部分。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值:

• 几何 a: geometry_a
• 几何 b: geometry_b

查看更多详情这里。

---

几何爆炸成数组

支持于: 批处理, 流式

将几何转换为其组成的简单几何数组。

表达式类别: 地理空间

输出类型: Array<Geometry>

示例

参数值:

• 表达式: geometry

查看更多详情这里。

---

几何交集

支持于: 批处理, 流式

计算几何a与几何b相交的部分。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值:

• 几何 a: geometry_a
• 几何 b: geometry_b

查看更多详情这里。

---

几何长度

支持于: 批处理, 流式

获取几何中线字符串和多线字符串的长度，以米为单位。使用球形近似地球。非线性几何（多边形和点）计为0。

表达式类别: 地理空间

输出类型: Double

示例

参数值:

• 表达式: geometry

查看更多详情这里。

---

几何旋转2D

支持于: 流式

对提供的几何应用二维顺时针旋转，以提供的GeoPoint为中心。此旋转在提供的坐标参考系统中进行，然后投影回WGS84。

表达式类别: 地理空间

输出类型: Geometry

查看更多详情这里。

---

设置几何Z坐标

支持于: 批处理, 流式

设置几何的Z坐标。如果几何已有Z坐标，则将被覆盖。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值:

• 几何: geometry
• Z 坐标: zCoordinate

查看更多详情这里。

---

几何最短距离

支持于: 批处理, 流式

给定两个有效的几何，计算它们之间的最短（大圆）距离，以米为单位。使用球形近似地球。重叠几何的距离为零。

表达式类别: 地理空间

输出类型: Double

查看更多详情[这里](../pb-functions-expression/geometryShortestDistanceV1.md

示例

参数值：

• 表达式: mgrs

查看更多详情 here.

---

是否有效 MIME 类型

支持于: 批处理, 流处理

如果输入是有效的 MIME 类型，则返回 true。

表达式类别: 布尔, 其他

输出类型: 布尔

查看更多详情 here.

---

是否有效 Ontology GeoPoint

支持于: 批处理, 流处理

如果输入是有效的 Ontology GeoPoint，则返回 true。Ontology GeoPoints 是格式为 '{lat},{lon}' 的字符串，其中 -90 <= lat <= 90 和 -180 <= lon <= 180。

表达式类别: 地理空间

输出类型: 布尔

示例

参数值：

• 表达式: geopoint

查看更多详情 here.

---

是否有效委托媒体 gid

支持于: 批处理, 流处理

如果输入是有效的 gotham 委托媒体 gid，则返回 true。查看 gotham 的委托媒体 rtfm 获取更多详情。

表达式类别: 布尔

输出类型: 布尔

示例

参数值：

• 表达式: ri.gotham-delegated-media.12345678-1234-1234-1234-123456789012.testaudiotype.testlocator

输出: true

查看更多详情 here.

---

是否有效媒体引用

支持于: 批处理, 流处理

如果输入是有效的 Foundry 媒体引用，则返回 true。

表达式类别: 布尔

输出类型: 布尔

查看更多详情 here.

---

是否有效 rid

支持于: 批处理, 流处理

如果输入是有效的 Foundry 资源标识符，则返回 true。

表达式类别: 布尔

输出类型: 布尔

查看更多详情 here.

---

是否有效 uuid

支持于: 批处理, 流处理

如果输入是有效的 uuid，则返回 true。

表达式类别: 布尔

输出类型: 布尔

查看更多详情 here.

---

合并数组

支持于: 批处理, 流处理

使用指定的分隔符合并数组。

表达式类别: 数组

输出类型: 字符串

示例

参数值：

• 要合并的数组: [ hello, world ]
• 分隔符: -

输出: hello-world

查看更多详情 here.

---

周/月/季度/年的最后一天

支持于: 批处理

返回周/月/季度/年的最后一天。

表达式类别: 日期时间

输出类型: 日期

查看更多详情 here.

---

最小值

支持于: 批处理, 流处理

计算所有输入列中最小的值，跳过 null 值。

表达式类别: 布尔, 数值

类型变量边界: T 接受 ComparableType

输出类型: T

示例

参数值：

• 表达式: [a, b, c]

查看更多详情 here.

---

字符串左侧

支持于: 批处理, 流处理

基于索引提取字符串的左侧。

表达式类别: 字符串

输出类型: 字符串

示例

参数值：

• 表达式: Hello world!
• 长度: 5

输出: Hello

查看更多详情 here.

---

左填充字符串

支持于: 批处理, 流处理

将字符串列左填充到指定长度，使用指定的填充值。

表达式类别: 字符串

输出类型: 字符串

示例

参数值：

• 表达式: Hello world!
• 长度: 15
• 填充值: *

输出: ***Hello world!

查看更多详情 here.

---

长度

支持于: 批处理, 流处理

返回字符串列或数组列中每个值的长度。

表达式类别: 数组, 数值

输出类型: 整数

示例

参数值：

• 表达式: string

查看更多详情 here.

---

小于

支持于: 批处理, 流处理

如果左侧小于右侧，则返回 true。

表达式类别: 布尔

输出类型: 布尔

示例

参数值：

• 左侧: left
• 右侧: right

查看更多详情 here.

---

小于或等于

支持于: 批处理, 流处理

如果左侧小于或等于右侧，则返回 true。

表达式类别: 布尔

输出类型: 布尔

示例

参数值：

• 左侧: a
• 右侧: b

查看更多详情 here.

---

莱文斯坦距离

支持于: 批处理, 流处理

计算两个字符串之间的莱文斯坦距离。

表达式类别: 字符串

输出类型: 整数

示例

参数值：

• 忽略大小写: false
• 左侧: left
• 右侧: right

查看更多详情 here.

---

对数

支持于: 批处理, 流处理

计算列的自然对数，ln(x)。

表达式类别: 数值

输出类型: 双精度

示例

参数值：

• 表达式: 10.123

输出: 2.3148100626166146

查看更多详情 here.

---

指定底数的对数

支持于: 批处理, 流处理

计算指定底数的对数。

表达式类别: 数值

输出类型: 双精度

示例

参数值：

• 底数: 2.0
• 表达式: 8

输出: 3.0

查看更多详情 here.

---

逻辑类型转换

支持于: 批处理, 流处理

将表达式转换为给定的逻辑类型。与常规转换表达式不同，此表达式不会更改数据的底层基本表示，而是强制执行与指定逻辑类型关联的约束，以便输出可以用作下游表达式的输入，这些表达式特别需要该逻辑类型的实例。

表达式类别: 转换

类型变量边界: C 接受 AnyType

输出类型: C

示例

描述: 成功转换为自然数 参数值：

• 表达式: 1234
• 逻辑类型: 自然数
• 默认值: null

输出: 1234

查看更多详情 here.

---

小写

支持于: 批处理, 流处理

将字符串中的所有字符转换为小写。

表达式类别: 字符串

输出类型: 字符串

示例

参数值：

• 表达式: Hello World

输出: hello world

查看更多详情 here.

---

映射值

支持于: 批处理, 流处理

将列中的一组值映射为新值。

表达式类别: 数据准备

类型变量边界: T1 接受 ComparableType**T2 接受 AnyType

输出类型: T2

示例

参数值：

• 默认值: null
• 输入: country
• 值映射: {
   Denmark -> DNK,
   United Kingdom -> UK,
  }

查看更多详情 here.

---

取模

支持于: 批处理, 流处理

返回表达式的模。

表达式类别: 数值

输出类型: 确定数值

示例

参数值：

• 分母: 4
• 分子: 10.123

输出: 2.123

查看更多详情 here.

---

数字乘积

支持于: 批处理, 流处理

计算所有输入列的乘积。

表达式类别: 数值

输出类型: 数值

示例

参数值：

• 表达式: [col_a, col_b, col_c]

查看更多详情 here.

---

取反

支持于: 批处理, 流处理

表达式类别: 数值

输出类型: 数值

查看更多详情 here.

---

正态随机数

支持于: 批处理, 流处理

返回均值为零、方差为一的正态分布随机数列。这不是确定性的，即使使用相同的种子，重复搭建时也不会生成相同的结果。

表达式类别: 数值

输出类型: 双精度

查看更多详情 here.

---

非

支持于: 批处理, 流处理

返回布尔表达式的取反值。

表达式类别: 布尔

输出类型: 布尔

示例

参数值：

• 表达式: boolean

查看更多详情 here.

---

多边形中的第 N 个环

支持于: 批处理, 流处理

返回几何图形中的单个多边形的第 N 个环。索引是从 1 开始的，索引为 0 超出范围。索引等于 1 返回外部环。索引大于 1 返回内部环。对于以下任一情况，返回 null：几何图形不是单个多边形，提供了要素集合或几何集合，索引超出范围，或至少一个参数为 null。

表达式类别: 地理空间

输出类型: 几何

示例

参数值：

• N: n
• 多边形: polygon

查看更多详情 here.

---

线串中的第 N 个点

支持于: 批处理, 流处理

返回几何图形中的单个线串的第 N 个点。索引是从 1 开始的，索引为 0 超出范围。负索引从线串的末尾向后计数，因此 -1 是最后一个点。对于以下任一情况，返回 null：几何图形不是单个线串，提供了要素集合或几何集合，索引超出范围，或至少一个参数为 null。

表达式类别: 地理空间

输出类型: GeoPoint

示例

参数值：

• 线串: linestring
• N: n

查看更多详情 here.

---

将空字符串转换为 null

支持于: 批处理, 流处理

将空字符串转换为 null。

表达式类别: 字符串

输出类型: 字符串

示例

参数值：

• 表达式: 空字符串

输出: null

查看更多详情 here.

---

或

支持于: 批

示例

参数值：

• 几何图形: Geometry
• 容差: Tolerance
• 坐标精度: null

查看更多详情这里。

---

正弦

支持于: 批处理, 流处理

求一个角度的正弦值。

表达式类别: 数值

输出类型: Double

示例

参数值：

• 角度单位: degrees
• 角度值: angle

查看更多详情这里。

---

跳过字节

支持于: 批处理, 流处理

在二进制列中跳过给定数量的字节。

表达式类别: 二进制

输出类型: Binary

示例

参数值：

• 字节: aGk=
• 要跳过的字节数: 1

输出: aQ==

查看更多详情这里。

---

数组切片

支持于: 批处理, 流处理

返回从第一个位置到第二个位置的数组切片。第一个位置必须为1或更高。如果第二个位置长于数组，则返回数组的其余部分。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

查看更多详情这里。

---

拆分字符串

支持于: 批处理, 流处理

根据指定的正则表达式模式拆分字符串。

表达式类别: 字符串

输出类型: Array<String>

示例

参数值：

• 表达式: string
• 模式:
• 限制: 2

查看更多详情这里。

---

平方根

支持于: 批处理, 流处理

计算列的平方根。

表达式类别: 数值

输出类型: Double

示例

参数值：

• 表达式: 9.0

输出: 3.0

查看更多详情这里。

---

以...开始

支持于: 批处理, 流处理

表达式类别: 布尔, 字符串

输出类型: Boolean

示例

参数值：

• 表达式: Hello world
• 忽略大小写: true
• 值: hello

输出: true

查看更多详情这里。

---

分隔符后的字符串

支持于: 批处理, 流处理

提取第一个分隔符后的字符串。如果未找到匹配项，则返回完整字符串。

表达式类别: 字符串

输出类型: String

示例

参数值：

• 分隔符: hello
• 表达式: ... Hello world
• 忽略大小写: true

输出: world

查看更多详情这里。

---

分隔符前的字符串

支持于: 批处理, 流处理

提取第一个分隔符前的字符串。如果未找到匹配项，则返回完整字符串。

表达式类别: 字符串

输出类型: String

示例

参数值：

• 分隔符: hello
• 表达式: ... Hello world
• 忽略大小写: true

输出: ...

查看更多详情这里。

---

字符串包含

支持于: 批处理, 流处理

表达式类别: 布尔, 字符串

输出类型: Boolean

示例

参数值：

• 表达式: ... Hello world
• 忽略大小写: true
• 值: hello

输出: true

查看更多详情这里。

---

子字符串

支持于: 批处理, 流处理

提取子字符串。

表达式类别: 数值

输出类型: String

示例

参数值：

• 表达式: string
• 起始: start
• 长度: length

查看更多详情这里。

---

减去多个表达式

支持于: 批处理, 流处理

计算一个数字与所有输入列之间的差值。

表达式类别: 数值

输出类型: Numeric

示例

参数值：

• 表达式列表: [col_b, col_c]
• 要减去的值: col_a

查看更多详情这里。

---

减去数字

支持于: 批处理, 流处理

从一个数字中减去另一个数字。

表达式类别: 数值

输出类型: Numeric

示例

参数值：

• 左侧: col_a
• 右侧: col_b

查看更多详情这里。

---

减去时间戳/日期

支持于: 批处理, 流处理

返回给定时间单位的差值。

表达式类别: 日期时间

输出类型: Long

示例

参数值：

• 结束: 2022-10-01T10:00:00Z
• 开始: 2022-10-01T09:00:00Z
• 单位: HOURS

输出: 1

查看更多详情这里。

---

从日期中减去值

支持于: 批处理, 流处理

返回在“start”之前“value”天/周/月/季度/年的日期。

表达式类别: 日期时间

输出类型: Date

示例

参数值：

• 日期: 2022-04-05
• 单位: DAYS
• 值: 2

输出: 2022-04-03

查看更多详情这里。

---

数组元素之和

支持于: 批处理, 流处理

对数组中的元素求和。

表达式类别: 数组

类型变量界限: T 接受 DefiniteNumeric

输出类型: T

示例

参数值：

• 表达式: [ 1, 2, 3 ]
• 将null视为零。: true

输出: 6

查看更多详情这里。

---

正切

支持于: 批处理, 流处理

求一个角度的正切值。

表达式类别: 数值

输出类型: Double

示例

参数值：

• 角度单位: degrees
• 角度值: angle

查看更多详情这里。

---

文本分割

支持于: 批处理, 流处理

使用滑动窗口分割提取一系列文本段。

表达式类别: 字符串

输出类型: Array<String>

查看更多详情这里。

---

文本转嵌入

支持于: 批处理

将文本转换为嵌入。

表达式类别: 字符串

输出类型: 嵌入向量

示例

描述: 单词“palantir”的嵌入示例。 参数值：

• 模型:
  ada002Embedding(
  
  )
• 文本列: text
• 输出模式: null

查看更多详情这里。

---

时间戳添加

支持于: 批处理, 流处理

在指定单位中将值添加到时间戳。

表达式类别: 日期时间

输出类型: Timestamp

示例

参数值：

• 时间戳: 2022-02-01T00:00:00Z
• 单位: MILLISECONDS
• 要添加的值: 2

输出: 2022-02-01T00:00:00.002Z

查看更多详情这里。

---

时间戳序列

支持于: 批处理

创建一个从开始到结束范围内的时间戳数组。

表达式类别: 日期时间

输出类型: Array<Timestamp>

示例

参数值：

• 结束时间: end_time
• 开始时间: start_time
• 步长单位: DAYS
• 步长大小: 1.0

查看更多详情这里。

---

时间戳减去

支持于: 批处理, 流处理

在指定单位中从时间戳中减去值。

表达式类别: 日期时间

输出类型: Timestamp

示例

参数值：

• 时间戳: 2022-02-02T00:00:00Z
• 单位: MILLISECONDS
• 要减去的值: 2

输出: 2022-02-01T23:59:59.998Z

查看更多详情这里。

---

时间戳转换为纪元毫秒

支持于: 批处理, 流处理

将UTC时间戳转换为纪元毫秒。

表达式类别: 转换, 日期时间

输出类型: Long

示例

参数值：

• 时间戳: 2022-10-01T09:00:00Z

输出: 1664614800000

查看更多详情这里。

---

时间戳转换为纪元秒

支持于: 批处理, 流处理

将UTC时间戳转换为纪元秒。

表达式类别: 转换, 日期时间

输出类型: Long

示例

参数值：

• 时间戳: 2022-10-01T09:00:00Z

输出: 1664614800

查看更多详情这里。

---

标题大小写

支持于: 批处理, 流处理

将每个单词的第一个字符转换为大写，其他字符转换为小写。

表达式类别: 字符串

输出类型: String

示例

参数值：

• 表达式: hello world

输出: Hello World

查看更多详情这里。

---

使用CPU将音频转录为json

支持于: 批处理

使用CPU将音频文件转录为json。

表达式类别: 媒体

输出类型: String

查看更多详情这里。

---

使用GPU将音频转录为json

支持于: 批处理

使用GPU将音频文件转录为json。

表达式类别: 媒体

输出类型: String

查看更多详情这里。

---

将音频转录为文本

支持于: 批处理

将音频文件转录为文本。

表达式类别: 媒体

输出类型: String | Struct<ok, error>

查看更多详情这里。

---

变换数组元素

支持于: 批处理, 流处理

使用表达式映射数组中的每个元素。注意，数组索引从1开始。

表达式类别: 数组

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值：

• 数组: flight_number
• 要应用的表达式。:
  stringBeforeDelimiter(
   delimiter: -,
   expression: element,
   ignoreCase: false,
  )

查看更多详情这里。

---

变换映射键

支持于: 批处理, 流处理

通过将表达式应用于每个键值对来变换映射的键。

表达式类别: 映射

类型变量界限: K 接受 AnyType**V 接受 AnyType

输出类型: Map<K, V>

示例

参数值：

• 要应用的表达式。:
  stringBeforeDelimiter(
   delimiter: -,
   expression: key,
   ignoreCase: false,
  )
• 映射: flight_number

查看更多详情这里。

---

变换映射值

支持于: 批处理

通过将表达式应用于每个键值对来变换映射的值。

表达式类别: 映射

类型变量界限: K 接受 AnyType**V 接受 AnyType

输出类型: Map<K, V>

示例

参数值：

• 要应用的表达式。:
  stringBeforeDelimiter(
   delimiter: -,
   expression: value,
   ignoreCase: false,
  )
• 映射: flight_number

查看更多详情这里。

---

修剪空格

支持于: 批处理, 流处理

修剪字符串开头和结尾的空格。空格定义为以下任意一个字符：1) Unicode的\p{whitespace}集合，2) Java的String#trim()方法，或3) Java的Character#isWhitespace()方法。

表达式类别: 数据准备, 字符串

输出类型: String

示例

参数值：

• 表达式: hello world

输出: hello world

查看更多详情这里。

---

截断日期

支持于: 批处理

返回向下舍入到最近的天/周/月/季度/年的日期。

表达式类别: 日期时间

输出类型: Date

查看更多详情这里。

---

截断时间戳

支持于: 批处理

返回截断到指定单位的时间戳。

表达式类别: 日期时间

输出类型: Timestamp

示例

参数值：

• 开始: 2022-02-01T10:10:10.0022Z
• 单位: MILLISECONDS

输出: 2022-02-01T10:10:10.002Z

查看更多详情这里。

---

解压H3索引集合

支持于: 批处理, 流处理

将H3索引解压到指定的分辨率。所有输入索引必须小于或等于请求的分辨率，否则此变换将返回null。如果任何输入索引无效，此变换将返回null。输出索引按升序排序。

表达式类别: 地理空间

输出类型: Array<H3 Index>

查看更多详情这里。

---

Unicode标准化

支持于: 批处理, 流处理

根据Unicode标准附录#15执行Unicode标准化。

表达式类别: 数据准备, 字符串

输出类型: String

示例

参数值：

• 表达式: string
• 标准化形式: nfkc

查看更多详情这里。

---

均匀随机数

支持于: 批处理, 流处理

返回一个从0到1之间均匀分布的随机数列。这不是确定性的，即使使用种子，也不会在重复搭建时产生相同的结果。

表达式类别: 数值

输出类型: Double

查看更多详情这里。

---

全局唯一标识符（uuid）（不稳定）

支持于: 批处理, 流处理

返回一个uuid列。这不是确定性的，即使在重复搭建时也不会产生相同的结果。这不是搭建id列的首选方法，用户应考虑sha256或其他确定性方法。

表达式类别: 字符串

输出类型: String

查看更多详情这里。

---

转为大写

支持于: 批处理, 流处理

将字符串中的所有字符转换为大写。

表达式类别: 字符串

输出类型: String

示例

参数值：

• 表达式: hello World

输出: HELLO WORLD

查看更多详情这里。

---

URL解码

支持于: 批处理, 流处理

将百分比编码的字符串解码为纯文本。

表达式类别: 转换, 字符串

输出类型: String

示例

参数值：

• 表达式: string

查看更多详情这里。

---

URL编码

支持于: 批处理, 流处理

对字符串进行百分比编码以便在URL中发送。

表达式类别: 字符串

输出类型: String

示例

参数值：

• 表达式: string

查看更多详情这里。

---

使用LLM

支持于: 批处理

使用可配置提示调用LLM。

表达式类别: 字符串

输出类型: Array<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Struct<ok<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Timestamp, error> | Timestamp

示例

参数值：

• 模型:
  gpt4ChatModel(
   temperature: 0.0,
  )
• 提示: prompt
• 输出模式: null
• 输出类型: null
• 系统提示: 在一个食品配送应用中，您的任务是对以下用户提示中给出的评论进行评分...

查看更多详情这里。

---

从映射中获取值

支持于: 批处理, 流处理

使用键从映射中获取值。

表达式类别: 映射

类型变量界限: K 接受 ComparableType**V 接受 AnyType

输出类型: V

示例

参数值：

• 键: Foo
• 映射: {
   Bar -> World,
   Foo -> Hello,
  }

输出: Hello

查看更多详情这里。

---

聚合表达式

---

全部

支持于: 批处理

计算聚合的布尔“与”。Null被视为false。

表达式类别: 聚合

输出类型: Boolean

示例

参数值：

• 表达式: values

给定输入表:

输出: false

查看更多详情这里。

---

任一

支持于: 批处理

计算聚合的布尔“或”。Null被视为false。

表达式类别: 聚合

输出类型: Boolean

示例

参数值：

• 表达式: values

给定输入表:

输出: true

查看更多详情这里。

---

近似中位数

支持于: 批处理

计算列中值的近似中位数。

表达式类别: 聚合

输出类型: Numeric

示例

参数值：

• 表达式: values

给定输入表:

输出: 3

查看更多详情这里。

---

近似百分位数

支持于: 批处理

返回表达式的近似百分位数，这是有序表达式值中（按从小到大排序）最小的值，使得不超过百分比的表达式值小于或等于该值。

表达式类别: 聚合

输出类型: Array<Numeric> | Byte | Decimal | Double | Float | Integer | Long | Short

示例

参数值：

• 表达式: values
• 百分位数: [0.5]
• 精度: null

给定输入表:

输出: 3

查看更多详情这里。

---

收集数组

支持于: 批处理, 流处理

在每个组内收集一个值数组。忽略Null值。

表达式类别: 聚合

类型变量界限: T 接受 AnyType

输出类型: Array<T>

示例

参数值：

• 表达式: factor

给定输入表:

输出: [ 2, 2, 3 ]

查看更多详情这里。

---

收集不同数组

支持于: 批处理, 流处理

在每个组内收集一个去重值数组。忽略Null值。

表达式类别: 聚合

类型变量界限: T 接受 ComparableType

输出类型: Array<T>

示例

参数值：

• 表达式: factor

给定输入表:

输出: [ 2, 3 ]

查看更多详情这里。

---

协方差

支持于: 批处理, 流处理

计算两个列中值的总体协方差。

表达式类别: 聚合

输出类型: Double

示例

参数值：

• 左侧: left
• 右侧: right

给定输入表:

输出: -2.0

查看更多详情这里。

---

从有序GeoPoint行创建简单几何图形

支持于: 批处理

给定GeoPoints列和排序，返回通过按指定顺序连接GeoPoints得到的多边形或线字符串。此函数假定数据是表格形式的，单行表示线字符串或多边形壳中的单个GeoPoint，以及一个指定这些点顺序的列。对于多边形，这种排序应标识沿着壳逆时针移动的点。给定这些点的排序和分区（分组），函数通过按order-by列的升序顺序连接GeoPoints来构建所需的分区几何图形。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值：

• GeoPoint: geo_point
• 按顺序排序（升序）: order
• 输出几何类型: LINE_STRING

给定输入表:

输出: {"type":"LineString","coordinates": [[0.0,0.0],[0.0, 1.0],[1.0,1.0]]}

查看更多详情这里。

---

密集排名

支持于: 批处理

返回窗口分区内行的排名，没有任何间隙。在平局情况下，行获得相同的排名。排名和密集排名之间的区别在于密集排名在有平局时不会在排名序列中留下空隙。

表达式类别: 聚合

输出类型: Integer

查看更多详情这里。

---

不同计数

支持于: 批处理, 流处理

计算列中不同值的数量。

表达式类别: 聚合

输出类型: Long

示例

参数值：

• 表达式: values

给定输入表:

输出: 3

查看更多详情这里。

---

第一个

支持于: 批处理

组中的第一个项目。注意，如果在聚合或无序窗口中使用，选择的行将是非确定性的。

表达式类别: 聚合

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值：

• 表达式: values
• 忽略nulls: false

给定输入表:

输出: 2

查看更多详情这里。

---

分组几何信封

支持于: 批处理

返回给定列中所有有效几何的信封。无效几何被视为null并被忽略。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值：

• 表达式: geometry

给定输入表:

输出: {"type":"Polygon","coordinates":[[[-6.0,-92.3],[-6.0,8.4],[125.6,8.4],[125.6,-92.3],[-6.0,-92.3]]]}

查看更多详情这里。

---

分组几何联合

支持于: 批处理

结合分组的几何以创建单个几何。

表达式类别: 地理空间

输出类型: Geometry

示例

参数值：

• 表达式: geometry

给定输入表:

输出: {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}

查看更多详情这里。

---

分组纬度/经度边界框

支持于: 批处理

返回一个结构，其中包含给定列中所有有效几何的整个边界框。无效几何被视为null并被忽略。

表达式类别: 地理空间

输出类型: LatLonBoundingBox

示例

参数值：

• 表达式: geometry

给定输入表:

输出: {
 maxLat -> 8.4,
 maxLon -> 125.6,
 minLat -> -92.3,
 minLon -> -6.0,
}

查看更多详情这里。

---

滞后

支持于: 批处理

返回窗口中当前行之前“滞后”的输入值。

表达式类别: 聚合

类型变量界限: T 接受 AnyType

输出类型: T

查看更多详情这里。

---

最后一个

支持于: 批处理, 流处理

组中的最后一个项目。注意，如果在聚合或无序窗口中使用，选择的行将是非确定性的。

表达式类别: 聚合

类型变量界限: T 接受 AnyType

输出类型: T

示例

参数值：

• 表达式: values
• 忽略nulls: false

给定输入表:

输出: 3

查看更多详情这里。

---

领先

支持于: 批处理

返回窗口中当前行之后“领先”的输入值。

表达式类别: 聚合

类型变量界限: T 接受 AnyType

输出类型: T

查看更多详情这里。

---

线性回归梯度

支持于: 批处理

计算右侧（输出变量）和左侧（输入变量）的线性回归梯度。

表达式类别: 聚合

输出类型: Double

示例

参数值：

• 左侧: left
• 右侧: right

给定输入表:

输出: -1.0

查看更多详情这里。

---

最大值

支持于: 批处理, 流处理

计算列中的最大值。

表达式类别: 数值

输出类型: ComparableType

示例

参数值：

• 表达式: values

给定输入表:

输出: 4

查看更多详情这里。

---

平均值

支持于: 批处理, 流处理

计算列中值的平均值。

表达式类别: 数值

输出类型: Decimal | Double

示例

参数值：

• 表达式: values

给定输入表:

输出: 3.0

查看更多详情这里。

---

最小值

支持于: 批处理, 流处理

计算列中的最小值。

表达式类别: 数值

输出类型: ComparableType

示例

参数值：

• 表达式: values

给定输入表:

输出: 2

查看更多详情这里。

---

众数

支持于: 批处理

计算列中值的众数。

表达式类别: 聚合

类型变量界限: String 接受 String

输出类型: String

示例

参数值：

• 表达式: values

给定输入表:

输出: b

查看更多详情这里。

---

百分位排名

支持于: 批处理

返回窗口分区内行的百分位数。平局分配相同的百分比。

表达式类别: 聚合

输出类型: Double

查看更多详情这里。

---

透视

支持于: 流处理

在透视上下文中应用聚合表达式。聚合将在限定于透视表达式每个不同值的一组单独聚合中运行。输出是从透视值到聚合表达式值的映射。

表达式类别: 聚合

类型变量界限: K 接受 ComparableType**V 接受 AnyType

输出类型: Map<K, V>

示例

参数值：

• 聚合表达式:
  sum(
   expression: value,
  )
• 透视表达式: pivot

给定输入表:

输出: {
 a -> 4,
 b -> 2,
}

查看更多详情这里。

---

产品

支持于: 批处理

计算所有输入列的乘积。

表达式类别：数值型

输出类型： 双精度

示例

参数值：

• 表达式: factor

给定输入表：

输出： 24.0

查看更多详细信息这里。

---

排名

支持于: 批处理

返回窗口分区内的行排名。在出现并列的情况下，行具有相同的排名。排名和密集排名之间的区别在于，出现并列时，排名会在排名序列中留下空隙。

表达式类别：聚合

输出类型： 整数

查看更多详细信息这里。

---

行数

支持于: 批处理, 流式

计算组中非空行的数量。

表达式类别：聚合

输出类型： 长整数

示例

参数值：

• 表达式: values

给定输入表：

输出： 3

查看更多详细信息这里。

---

行号

支持于: 批处理, 流式

在每个分区内返回从1开始的顺序编号。

表达式类别：聚合

输出类型： 整数

查看更多详细信息这里。

---

样本协方差

支持于: 批处理, 流式

计算两列中值的样本协方差。

表达式类别：聚合

输出类型： 双精度

示例

参数值：

• 左: left
• 右: right

给定输入表：

输出： -2.5

查看更多详细信息这里。

---

样本方差

支持于: 批处理, 流式

计算列中值的样本方差。

表达式类别：聚合

输出类型： 双精度

示例

参数值：

• 表达式: values

给定输入表：

输出： 0.33333333333

查看更多详细信息这里。

---

标准差

支持于: 批处理

计算列中值的标准差。

表达式类别：数值型

输出类型： 双精度

示例

参数值：

• 表达式: values

给定输入表：

输出： 0.81649658092773

查看更多详细信息这里。

---

求和

支持于: 批处理, 流式

对指定表达式求和。

表达式类别：数值型

输出类型： 十进制 | 双精度 | 长整数

示例

参数值：

• 表达式: values

给定输入表：

输出： 9

查看更多详细信息这里。

---

方差

支持于: 批处理, 流式

计算列中值的总体方差。

表达式类别：聚合

输出类型： 双精度

示例

参数值：

• 表达式: values

给定输入表：

输出： 0.66666666667

查看更多详细信息这里。

---

生成器表达式

---

展开数组

支持于: 批处理, 流式

将数组展开为每个值一行。

表达式类别：数组

类型变量范围： T 接受任何类型

输出类型： T

查看更多详细信息这里。

---

带位置的展开数组

支持于: 批处理, 流式

将数组展开为每个值一行，作为一个包含元素在数组中的相对位置和元素本身的结构。

表达式类别：数组

类型变量范围： T 接受任何类型

输出类型： 结构<非必填[position]:整数, 非必填[element]>

查看更多详细信息这里。

---

展开映射

支持于: 批处理, 流式

将映射展开为每个键值对一行。

表达式类别：映射

类型变量范围： TKey 接受任何类型**TValue 接受任何类型

输出类型： 结构<非必填[key], 非必填[value]>

查看更多详细信息这里。

---

变换

---

聚合

支持于: 批处理

对输入数据集按一组列进行指定的聚合。

变换类别：聚合, 受欢迎

示例

参数值：

• 聚合: [
  alias(
   alias: factor,
   expression:
  sum(
   expression: factor,
  ),
  )]
• 数据集: ri.foundry.main.dataset.aggregate
• 按列分组: [tail_number]

输入：

输出：

查看更多详细信息这里。

---

条件聚合

支持于: 批处理

基于条件语句聚合表达式。

变换类别：聚合

查看更多详细信息这里。

---

窗口内聚合

支持于: 流式

在窗口内对数据执行指定的聚合，根据提供的触发器发出输出。

变换类别：聚合

查看更多详细信息这里。

---

反合并

支持于: 批处理

反合并左右数据集输入，移除所有符合提供条件的行。

变换类别：合并

示例

参数值：

• 选择左侧列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 合并条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左数据集: ri.foundry.main.dataset.left
• 右数据集: ri.foundry.main.dataset.right

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息这里。

---

应用表达式

支持于: 批处理, 流式

通过应用单个表达式变换输入数据集。

变换类别：其他

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 表达式:
  alias(
   alias: kilometers,
   expression:
  convertDistance(
   amount: miles,
   currentUnit: mile,
   targetUnit: kilometer,
  ),
  )

输入：

输出：

查看更多详细信息这里。

---

数组元素到列

支持于: 批处理

从数组中提取元素到列。

变换类别：数组

示例

参数值：

• 数组: stats
• 要提取的列: [miles, id]
• 数据集: ri.foundry.main.dataset.a

输入：

输出：

查看更多详细信息这里。

---

指派时间戳和水印

支持于: 流式

指派时间戳和水印给输入，筛选出时间戳为空的记录。

变换类别：其他

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 时间戳表达式: timestamp
• 在每个记录上发出水印: null

输入：

输出：

查看更多详细信息这里。

---

合并数据

支持于: 批处理

减少分区数量的操作。如果你有1000个分区并将其合并为100个，则不会进行洗牌，而是每个新的100个分区将声明当前分区中的10个。如果请求的分区数较大，它将保持当前的分区数。

变换类别：其他

查看更多详细信息这里。

---

如果表达式缺失则计算

支持于: 批处理

为新行计算表达式，给定键的值只会被计算一次，即使在跨构建时也是如此。

变换类别：其他

查看更多详细信息这里。

---

将媒体集转换为表行

支持于: 批处理

生成一个包含媒体引用和媒体项目基本元数据的数据集。首先使用此变换来应用其他媒体变换。

变换类别：文件, 媒体

查看更多详细信息这里。

---

笛卡尔积合并

支持于: 批处理

笛卡尔积合并左右数据集输入，将每侧的所有行与另一侧的所有行匹配。输出是两个数据集的笛卡尔积。

变换类别：合并

示例

参数值：

• 选择左侧列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 选择右侧列的条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 左数据集: ri.foundry.main.dataset.left
• 右数据集: ri.foundry.main.dataset.right
• 来自右侧的列的前缀: null

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息这里。

---

日期分布

支持于: 批处理

计算指定列中日期/时间戳的分布。

变换类别：日期时间

查看更多详细信息这里。

---

降维

支持于: 批处理

通过应用主成分分析将n维数组降维为k维数组。

变换类别：其他

示例

参数值：

• 列: array
• 数据集: ri.foundry.main.dataset.a
• 输出维度: 2

输入：

输出：

查看更多详细信息这里。

---

删除列

支持于: 批处理, 流式

通过删除指定列变换输入数据集。

变换类别：受欢迎

示例

参数值：

• 要删除的列: {miles}
• 数据集: ri.foundry.main.dataset.a

输入：

输出：

查看更多详细信息这里。

---

删除重复项

支持于: 批处理

从输入中删除重复行。

变换类别：其他

示例

参数值：

• 数据集: ri.foundry.main.dataset.aggregate
• 列子集: {tail_number}

输入：

输出：

查看更多详细信息这里。

---

空文件

支持于: 批处理

创建一个空文件。

变换类别：其他

查看更多详细信息这里。

---

空媒体集文件

支持于: 批处理, 流式

创建具有给定模式和快照读取模式的空媒体集文件。

变换类别：其他

查看更多详细信息这里。

---

空表

支持于: 批处理, 流式

创建具有给定模式和读取模式的空表。

变换类别：其他

查看更多详细信息这里。

---

从数据集中提取文件元数据作为行

支持于: 批处理

从文件数据集中读取文件元数据作为行。

变换类别：文件

查看更多详细信息这里。

---

提取多个结构字段

支持于: 批处理

从结构中提取多个字段。原始结构将被删除。

变换类别：结构

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 定位器: [(airline.name, airline), (tail_no, tail_number)]
• 结构: raw

输入：

输出：

查看更多详细信息这里。

---

从CSV文件中提取行

支持于: 批处理

读取文件数据集并解析每个CSV文件为行。

变换类别：文件

查看更多详细信息这里。

---

从GeoJSON文件中提取行

支持于: 批处理

读取文件数据集并解析每个GeoJSON文件为行。输出数据集将有一个几何列和一个用户列出的每个属性列，除了_error和_file列。如果用户未提供要提取的属性，则整个属性结构将被提取为一个字符串的属性列。所有文件中的GeoJSON必须是： a) 多行要素集合：一个包含一个GeoJSON的完整文件，类型为要素集合 b) 单行要素：每行都是一个完全有效的GeoJSON，类型为要素的文件。

变换类别：文件, 地理空间

查看更多详细信息这里。

---

从JSON文件中提取行

支持于: 批处理

读取文件数据集并解析每个JSON文件为行。

变换类别：文件, 字符串, 结构

查看更多详细信息这里。

---

从电子邮件文件数据集中提取行

支持于: 批处理

读取电子邮件文件的数据集并将每个文件解析为一行。支持的文件扩展名：.eml, .emltpl, 和 .msg。

变换类别：文件, 媒体

查看更多详细信息这里。

---

从文本文件数据集中提取行

支持于: 批处理

读取文本文件的数据集并将每个文件解析为一行。

变换类别：文件, 字符串

查看更多详细信息这里。

---

从XML文件中提取行

支持于: 批处理

读取文件数据集并解析每个XML文件为行。

变换类别：文件

查看更多详细信息这里。

---

从Excel文件中提取行

支持于: 批处理

读取Excel文件的数据集并将每个文件解析为行。支持的文件格式：.xls, .xlt, .xltm, .xltx, .xlsx, .xlsm。

变换类别：文件

查看更多详细信息这里。

---

从shapefile中提取行

支持于: 批处理

读取文件数据集并将每个shapefile解析为行。除.shp, .shx和.dbf文件外，所有文件将被忽略。此shapefile解析器仅支持点、折线、多边形和多点几何类型。输出数据集将有一个几何列和一个用户列出的每个属性列，除了_error和_file列。如果用户未提供要提取的属性，则整个属性结构将被提取为一个字符串的属性列。

变换类别：文件, 地理空间

查看更多详细信息这里。

---

筛选

支持于: 批处理, 流式

根据指定的筛选条件筛选输入数据集。

变换类别：受欢迎

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 筛选条件: recently_serviced

输入：

输出：

查看更多详细信息这里。

---

按名称首次合并

支持于: 批处理

在第一个数据集的列上合并一组数据集，当列缺失时添加空值。第一个数据集中不存在的列将被移除。

变换类别：合并

示例

参数值：

• 要合并的数据集: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

输入： ri.foundry.main.dataset.a

ri.foundry.main.dataset.b

输出：

查看更多详细信息这里。

---

扁平化结构

支持于: 批处理, 流式

将结构中的所有字段转换为输出数据集中的列。

变换类别：结构

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 表达式: raw
• 最大深度: 2
• 列前缀: new_
• 分隔符: null

输入：

输出：

查看更多详细信息这里。

---

频繁模式增长

支持于: 批处理

频繁模式（fp）增长在您的数据集中查找频繁模式。

变换类别：聚合, 其他

示例

参数值：

• 输入数据集: ri.foundry.main.dataset.a
• 项目列: customer_attributes
• 最小支持度: 0.6

输入：

输出：

查看更多详细信息这里。

---

地理距离内连接

支持于: 批处理

基于输入几何之间的距离，将左右数据集内连接。在连接之前，内部将几何转换为给定的投影坐标参考系统，并转换回WGS84。

变换类别：地理空间, 合并

示例

参数值：

• 选择左侧列的条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 选择右侧列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, arrayCol],
  )
• 距离: 10.0
• 合并键: (geometryColLhs, geometryCol)
• 左数据集: ri.foundry.main.dataset.left
• 投影坐标系统: EPSG:4326
• 右数据集: ri.foundry.main.dataset.right
• 来自右侧的列的前缀: rhs_

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息这里。

---

地理距离左连接

支持于: 批处理

如果输入几何之间的距离小于或等于指定的距离，则将数据集左连接在一起。在连接之前，内部将几何转换为给定的投影坐标参考系统，并转换回WGS84。

变换类别：地理空间, 合并

示例

参数值：

• 选择左侧列的条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 选择右侧列的条件:
  columnNameIsIn(
   columnNames: [geometryColRhs, rhs-1],
  )
• 距离: 1640.42
• 合并键: (geometryColLhs, geometryColRhs)
• 左数据集: ri.foundry.main.dataset.left
• 投影坐标系统: epsg:2868
• 右数据集: ri.foundry.main.dataset.right
• 来自右侧的列的前缀: null

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息这里。

---

地理交集内连接

支持于: 批处理, 流式

基于输入几何是否重叠，将左右数据集内连接。结果中包括仅接触的几何。

变换类别：地理空间, 合并

示例

参数值：

• 选择左侧列的条件:
  allColumns(
  
  )
• 选择右侧列的条件:
  allColumns(
  
  )
• 合并键: (geometryColLhs, geometryColRhs)
• 左数据集: ri.foundry.main.dataset.left
• 右数据集: ri.foundry.main.dataset.right
• 来自右侧的列的前缀: null

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息这里。

---

地理交集左连接

支持于: 批处理

基于输入几何是否重叠，将输入数据集左连接。结果中包括仅接触的几何。

变换类别：地理空间, 合并

示例

参数值:

• 左侧选择列的条件:
  allColumns(
  
  )
• 右侧选择列的条件:
  allColumns(
  
  )
• 合并键: (geometryColLhs, geometryColRhs)
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right
• 右侧列的前缀: null

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

GeoPoint-to-GeoPoint 3D距离内连接

支持于: 批处理

根据点几何之间的距离内连接左侧和右侧数据集。几何必须表示点，并且可以选择性地包括z坐标。内部将几何转换为给定的投影坐标参考系统，然后再合并回WGS84。非点几何将被忽略，并且整个右侧数据集必须能够适应驱动程序和执行器内存。一个3 gb执行器应能够处理多达400万个点的邻居数据集。

变换类别: 地理空间, 合并

示例

参数值:

• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, arrayCol],
  )
• 距离: 2.5
• 合并键: (geometryColLhs, geometryCol)
• 左侧数据集: ri.foundry.main.dataset.left
• 投影坐标系统: EPSG:4326
• 右侧数据集: ri.foundry.main.dataset.right
• 使用z坐标: false
• 右侧列的前缀: rhs_

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

几何相交合并

支持于: 批处理

根据输入几何是否重叠内连接左侧和右侧数据集。如果合并键列对的几何相交，则返回包含两个数据集所有列的行。目前不支持在多个合并键上进行合并。默默地筛选空合并键几何值。左侧和右侧数据集不能有相同的列名。默默地使合并列中的无效GeoJSON为空。

变换类别: 地理空间, 合并

示例

参数值:

• 合并键: [(geometryColLhs, geometryColRhs)]
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

几何KNN内连接

支持于: 批处理

从邻居数据集中为每个有效的基础数据集输入几何选择k个最近的点。内部将输入数据集转换为给定的坐标参考系统，再返回到WGS84。整个邻居数据集必须能够适应驱动程序和执行器内存。一个3 gb执行器应能够处理多达100万个点的邻居数据集。

变换类别: 地理空间, 合并

示例

参数值:

• 基础数据集: ri.foundry.main.dataset.left
• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, lhsCol],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, col],
  )
• 合并键: (geometryCol, geometryCol)
• K: 2
• 邻居数据集: ri.foundry.main.dataset.right
• 投影坐标系统: epsg:2868
• 右侧列的前缀: rhs_

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

几何KNN左连接

支持于: 批处理

从邻居数据集中为每个有效的基础数据集输入几何选择k个最近的点。内部将输入数据集转换为给定的坐标参考系统，再返回到WGS84。整个邻居数据集必须能够适应驱动程序和执行器内存。一个3 gb执行器应能够处理多达100万个点的邻居数据集。

变换类别: 地理空间, 合并

示例

参数值:

• 基础数据集: ri.foundry.main.dataset.left
• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, lhsCol],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [geometryCol, col],
  )
• 合并键: (geometryCol, geometryCol)
• K: 2
• 邻居数据集: ri.foundry.main.dataset.right
• 投影坐标系统: epsg:2868
• 右侧列的前缀: rhs_

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

获取媒体引用（数据集）

支持于: 批处理

生成包含媒体引用和数据集文件基本元数据的数据集。

变换类别: 文件

更多详情请见此处。

---

心跳检测

支持于: 流式处理

检测在设置的键中，当一条记录在可配置的时间内未被看到时。

变换类别: 其他

更多详情请见此处。

---

内连接

支持于: 批处理

合并两个数据集，仅保留满足每个表提供条件的行。

变换类别: 合并

示例

参数值:

• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 合并条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right
• 右侧列的前缀: null

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

合并

支持于: 批处理, 流式处理

将左侧和右侧数据集输入合并在一起。

变换类别: 合并

更多详情请见此处。

---

K均值聚类

支持于: 批处理

K均值聚类是一种无监督的机器学习算法。它将数据集向量分组为k个聚类。k值通过计算指定范围内最小k到最大k的最佳轮廓分数来确定。k值的数量定义了应该在此范围内尝试多少个k值，包括边界。

变换类别: 其他

示例

参数值:

• 输入数据集: ri.foundry.main.dataset.a
• 最大k: 12
• 最小k: 3
• k值数量: 4
• 向量列: feature_column

输入:

输出:

更多详情请见此处。

---

保留重复项

支持于: 批处理

保留输入中的重复行。

变换类别: 其他

示例

参数值:

• 列子集: {tail_number}
• 数据集: ri.foundry.main.dataset.aggregate

输入:

输出:

更多详情请见此处。

---

按键

支持于: 流式处理

通过提供的按键列对输入进行键控。请注意，这不会重新排序数据，并且仅保持从设置键点开始的每个键的顺序。如果新键数据依赖于任何特定顺序，则重新键控数据可能不安全，因为如果之前的键控没有维护该顺序，我们无法保证该顺序。此外，如果启用了cdc（变更数据捕获）模式，则设置主键。主键定义指示哪些行是更新的，删除的，以及读取为当前视图时的顺序的列。

变换类别: 其他

更多详情请见此处。

---

左连接

支持于: 批处理

合并两个数据集，保留左表中的所有行以及仅满足右表提供条件的行。

变换类别: 合并

示例

参数值:

• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 合并条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right
• 右侧列的前缀: null

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

左查找连接

支持于: 流式处理

合并两个数据集，保留左表中的所有行以及仅匹配右表的行。

变换类别: 合并

示例

参数值:

• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 合并条件: [(tail_number, tail_number)]
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right
• 右侧列的前缀: null

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

手动输入表

支持于: 批处理, 流式处理

使用手动输入的表数据创建输出。

变换类别: 其他

示例

参数值:

• 行: [{
   airline: foundry airlines,
   flight_code: 112,
   flight_number: XB-123,
  }, {
   airline: foundry airlines,
   flight_code: 533,
   flight_number: MT-444,
  }, {
   airline: new air,
   flight_code: 934,
   flight_number: KK-123,
  }]
• 模式: Struct<flight_code, flight_number, airline>

输入:

输出:

更多详情请见此处。

---

映射合并

支持于: 批处理

使用映射数据集中的值替换源数据集中目标列的值。

变换类别: 合并

类型变量边界: T1 接受 AnyType**T2 接受 AnyType

示例

参数值:

• 输入数据集: ri.foundry.main.dataset.input
• 用于映射值的键列: flight_code
• 映射数据集: ri.foundry.main.dataset.mapping
• 目标列: [flight_no, next_flight]
• 用于映射的值: flight_number
• 假设唯一映射: null
• 默认值: unknown

输入: ri.foundry.main.dataset.input

ri.foundry.main.dataset.mapping

输出:

更多详情请见此处。

---

按名称窄联合

支持于: 批处理

在其列名的交集上联合一组数据集，所有输入数据集中不出现的列将被删除。

变换类别: 合并

示例

参数值:

• 要联合的数据集: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

输入: ri.foundry.main.dataset.a

ri.foundry.main.dataset.b

输出:

更多详情请见此处。

---

标准化列名

支持于: 批处理, 流式处理

将列名标准化为使用lower_snake_case。

变换类别: 数据准备

示例

参数值:

• 数据集: ri.foundry.main.dataset.a
• 移除特殊字符: null

输入:

输出:

更多详情请见此处。

---

数值分布

支持于: 批处理

计算指定列中数值的分布。

变换类别: 数值

更多详情请见此处。

---

外缓存合并

支持于: 流式处理

左侧和右侧输入中符合所有匹配条件并在缓存窗口内的行，以及来自两侧输入的未匹配行。

变换类别: 合并

更多详情请见此处。

---

外缓存合并

支持于: 流式处理

合并左侧和右侧数据集输入，缓存每侧事件时间最高的记录以用于后续合并。记录的处理时间用作平局决胜者。在时间结果没有值可合并的情况下，乐观地发出结果。

变换类别: 合并

更多详情请见此处。

---

外连接

支持于: 批处理

外连接提供的数据集输入，保留两个数据集中的所有行。在没有满足提供条件的行时，列将为空。

变换类别: 合并

示例

参数值:

• 左侧选择列的条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右侧选择列的条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 合并条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right
• 右侧列的前缀: null

输入: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出:

更多详情请见此处。

---

透视

支持于: 批处理

对输入数据集按一组列进行分组执行指定的聚合。必须提供用于透视的唯一值，以便在运行时之前知道输出模式。这提高了运行时的稳定性。

变换类别: 聚合, 热门

类型变量边界: T 接受 Boolean | Byte | Integer | Long | Short | String

示例

参数值:

• 聚合: [
  alias(
   alias: miles,
   expression:
  mean(
   expression: miles,
  ),
  )]
• 数据集: ri.foundry.main.dataset.a
• 分组列: [airline]
• 透视列: airport
• 透视值: [(JFK, new_york), (LHR, london)]
• 前缀或后缀别名: null

输入:

输出:

更多详情请见此处。

---

投影

支持于: 批处理, 流式处理

通过选择列或对列应用函数来变换输入数据集。

变换类别: 其他

示例

参数值:

• 列: [
  alias(
   alias: airline,
   expression: airlin,
  )]
• 数据集: ri.foundry.main.dataset.a
• 保持剩余列: false

输入:

输出:

更多详情请见此处。

---

按条件投影

支持于: 批处理, 流式处理

通过选择列或对列应用函数来变换输入数据集。

变换类别: 热门

更多详情请见此处。

---

窗口投影

支持于: 批处理, 流式处理

对窗口内的数据执行指定的聚合。每次接收到新行时发出一行。

变换类别: 聚合

更多详情请见此处。

---

重命名列

支持于: 批处理, 流式处理

重命名一组列。

变换类别: 数据准备, 热门

示例

参数值:

• 输入数据集: ri.foundry.main.dataset.a
• 重命名: [(recently_serviced, does_not_require_service)]

输入:

输出:

更多详情请见此处。

---

重新分区数据

支持于: 批处理

根据可选提供的分区列和生成的分区数量强制对数据进行洗牌。如果没有提供这些，分区将自动确定。

变换类别: 其他

更多详情请见此处。

---

汇总

支持于: 批处理

在不同粒度级别上对输入数据集执行指定的聚合，提供中间和超级聚合。

变换类别: 聚合

示例

参数值：

• 聚合: [
  alias(
   alias: mean_price,
   expression:
  mean(
   expression: price,
  ),
  )]
• 数据集: ri.foundry.main.dataset.rollupBaseCase
• 汇总列: [city, model]

输入：

输出：

查看更多详细信息此处。

---

行大小

支持：批处理

估算JVM中单行的大小。

变换类别: 其他

查看更多详细信息此处。

---

选择列

支持：批处理，流处理

从输入数据集中选择一组列。

变换类别: 流行

查看更多详细信息此处。

---

半连接

支持：批处理

左数据集和右数据集输入进行半连接。这将删除所有不符合连接条件的行。

变换类别: 合并

示例

参数值：

• 左侧选择列的条件:
  allColumns(
  
  )
• 连接条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左侧数据集: ri.foundry.main.dataset.left
• 右侧数据集: ri.foundry.main.dataset.right

输入： ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

输出：

查看更多详细信息此处。

---

排序

支持：批处理

通过选择列或对列应用函数来变换输入数据集。

变换类别: 其他

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 排序规范: [(b, DESCENDING)]

输入：

输出：

查看更多详细信息此处。

---

文本块

支持：批处理，流处理

在变换之间插入文本描述。这不会以任何方式变换输入数据。

变换类别: 其他

查看更多详细信息此处。

---

文本块

支持：批处理，流处理

在变换之间插入文本描述。这不会以任何方式变换输入数据。

变换类别: 其他

查看更多详细信息此处。

---

文本块

支持：批处理，流处理

在变换之间插入文本描述。这不会以任何方式变换输入数据。

变换类别: 其他

查看更多详细信息此处。

---

时间范围删除重复项

支持：流处理

从给定列子集的输入中删除重复行，行在配置的事件时间后将过期。晚于配置的事件时间到达的行将始终被删除。按指定的键分区。每个删除重复项将分别为不同的键列值计算。

变换类别: 其他

查看更多详细信息此处。

---

时间范围删除乱序

支持：流处理

删除键列值相同且乱序的行。如果一行会在已经接收到的具有相同键值的行之前到达，则该行是乱序的。两行的比较通过首先评估第一个排序列和方向，然后仅在平局的情况下移动到下一个排序列和方向，依此类推，直到确定顺序或所有排序列平局，在这种情况下，行是相等的。每个键的当前最大值将被存储，直到没有新行在大于或等于到期的事件时间内到达。对于一个键，当没有新行在大于或等于到期时间到达时，该键的任何新行将永远不会被删除，并且将始终存储为新的当前最大值。

变换类别: 其他

查看更多详细信息此处。

---

时间范围事件时间排序

支持：流处理

按键以升序事件时间顺序发出行，允许迟到的记录直到至少允许的迟到时间。到达允许的迟到时间加上一些小缓冲间隔之后的记录将被删除。

变换类别: 其他

查看更多详细信息此处。

---

顶部行

支持：批处理

选择每个排序分区中的顶部行。

变换类别: 聚合

示例

参数值：

• 数据集: ri.foundry.main.dataset.a
• 按列分区: {airline}
• 排序规范: [(airport, DESCENDING), (miles, ASCENDING)]
• 行数: null

输入：

输出：

查看更多详细信息此处。

---

变换媒体集

支持：批处理

使用给定的变换变换媒体集。

变换类别: 媒体

查看更多详细信息此处。

---

按名称合并

支持：批处理，流处理

在匹配列名上将一组数据集合并在一起。

变换类别: 合并

示例

参数值：

• 要合并的数据集: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

输入： ri.foundry.main.dataset.a

ri.foundry.main.dataset.b

输出：

查看更多详细信息此处。

---

反透视

支持：批处理，流处理

执行透视的反操作...

变换类别: 聚合，流行

类型变量界限: T 接受 AnyType

示例

参数值：

• 要反透视的列: [new_york_miles, london_miles]
• 数据集: ri.foundry.main.dataset.a
• 输出反透视列名: city
• 反透视值输出列名: miles

输入：

输出：

查看更多详细信息此处。

---

宽泛按名称合并

支持：批处理，流处理

在其列名的超集上将一组数据集合并在一起，当列缺失时添加null。

变换类别: 合并

示例

参数值：

• 要合并的数据集: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

输入： ri.foundry.main.dataset.a

ri.foundry.main.dataset.b

输出：

查看更多详细信息此处。

---

窗口

支持：批处理

对按一组列分组的输入数据集执行指定的聚合。

变换类别: 聚合，流行

查看更多详细信息此处。

---