注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

関数の一覧

Pipeline Builder は、異なるレベルで動作する式を提供します。これらは一般に、行レベル、集計、ジェネレーターに分類できます。

行レベルの関数は、単一行の値に対して動作します。ほとんどの式はこのカテゴリーに属します。たとえば、add です。

集計は、複数行の値を1つに集計します。たとえば、「sum」式です。

ジェネレーターは、単一行から複数の値を生成します。たとえば、「explode_array」式です。

データ加工は、テーブル全体または複数のテーブルに対して動作する関数です。たとえば、「drop」データ加工です。このドキュメントでは、利用可能な式とデータ加工の概要を説明します。

行レベルの式


絶対値

サポート対象:バッチ、高速、ストリーミング

絶対値を返します。

式のカテゴリー: 数値

型変数の制約: T に指定できる型:Numeric

出力タイプ: T

例

引数の値:

  • 式: numeric_column
numeric_column出力
0.00.0
1.11.1
-1.11.1

詳細を表示。


数値の足し算

サポート対象:バッチ、高速、ストリーミング

すべての入力列の合計を計算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式: [col_a, col_b]
col_acol_b出力
011
3-21

詳細を表示。


マップに追加または更新

サポート対象:バッチ、ストリーミング

マップ内のキーに対応する値を更新するか、新しいキーと値のペアを追加します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:AnyType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 式: 4
  • キー: k
  • マップ: map_col
map_col出力
{
 a -> 1,
 b -> 2,
 k -> 2,
}
{
 a -> 1,
 b -> 2,
 k -> 4,
}
{
 a -> 1,
 b -> 2,
}
{
 a -> 1,
 b -> 2,
 k -> 4,
}

詳細を表示。


構造体フィールドを追加または更新

サポート対象:バッチ、高速、ストリーミング

構造体のフィールドを更新するか、新しいフィールドを追加します。

式のカテゴリー: 構造体

出力タイプ: Struct

例

引数の値:

  • 式: value
  • ロケーター: airline.id
  • 構造体: struct
structvalue出力
{
 airline: {
 id: NA,
},
}
1{
 airline: {
 id: 1,
},
}
{
 airline: {
 id: FE,
},
}
2{
 airline: {
 id: 2,
},
}

詳細を表示。


日付に値を加算

サポート対象:バッチ、高速、ストリーミング

「start」から「value」日/週/月/四半期/年後の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

引数の値:

  • 日付: 2022-02-01
  • 単位: DAYS
  • 値: 2

出力: 2022-02-03

詳細を表示。


配列のすべての要素が条件を満たす

サポート対象:バッチ、ストリーミング

配列のすべての要素に対して式が true の場合に true を返します。

式のカテゴリー: 配列

出力タイプ: Boolean

例

引数の値:

  • 配列: miles
  • ブール条件:
    isNull(
     expression: element,
    )
miles出力
[ 12300, null ]false
[ null, null ]true

詳細を表示。


論理積

サポート対象:バッチ、高速、ストリーミング

指定した条件がすべて true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruetrue
truefalsefalse
falsetruefalse
falsefalsefalse

詳細を表示。


配列のいずれかの要素が条件を満たす

サポート対象:バッチ、ストリーミング

配列のいずれかの要素に対して式が true の場合に true を返します。

式のカテゴリー: 配列

出力タイプ: Boolean

例

引数の値:

  • 配列: miles
  • ブール条件:
    isNull(
     expression: element,
    )
miles出力
[ 12300, null ]true
[ 12300, 12000 ]false

詳細を表示。


逆余弦

サポート対象:バッチ、高速、ストリーミング

逆余弦関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: radians
  • 値: 1.0

出力: 0.0

詳細を表示。


逆正弦

サポート対象:バッチ、高速、ストリーミング

逆正弦関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: radians
  • 値: 0.0

出力: 0.0

詳細を表示。


逆正接

サポート対象:バッチ、高速、ストリーミング

逆正接関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 値: angle
angle出力
-1.0-45.0
0.00.0
1.045.0

詳細を表示。


2引数の逆正接

サポート対象:バッチ、高速、ストリーミング

原点から点 (x, y) に向かう半直線と x 軸の正の方向との間の角度 θ を、−π<θ<=π の範囲で返します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • X: x
  • Y: y
yx出力
0.00.00.0
1.00.090.0
0.0-1.0180.0
-1.00.0-90.0

詳細を表示。


面積

サポート対象:バッチ、ストリーミング

地球を球体と近似して、ジオメトリの面積を平方メートル単位で計算します。ラインストリングまたは点の場合は、0になります。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を表示。


配列に追加

サポート対象:バッチ、高速、ストリーミング

配列の指定したインデックスに値を追加します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: numbers
  • インデックス: 1
  • 値: 1
numbers出力
[ 3, 5 ][ 1, 3, 5 ]
[ 2 ][ 1, 2 ]
[ ][ 1 ]

詳細を表示。


配列の直積

サポート対象:バッチ、ストリーミング

配列の直積を計算します。

式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値:

  • 式: [first, second]
firstsecond出力
[ 1, 2 ][ 3, 4 ][ {
 first: 1,
 second: 3,
}, {
 first: 1,
 *second...

詳細を表示。


配列の連結

サポート対象:バッチ、高速、ストリーミング

指定した配列を、重複を排除せずに単一の配列に連結します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 4, 5 ]]

出力: [ 1, 2, 3, 4, 5 ]

詳細を表示。


配列に値を含む

サポート対象:バッチ、高速、ストリーミング

配列に値が含まれる場合に true を返します。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 配列: part_ids
  • 値: BRR-123
part_ids出力
[ AWE-112, BRR-123 ]true
[ AWE-222, ABC-543 ]false

詳細を表示。


配列に null を含む

サポート対象:バッチ、高速、ストリーミング

array に null が含まれる場合に true を返します。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: part_ids
part_ids出力
[ AWE-112, BRR-123, null ]true
[ AWE-222, ABC-543 ]false

詳細を表示。


配列の差集合

サポート対象:バッチ、高速、ストリーミング

left 配列のうち、right 配列に含まれない一意の要素をすべて返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 左の配列: [ 1, 2, 3 ]
  • 右の配列: [ 2, 3, 4 ]

出力: [ 1 ]

詳細を表示。


配列の重複を削除

サポート対象:バッチ、高速、ストリーミング

配列から重複を削除し、一意の値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:ComparableType

出力タイプ: Array<T>

例

引数の値:

  • 式: [ 1, 1, 2, 3 ]

出力: [ 1, 2, 3 ]

詳細を表示。


配列の要素

サポート対象:バッチ、高速、ストリーミング

入力配列の指定された位置にある要素を返します。配列の範囲外の位置を指定すると、null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 配列: [ 10, 11, 12 ]
  • 位置: 1

出力: 10

詳細を表示。


配列の要素が一意

サポート対象:バッチ、高速、ストリーミング

配列の要素が一意の場合に true を返し、それ以外の場合は false を返します。複数の null は等しいものとして扱われます。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: part_ids
part_ids出力
[ ABC-123, DCE-123, EFG-123 ]true
[ ABC-123, ABC-123, EFG-123 ]false

詳細を表示。


配列の平坦化

サポート対象:バッチ、高速、ストリーミング

入力されたネストされた配列の最初のネスト階層内にある要素を結合して、1つの配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: array
array出力
[ [ 1, 2, 3 ], [ 4, 5, 6 ] ][ 1, 2, 3, 4, 5, 6 ]

詳細を表示。


配列の積集合

サポート対象:バッチ、高速、ストリーミング

重複を削除し、配列のリストの積集合を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: [ 3 ]

詳細を表示。


配列の最大値

サポート対象:バッチ、高速、ストリーミング

配列列の最大値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:ComparableType

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: 3

詳細を表示。


配列の最小値

サポート対象:バッチ、高速、ストリーミング

配列列の最小値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:ComparableType

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: 1

詳細を表示。


配列内の位置

サポート対象:バッチ、高速、ストリーミング

指定された配列内で「value」が最初に出現する位置/インデックスを返します。値が見つからない場合、またはいずれかの引数が null の場合は、null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Long

例

引数の値:

  • 配列: [ 10, 11, 12 ]
  • 値: 10

出力: 1

詳細を表示。


配列から削除

サポート対象:バッチ、高速、ストリーミング

指定された配列から、指定された「value」をすべて削除した配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: [ 1, 2, 3 ]
  • 値: 1

出力: [ 2, 3 ]

詳細を表示。


配列の繰り返し

サポート対象:バッチ、高速、ストリーミング

array の内容を value 回連結した配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: [ 1, 2 ]
  • 値: 2

出力: [ 1, 2, 1, 2 ]

詳細を表示。


配列の反転

サポート対象:バッチ、高速、ストリーミング

「array」内の要素の順序を反転します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: [ 3, 2, 1 ]

詳細を表示。


配列の並べ替え

サポート対象:バッチ、高速、ストリーミング

指定された入力配列を並べ替えた配列を返します。すべての null 値は、降順の配列では末尾に、昇順の配列では先頭に配置されます。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:ComparableType

出力タイプ: Array<T>

例

引数の値:

  • ソート順: ASCENDING
  • 式: [ 5, 3, 6 ]

出力: [ 3, 5, 6 ]

詳細を表示。


構造体キーによる配列の並べ替え

サポート対象:バッチ、ストリーミング

入力された構造体の配列を、指定された構造体キーの値で並べ替えた配列を返します。

式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値:

  • 入力配列: [ {
     age: 20,
    }, {
     age: 10,
    }, {
     age: 30,
    } ]
  • 並べ替えキー: [(age, ASCENDING)]

出力: [ {
 age: 10,
}, {
 age: 20,
}, {
 age: 30,
} ]

詳細を表示。


配列の和集合

サポート対象:バッチ、高速、ストリーミング

重複を削除し、配列のリストの和集合を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: [ 1, 2, 3, 4 ]

詳細を表示。


配列間に共通要素がある

サポート対象:バッチ、高速、ストリーミング

指定された配列間に共通要素が1つ以上あるかを確認します。

式のカテゴリー: 配列、ブール値

型変数の制約: T に指定できる型:AnyType

出力タイプ: Boolean

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: true

詳細を表示。


配列の zip

サポート対象:バッチ、高速、ストリーミング

指定された配列のリストを、構造体の配列に結合します。n 番目の構造体には、入力配列の n 番目の値がすべて含まれます。

式のカテゴリー: 配列

出力タイプ: 配列<構造体>

例

引数の値:

  • 式: [a1, a2]
a1a2出力
[ 1, 2, 3 ][ 4, 5, 6 ][ {
 a1: 1,
 a2: 4,
}, {
 a1: 2,
 a2: 5,
}, {
 a1: 3,
 a2: 6,
} ]

詳細を表示。


Base64 を文字列にデコード

サポート対象:バッチ、高速、ストリーミング

指定された式を Base64 デコードします。バイナリには UTF-8 エンコーディングを使用します。

式のカテゴリー: バイナリ、型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: encoded
encoded出力
Zm9vfoo
YmFybar

詳細を表示。


Base64 デコード

サポート対象:バッチ、高速、ストリーミング

指定された式を Base64 デコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: バイナリ

例

引数の値:

  • 式: city_base64
city_base64出力
TG9uZG9uTG9uZG9u
Q29wZW5oYWdlbg==Q29wZW5oYWdlbg==
TmV3IFlvcms=TmV3IFlvcms=

詳細を表示。


Base64 エンコード

サポート対象:バッチ、高速、ストリーミング

指定された式を Base64 エンコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: 文字列

例

引数の値:

  • 式: city
city出力
LondonTG9uZG9u
CopenhagenQ29wZW5oYWdlbg==
New YorkTmV3IFlvcms=

詳細を表示。


左ビットシフト

サポート対象:バッチ、ストリーミング

指定された値を指定のビット数だけ左にシフトします。

式のカテゴリー: バイナリ

型変数の制約: E に指定できる型:Byte | Integer | Long | Short

出力タイプ: E

例

引数の値:

  • 式: 1
  • ビット数: 1

出力: 2

詳細を表示。


右ビットシフト

サポート対象:バッチ、ストリーミング

指定された値を指定のビット数だけ右にシフトします。

式のカテゴリー: バイナリ

型変数の制約: E に指定できる型:Byte | Integer | Long | Short

出力タイプ: E

例

引数の値:

  • 式: 1
  • ビット数: 1

出力: 0

詳細を表示。


H3 インデックスのバッファー

サポート対象:バッチ、高速、ストリーミング

H3 インデックスの配列から距離 k のバッファーを作成します。

式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

詳細を表示。


到達点を計算

サポート対象:バッチ、高速、ストリーミング

始点、針路、距離を基に、指定された経路上の到達点を計算します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 針路: course
  • 距離: distance
  • 始点: point_a
  • 計算方法: GREAT_CIRCLE
point_acoursedistance出力
{
 latitude: 48.8567,
 longitude: 2.3508,
}
225.032000.0{
 latitude: 48.65279552300661,
 longitude: 2.0427666779658806,
}

詳細を表示。


ハバーサイン距離を計算

サポート対象:バッチ、高速、ストリーミング

緯度と経度のペアで表される2点間のハバーサイン距離をメートル単位で計算します。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 点 a: point_a
  • 点 b: point_b
point_apoint_b出力
{
 latitude: 41.507483,
 longitude: -99.436554,
}
{
 latitude: 38.504048,
 longitude: -98.315949,
}
347328.82778977347
{
 latitude: 22.308919,
 longitude: 113.914603,
}
{
 latitude: -33.946111,
 longitude: 151.177222,
}
7393894.00134442

詳細を表示。


Case

サポート対象:バッチ、高速、ストリーミング

条件に基づいて分岐を選択します。

式のカテゴリー: よく使う

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • デフォルト: Yes
  • ブランチ: [(
    lessThan(
     left: miles,
     right: 15000,
    ), No)]
miles出力
20053Yes
10210No
34120Yes

詳細を表示。


キャスト

サポート対象:バッチ、高速、ストリーミング

式を指定されたデータ型にキャストします。

式のカテゴリー: 型変換、よく使う

型変数の制約: C に指定できる型:AnyType

出力タイプ: C

例

説明: Long から文字列へのキャスト

引数の値:

  • 式: 1234
  • データ型: 文字列

出力: 1234

詳細を表示。


メディアスキーマをキャスト

サポート対象:

Media Reference を特定のメディアスキーマおよび形式にキャストします。これは、入力メディアのスキーマが汎用(マルチモーダル)であっても、実際の内容が特定の種類(PNG 画像など)であるとわかっている場合に役立ちます。キャストによって型メタデータを絞り込み、特定のスキーマのデータ型を必要とする下流の操作ができるようにします。

式のカテゴリー: メディア

出力タイプ: Media Reference

詳細を表示。


切り上げ

サポート対象:バッチ、高速、ストリーミング

指定された小数値の切り上げ値を返します。

式のカテゴリー: 数値

出力タイプ: Decimal | Long

例

引数の値:

  • 式: 10.123

出力: 11

詳細を表示。


タイムスタンプのタイムゾーンを変更

サポート対象:バッチ、高速

タイムスタンプのタイムゾーンを変更します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • 出力タイムゾーン: America/Chicago
  • Timestamp: 2020-04-28T05:09:00Z
  • 入力タイムゾーン: US/Eastern

出力: 2020-04-28T04:09:00Z

詳細を表示。


文字列を文字単位で置換

サポート対象:バッチ、高速、ストリーミング

入力列の各文字のうち、一致文字列に含まれる文字を、置換文字列の対応する文字に置き換えます。一致文字列が置換文字列より長い場合、一致文字列の末尾にある対応する置換文字のない文字は削除されます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: translate
  • 一致文字列: rnlt
  • 置換文字列: 123

出力: 1a2s3ae

詳細を表示。


文字列をチャンクに分割

サポート対象:バッチ、ストリーミング

指定したサイズと区切り文字で文字列をチャンクに分割します。

式のカテゴリー: 文字列

出力タイプ: 配列<文字列>

例

引数の値:

  • 式: string
  • チャンクの重複: null
  • チャンクサイズ: 10
  • 区切り文字を保持: null
  • 区切り文字: null
string出力
hello[ hello ]
hello world. the quick brown fox jumps over the fence.[ hello, world., the quick, brown fox, jumps, over the, fence. ]
hello world.
the quick brown fox
jumps over the fence.
[ hello, world., the quick, brown fox, jumps, over the, fence. ]
hello world.
the quick brown fox
jumps over the fence.
[ hello, world., the quick, brown fox, jumps, over the, fence. ]

詳細を表示。


Cipher で復号

サポート対象:バッチ、高速、ストリーミング

Cipher を使用して式を復号します。

式のカテゴリー: その他

出力タイプ: 文字列

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-decrypt
  • 式: string
string出力
CIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHERbar

詳細を表示。


Cipher で暗号化

サポート対象:バッチ、高速、ストリーミング

Cipher を使用して式を暗号化します。

式のカテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-encrypt
  • 式: string
string出力
barCIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHER

詳細を表示。


Cipher でハッシュ化

サポート対象:バッチ、高速、ストリーミング

Cipher を使用して式をハッシュ化します。

式のカテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-hash
  • 式: string
string出力
barCIPHER::ri.bellaso.main.cipher-channel.1::c70a14f5cc57c940e3265045a5554d641bd549ee27a571a05cdbc75c77762eb86b1144c12f1bb7811a0bcec08b2f143989c44022e4664f615d6885ad640332cb::CIPHER

詳細を表示。


文字列をクリーンアップ

サポート対象:バッチ、高速、ストリーミング

式にクリーンアップ操作を適用します。

式のカテゴリー: データ準備、文字列

出力タイプ: 文字列

例

引数の値:

  • クリーンアップ操作: {trim}
  • 式: hello world

出力: hello world

詳細を表示。


H3 インデックスのセットを圧縮

サポート対象:バッチ、高速、ストリーミング

可能な場合、H3 インデックスを、異なる解像度が混在するサブセットに圧縮します。入力インデックスの解像度がすべて同じ場合、逆の演算である圧縮解除を実行すると、圧縮前と同じインデックスのセットになることが保証されます。入力インデックスのいずれかが無効な場合、このデータ加工は null を返します。出力インデックスは昇順に並べ替えられます。

式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

例

引数の値:

  • H3 インデックス: h3_set
h3_set出力
[ 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffffff, 87754a934ffff...[ 86754e64fffffff, 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffff...

詳細を表示。


文字列を連結

サポート対象:バッチ、高速、ストリーミング

指定した区切り文字で文字列のリストを連結します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: [hello, world]
  • いずれかの入力が null の場合は null を出力: null
  • セパレーター: _

出力: hello_world

詳細を表示。


委任メディアの Gotham 識別子(GID)を構築

サポート対象:バッチ、ストリーミング

構成要素から有効な委任メディアの Gotham 識別子(GID)を構築する式です。結果が1024文字を超える場合、null の行を生成します。

式のカテゴリー: その他

出力タイプ: 委任メディアの Gotham 識別子(GID)

例

引数の値:

  • メディアロケーター: locator
  • メディアタイプ: mediaType
  • 生成元インスタンス: invalidUuid
mediaTypelocator出力
testaudiotype空の文字列null

詳細を表示。


DMS を Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

ユーザーが指定した書式に従って、度分秒(DMS)形式の地理空間座標文字列を Geopoint に変換します。デフォルトの書式は DDD*°MM*'SS*"H と DDD*MMSSssH です。書式は順番に適用され、最初に一致した書式の結果が返されます。独自の書式を記述する方法については、書式設定ガイドを参照してください。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 座標: coordinates
  • 書式: null
coordinates出力
078261594N075220923E{
 緯度: 78.43776111111112,
 経度: 75.36923055555555,
}
046115095S069524119W{
 緯度: -46.19748611111111,
 経度: -69.87810833333333,
}
023°45'55"N 069°52'11"W{
 緯度: 23.76527777777777,
 経度: -69.86972222222222,
}
-123°55'55"N 069°53'00"W{
 緯度: -123.93194444444445,
 経度: -69.88333333333334,
}
123456789N23456789E{
 緯度: 123.76885833333333,
 経度: 23.768858333333334,
}

詳細を表示。


Geopoint を DMS に変換

サポート対象:バッチ、高速、ストリーミング

ユーザーが選択した書式に従って、Geopoint を度分秒(DMS)形式の地理空間座標文字列に変換します。使用できる書式は DDD°MM'SS"H と DDDMMSSssH です。

式のカテゴリー: 地理空間

出力タイプ: 文字列

詳細を表示。


Geopoint を Geohash に変換

サポート対象:バッチ、高速、ストリーミング

Geopoint を、その Geopoint を含む、指定した精度の base32 エンコードされた Geohash に変換します。Geohash の詳細については、https://en.wikipedia.org/wiki/Geohash を参照してください。

式のカテゴリー: 地理空間

出力タイプ: Geohash

詳細を表示。


Geopoint を MGRS に変換

サポート対象:バッチ、高速、ストリーミング

WGS84 座標系(EPSG:4326)に従う Geopoint を MGRS(軍用グリッド参照システム)座標に変換します。出力 MGRS は、5桁の精度でスペース区切りの形式になります。

式のカテゴリー: 地理空間

出力タイプ: MGRS

例

引数の値:

  • 式: geoPoint
geoPoint出力
{
 latitude -> 88.99999659707431,
 longitude -> 0.9996456505181999,
}
Z AF 01937 88990

詳細を表示。


Geopoint をジオメトリに変換

サポート対象:バッチ、高速、ストリーミング

Geopoint をポイント型の GeoJSON に変換します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を表示。


H3 インデックスを Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

H3 インデックスを、対応する H3 六角形の中心を表す Geopoint に変換します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を参照。


MGRS を Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

MGRS(軍用グリッド参照システム)座標を、WGS84 座標系(EPSG:4326)に従う Geopoint に変換します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 式: mgrs
mgrs出力
ZAF0193788990{
 緯度:88.99999659707431,
 経度:0.9996456505181999,
}

詳細を参照。


文字列を日付に変換

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定された文字列から日付を返します。デフォルトの書式は yyyy-MM-dd と yyyy-MM-dd'T'HH:mm:ss.SSSXXX です。書式は順番に適用され、最初に一致した書式の結果が返されます。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: 日付書式は任意です

引数の値:

  • 文字列: 2020-04-28
  • 書式: null

出力: 2020-04-28

詳細を参照。


文字列をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定された文字列からタイムスタンプを返します。デフォルトの書式は yyyy-MM-dd'T'HH:mm:ss.SSSXXX と yyyy-MM-dd です。書式は順番に適用され、最初に一致した書式の結果が返されます。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

引数の値:

  • 文字列: timestamp
  • 書式: [dd-yyyy-MM HH:mm, yyyy-MM-dd]
  • 午前/午後の時のデフォルト: null
  • タイムゾーン: null
timestamp出力
28-2020-04 10:09:002020-04-28T10:09:00Z
2020-04-282020-04-28T00:00:00Z

詳細を参照。


基数を変換

サポート対象:バッチ、ストリーミング

数値(またはその文字列表現)を、ある基数から別の基数に変換します。

式のカテゴリー: バイナリ、型変換、数値

出力タイプ: 文字列

例

引数の値:

  • 式: 4A801
  • 変換元の基数: 16
  • 変換先の基数: 10

出力: 305153

詳細を参照。


角度の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 地理空間、数値

出力タイプ: Double

詳細を参照。


距離の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Double

詳細を参照。


時間の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 日時

出力タイプ: Double

詳細を参照。


重量の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Double

詳細を参照。


データを JSON に変換

サポート対象:バッチ、高速、ストリーミング

入力を JSON 文字列に変換します。

式のカテゴリー: ファイル操作、文字列

出力タイプ: 文字列

例

引数の値:

  • 入力: struct
struct出力
{
 airline: {
 id: NA,
},
}
{"airline":{"id":"NA"}}

詳細を参照。


オントロジーの Geopoint から変換

サポート対象:バッチ、高速、ストリーミング

オントロジーの Geopoint を通常の Geopoint に変換します。オントロジーの Geopoint は、'{lat},{lon}' 形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。通常の Geopoint は、{"longitude": {long},"latitude": {lat}} 形式の構造体です。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 式: geopoint
geopoint出力
-20.0000000,80.0000000{
 緯度:-20.0,
 経度:80.0,
}
38.9031000,-77.0599000{
 緯度:38.9031,
 経度:-77.0599,
}
41.9876543,-99.1234568{
 緯度:41.9876543,
 経度:-99.1234568,
}

詳細を参照。


16進数から変換

サポート対象:バッチ、高速

hex の逆操作です。文字の各ペアを16進数として解釈し、その数値のバイト表現に変換します。

式のカテゴリー: 数値、文字列

出力タイプ: バイナリ

例

引数の値:

  • 式: string_hex
string_hex出力
68656C6C6FaGVsbG8=
3039MDk=
FFFFFFFFFFFFCFC7////////z8c=
4C6F6E646F6ETG9uZG9u

詳細を参照。


16進数から文字列に変換

サポート対象:バッチ、高速、ストリーミング

hex の逆操作で、文字の各ペアを16進数として解釈し、その数値のバイト表現を UTF-8 文字列に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string_hex
string_hex出力
68656C6C6Fhello
4C6F6E646F6ELondon

詳細を参照。


地心座標を WGS 84 測地座標に変換

サポート対象:バッチ、ストリーミング

地心直交座標(地球中心・地球固定座標、または ECEF 座標とも呼ばれます)を測地極座標に変換します。高度は楕円体からの高さとして定義されます。いずれかの座標が null の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: 高度付き Geopoint

例

引数の値:

  • X 座標: x_coordinate
  • Y 座標: y_coordinate
  • Z 座標: z_coordinate
x_coordinatey_coordinatez_coordinate出力
0.06378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 90.0,
},
}
0.0-6378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -90.0,
},
}
-6378137.00.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 180.0,
},
}
-6378137.0-0.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -180.0,
},
}
0.00.06356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 90.0,
 longitude -> 0.0,
},
}
0.00.0-6356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> -90.0,
 longitude -> 0.0,
},
}

詳細を参照。


レガシー OffsetDateTime を変換

サポート対象:バッチ

レガシー OffsetDateTime 列を、すべての Foundry パイプラインで使用できるタイムスタンプに変換します。タイムスタンプは UTC で返されます。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

詳細を参照。


ラインストリングをポリゴンに変換

サポート対象:バッチ、高速、ストリーミング

ラインストリングのジオメトリをポリゴンのジオメトリに変換します。この式は、ラインストリングのジオメトリが閉じていることを前提としています。閉じていない場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: polygon_points
polygon_points出力
{"type":"LineString","coordinates":[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]}{"type":"Polygon","coordinates":[[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]]}

詳細を参照。


タイムスタンプを UTC から変換

サポート対象:バッチ、高速、ストリーミング

タイムスタンプを UTC から指定されたタイムゾーンに変換します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • タイムゾーン: EST
  • Timestamp: 2020-04-28T10:09:00Z

出力: 2020-04-28T05:09:00Z

詳細を参照。


タイムスタンプを UTC に変換

サポート対象:バッチ、高速、ストリーミング

指定されたタイムゾーンに基づいて、タイムスタンプを UTC に変換します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • タイムゾーン: EST
  • Timestamp: 2020-04-28T10:09:00Z

出力: 2020-04-28T15:09:00Z

詳細を参照。


オントロジーの Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

Geopoint を、地理インデックス化済みの列(geohash 型の列)でオントロジーが受け入れる文字列に変換します。オントロジーの Geopoint は「{lat},{lon}」形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 の条件を満たします。

式のカテゴリー: 地理空間

出力タイプ: オントロジーの Geopoint

例

引数の値:

  • 式: point
point出力
{
 緯度: -20.0,
 経度: 80.0,
}
-20.0000000,80.0000000
{
 緯度: 38.9031,
 経度: -77.0599,
}
38.9031000,-77.0599000
{
 緯度: 41.987654321,
 経度: -99.123456789,
}
41.9876543,-99.1234568
nullnull

詳細を参照。


16進数に変換

サポート対象:バッチ、高速、ストリーミング

指定された式の16進数値を計算します。

式のカテゴリー: 数値、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: city_hex
city_hex出力
TG9uZG9u4C6F6E646F6E

詳細を参照。


8進数に変換

サポート対象:バッチ、高速、ストリーミング

指定された式の8進数値を計算します。

式のカテゴリー: 数値

出力タイプ: 文字列

例

引数の値:

  • 式: 12345

出力: 30071

詳細を参照。


コサイン

サポート対象:バッチ、高速、ストリーミング

角度のコサインを計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.01.0
90.00.0
180.0-1.0

詳細を参照。


Geopoint を作成

サポート対象:バッチ、高速、ストリーミング

緯度の列と経度の列から Geopoint 列を作成します。緯度パラメーターが-90以上90以下であり、経度パラメーターが-180以上180以下であることを検証し、条件を満たさない場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を参照。


座標系から Geopoint を作成

サポート対象:バッチ、高速、ストリーミング

変換元の座標系の座標ペアを受け取り、WGS 84 の緯度と経度の値に変換します。座標系(座標参照系または空間参照系とも呼ばれます)は、地球上の点の位置を特定するためのさまざまな体系を表し、多くの場合、EPSG などの標準化されたデータベースのキーで識別されます。指定された投影法に対応していない場合、またはいずれかの座標が null の場合は null を返します。この式は上級ユーザー向けです。座標系を扱う必要がない場合は、「Geopoint を作成」式の使用を推奨します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 変換元の座標系: EPSG:32618
  • X 座標: x_coordinate
  • Y 座標: y_coordinate
x_coordinatey_coordinate出力
322190.22339529654306505.703879281{
 latitude -> 38.88944258,
 longitude -> -77.05014581,
}
323243.13615360594318298.06539618{
 latitude -> 38.99585379643137,
 longitude -> -77.04105678275415,
}
407063.634653000164764873.719585404{
 latitude -> 43.03086518778498,
 longitude -> -76.14077251822197,
}

詳細を参照。


空の配列を作成

サポート対象:バッチ、高速、ストリーミング

指定されたデータ型の空の配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • データ型: 文字列

出力: [ ]

詳細を参照。


配列を作成

サポート対象:バッチ、高速、ストリーミング

指定された列から配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [1, 2, 3]

出力: [ 1, 2, 3 ]

詳細を参照。


楕円ジオメトリを作成

サポート対象:バッチ、高速、ストリーミング

指定された地理座標を中心とするポリゴンで楕円を近似します。点間の距離は、地球の表面を近似する WGS84 楕円体の表面に沿って計算されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を参照。


測地線のラインストリングを作成

サポート対象:バッチ、ストリーミング

2点間の測地線を作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を参照。


地理時系列の参照プロパティを作成

サポート対象:バッチ、高速、ストリーミング

地理時系列の参照プロパティとして使用するオブジェクトのプロパティタイプに必要な値を生成します。このプロパティタイプは、一連の地理時系列の観測への参照と、その系列を含む地理時系列統合の RID で構成されます。

式のカテゴリー: 地理空間、その他、文字列

出力タイプ: 地理時系列の参照プロパティ

詳細を参照。


ラインストリングジオメトリを作成

サポート対象:バッチ、ストリーミング

指定されたポイントから GeoJSON のラインストリングジオメトリを作成します。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型:Struct<longitude, latitude>

出力タイプ: ジオメトリ

例

引数の値:

  • ポイント: points
points出力
[ {
 緯度: 10.0,
 経度: 0.0,
}, {
 緯度: 10.0,
 経度: 10.0,
} ]
{"type":"LineString","coordinates":[[0.0,10.0],[10.0,10.0]]}
[ {
 緯度: 10.0,
 経度: 10.0,
}, {
 緯度: 20.0,<...
{"type":"LineString","coordinates":[[10.0,10.0],[20.0,20.0],[30.0,30.0]]}
[ {
 緯度: 0.0,
 経度: 179.0,
}, {
 緯度: 0.0,
 経度: 181.0,
} ]
{"type":"MultiLineString","coordinates":[[[179.0,0.0],[180.0,0.0]],[[-180.0,0.0],[-179.0,0.0]]]}
[ {
 緯度: 0.0,
 経度: -179.0,
}, {
 緯度: 0.0,
 経度: -181.0,
} ]
{"type":"MultiLineString","coordinates":[[[180.0,0.0],[179.0,0.0]],[[-179.0,0.0],[-180.0,0.0]]]}

詳細を参照。


配列からマップを作成

サポート対象:バッチ、高速、ストリーミング

配列を zip して対応付けたキーと値のペアからマップを返します。キーとして null 値は許可されず、使用すると実行時エラーが発生します。

式のカテゴリー: 配列、マップ

型変数の制約: K に指定できる型:AnyType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • キーの配列: [ 1, 2, 3 ]
  • 値の配列: [ 4, 5, 6 ]

出力: {
 1 -> 4,
 2 -> 5,
 3 -> 6,
}

詳細を参照。


null 値を作成

サポート対象:バッチ、高速、ストリーミング

指定されたデータ型の null 値を返します。

式のカテゴリー: データ準備

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • データ型: 文字列

出力: null

詳細を参照。


レンジファンジオメトリを作成

サポート対象:バッチ、ストリーミング

レンジファンをポリゴンとして近似します。このポリゴンは、原点からのハーサイン距離が最小半径と最大半径の間にあり、原点からの方位が指定された方位パラメーターを中心とする角度範囲内にあるすべてのポイントの領域を指定します。レンジファンの左辺と右辺は、地表を近似する WGS84 楕円体の表面に沿って計算された測地線として描画されます。範囲が180度を超え、かつ180度経線を横切る場合、または最大半径が地球の円周の半分を超える場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を参照。


構造体列を作成

サポート対象:バッチ、高速、ストリーミング

複数の列を1つの構造体列にまとめます。

式のカテゴリー: 構造体

出力タイプ: 構造体

例

引数の値:

  • 構造体の要素: [tail_number, id]
tail_numberid出力
MT-1121{
 ID: 1,
 tail_number: MT-112,
}
XB-1232{
 ID: 2,
 tail_number: XB-123,
}
PA-6543{
 ID: 3,
 tail_number: PA-654,
}

詳細を参照。


時系列参照値を作成

サポート対象:バッチ、ストリーミング

時系列参照値を作成します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 系列識別子: seriesId
  • 時系列同期 RID: ri.time-series-catalog.main.sync.11111111
seriesId出力
seriesOne{"seriesId":"seriesOne","syncRid":"ri.time-series-catalog.main.sync.11111111"}

詳細を参照。


現在の日付

サポート対象:バッチ、高速、ストリーミング

計算を開始した時点の現在の日付を返します。

式のカテゴリー: 日時

出力タイプ: 日付

詳細を参照。


現在のタイムスタンプ

サポート対象:バッチ、高速、ストリーミング

計算を開始した時点の現在のタイムスタンプを返します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

詳細を参照。


日付シーケンス

サポート対象:バッチ、高速

開始日から終了日までの範囲の日付を含む配列を作成します。

式のカテゴリー: 日時

出力タイプ: Array<Date>

例

引数の値:

  • 終了日: last_planned_flight
  • 開始日: first_planned_flight
  • ステップの単位: DAYS
  • ステップサイズ: null
first_planned_flightlast_planned_flight出力
2023-01-012023-01-03[ 2023-01-01, 2023-01-02, 2023-01-03 ]
2023-01-312023-02-02[ 2023-01-31, 2023-02-01, 2023-02-02 ]
2023-02-282023-03-01[ 2023-02-28, 2023-03-01 ]

詳細を参照。


デコード

サポート対象:バッチ、高速、ストリーミング

指定された文字セットを使用して、指定された式をデコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: 文字列

例

引数の値:

  • 文字セット: UTF_16
  • 式: city
city出力
/v8ATABvAG4AZABvAG4=London
/v8AQwBvAHAAZQBuAGgAYQBnAGUAbg==Copenhagen
/v8ATgBlAHcAIABZAG8AcgBrNew York

詳細を参照。


Geobuf を GeoJSON としてデコード

サポート対象:バッチ、ストリーミング

Geobuf ジオメトリを GeoJSON としてデコードします。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を参照。


数値を除算

サポート対象:バッチ、高速、ストリーミング

ある数値を別の数値で除算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 左: col_a
  • 右: col_b
col_acol_b出力
422.0
1125.5

詳細を参照。


編集距離

サポート対象:バッチ、高速、ストリーミング

2つの文字列間の編集距離を計算します。レーベンシュタイン距離、挿入・削除距離、ダメラウ・レーベンシュタイン距離をサポートします。

式のカテゴリー: 距離測定、文字列

出力タイプ: Double | Integer

例

説明: レーベンシュタイン距離を使用して計算した文字列の編集距離

引数の値:

  • 距離関数: levenshtein
  • 大文字と小文字を区別しない: false
  • 左: left
  • 右: right
  • 距離を正規化: false
leftright出力
hellohello0
hallohello1
hlelohello2
hellohEllO2
hellohello, world!8
hellofarewell6

詳細を参照。


GeoJSON を Geobuf としてエンコード

サポート対象:バッチ、高速、ストリーミング

GeoJSON ジオメトリを Geobuf としてエンコードします。

式のカテゴリー: 地理空間

出力タイプ: Geobuf

詳細を参照。


指定値で終わる

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: ブール値

例

引数の値:

  • 式: Hello World
  • 大文字と小文字を区別しない: true
  • 値: world

出力: true

詳細を参照。


エポックミリ秒を日付に変換

サポート対象:バッチ、高速、ストリーミング

エポックミリ秒を UTC の日付に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: ミリ秒単位のエポックタイムスタンプを日付型に変換できます。

引数の値:

  • 式: 1673964111000

出力: 2023-01-17

詳細を参照。


エポックミリ秒をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

エポックミリ秒を UTC のタイムスタンプに変換します。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

説明: ミリ秒単位のエポックタイムスタンプをタイムスタンプ型に変換できます。

引数の値:

  • 式: 1673964111000

出力: 2023-01-17T14:01:51Z

詳細を参照。


エポック秒を日付に変換

サポート対象:バッチ、高速、ストリーミング

エポック秒を UTC の日付に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: エポックタイムスタンプを日付型に変換できます。

引数の値:

  • 式: 1673964111

出力: 2023-01-17

詳細を参照。


エポック秒をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

エポック秒を UTC のタイムスタンプに変換します。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

説明: エポックタイムスタンプをタイムスタンプ型に変換できます。

引数の値:

  • 式: 1673964111

出力: 2023-01-17T14:01:51Z

詳細を参照。


等しい

サポート対象:バッチ、高速、ストリーミング

左右が等しい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: a
  • 右: b
  • Null セーフ: true
ab出力
11true
10false

詳細を参照。


指数関数

サポート対象:バッチ、高速、ストリーミング

列の指数関数 e^x を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 2.0

出力: 7.38905609893

詳細を参照。


正規表現に一致するすべての文字列を抽出

サポート対象:バッチ、高速、ストリーミング

正規表現に一致するすべての文字列を配列に抽出します。

式のカテゴリー: 正規表現、文字列

出力タイプ: Array<String>

例

説明: 各コードの先頭2文字を抽出します。

引数の値:

  • 式: MT-112, XB-967
  • グループ: 1
  • パターン: (\w\w)(-)

出力: [ MT, XB ]

詳細を参照。


音声メタデータを抽出

サポート対象:バッチ

音声ファイルからメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [書式, 仕様, バイト]
Media Reference出力
{"mimeType":"audio","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 bytes: 156700,
 format: audio,
 specification: {
 **b...

詳細を参照。


スプレッドシートの内容を JSON 形式で抽出

サポート対象:バッチ

スプレッドシートのすべてのシートから内容を JSON 形式で抽出します。

式のカテゴリー: メディア

出力タイプ: Map<String, Struct>

詳細を参照。


日付の一部を抽出

サポート対象:バッチ、高速、ストリーミング

年や曜日など、日付の一部を抽出します。

式のカテゴリー: 日時

出力タイプ: Integer

詳細を参照。


ドキュメントメタデータを抽出

サポート対象:バッチ、高速

ドキュメントからメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [ドキュメントの作成者, ページ数, ドキュメントのタイトル]
Media Reference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 author: Jane Doe,
 page_count: 23,
 title: Document Title,
}

詳細を参照。


メール本文を抽出

サポート対象:バッチ

メールのメディアアイテムから、メール本文をプレーンテキストまたは HTML として抽出します。

式のカテゴリー: メディア

出力タイプ: 文字列

詳細を参照。


画像メタデータを抽出

サポート対象:バッチ、ストリーミング

画像からメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [属性, バンド, バイト, 寸法, 書式, 地理メタデータ, ICC プロファイル, EXIF 画像位置]
Media Reference出力
{"mimeType":"image/tiff","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 attributes: {
 outer_key1 -> {
 inner_key1 -> inner_value1,
},
...

詳細を参照。


PDF からレイアウトを考慮した内容を抽出

サポート対象:バッチ、高速

PDF ページからレイアウトを考慮した内容を抽出します。境界ボックス、テキスト内容、ブロックの種類を含む構造化されたブロックを返します。OCR モードと出力形式の設定をサポートします。

式のカテゴリー: メディア

出力タイプ: Array<Array<Struct<block_index, block_id, page, block_type, content, bounding_box, languages<String>, confidence>>>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 抽出方法: AUTO
  • 出力形式: TEXT
  • 開始ページ: Start Page
mediaReference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ [ {
 block_id: block-0,
 block_index: 0,
 block_type: Text,
&... ]

詳細を参照。


画像からレイアウトを考慮した内容を抽出

サポート対象:バッチ、高速

画像からレイアウトを考慮した内容を抽出します。境界ボックス、テキスト内容、ブロックの種類を含む構造化されたブロックを返します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<Struct<block_index, block_id, block_type, content, bounding_box, languages<String>, confidence>>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
mediaReference出力
{"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ {
 block_id: block-0,
 block_index: 0,
 block_type: Text,
&...

詳細を参照。


マップのキーを抽出

サポート対象:バッチ、高速、ストリーミング

マップのキーを配列として返します。配列要素の順序は決定論的ではないことに注意してください。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:AnyType

出力タイプ: Array<K>

例

引数の値:

  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
[ XB-134, MT-111 ]

詳細を参照。


マップの値を抽出

サポート対象:バッチ、高速、ストリーミング

マップの値を配列として返します。配列要素の順序は決定論的ではないことに注意してください。

式のカテゴリー: マップ

型変数の制約: V に指定できる型:AnyType

出力タイプ: Array<V>

例

引数の値:

  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
[ 1, 2 ]

詳細を参照。


レガシー OffsetDateTime からオフセットを抽出

サポート対象:バッチ

レガシー OffsetDateTime 列からオフセットを抽出します。これは、タイムスタンプの元のタイムゾーンと UTC タイムゾーンとの差を秒単位で表したものです。

式のカテゴリー: 日時

出力タイプ: Integer

例

引数の値:

  • 式: col_a
col_a出力
{
 offset: 0,
 timestamp: 2024-09-09T09:00:00.001Z,
}
0
{
 offset: 19800,
 timestamp: 2024-09-09T09:00:00.001Z,
}
19800
{
 offset: -3600,
 timestamp: 2024-09-09T09:00:00.001Z,
}
-3600

詳細を参照。


PDF から目次を抽出

サポート対象:バッチ、高速

ドキュメント内で使われている見出しに基づいて、PDF から目次を生成します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<level, title, page>>

例

引数の値:

  • メディア参照: Media Reference
Media Reference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}[ {
 level: 0,
 page: 2,
 title: 第1章,
}, {
 **l...

詳細を参照。


PDF からテキストを抽出

サポート対象:バッチ、高速

PDF のページから生のテキストを抽出します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<String>

例

引数の値:

  • メディア参照: Media Reference
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
  • 開始ページ: Start Page
Media ReferenceStart PageEnd Page出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}12[ 最初のページ, 2番目のページ ]

詳細を参照。


PDF からテキストを抽出(OCR を使用)

サポート対象:バッチ、高速

PDF ファイルのページからテキストを抽出します。OCR モードと出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<String>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 抽出方法: AUTO
  • 出力形式: TEXT
  • 開始ページ: Start Page
mediaReference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ 最初のページ, 2番目のページ ]

詳細を参照。


画像からテキストを抽出(OCR を使用)

サポート対象:バッチ、高速

画像からテキストを抽出します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: String

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
mediaReference出力
{"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}このテキストはメディアセット内の画像から抽出されました。

詳細を参照。


タイムスタンプの一部を抽出

サポート対象:バッチ、高速、ストリーミング

年や曜日など、タイムスタンプの一部を抽出します。

式のカテゴリー: 日時

出力タイプ: Integer

詳細を参照。


配列要素を絞り込み

サポート対象:バッチ、ストリーミング

フィルター式に基づいて配列を絞り込みます。配列のインデックスは1から始まることに注意してください。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: array
  • 絞り込みの式:
    isNotNull(
     expression: element,
    )
array出力
[ 2, 5, null, 11 ][ 2, 5, 11 ]

詳細を参照。


ジオメトリの種類で絞り込み

サポート対象:バッチ、高速、ストリーミング

ジオメトリ列で、指定したジオメトリの種類に該当しない値を null にします。

式のカテゴリー: 地理空間

出力タイプ: Geometry

詳細を参照。


最初の null 以外の値(coalesce)

サポート対象:バッチ、高速、ストリーミング

入力のうち、最初の null 以外の値を選択します。SQL では coalesce と呼ばれます。

式のカテゴリー: データ準備

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 式: [tail_number, airline]
  • 空の文字列を null として扱う: null
tail_numberairline出力
XB-123nullXB-123
nullMTMT

詳細を参照。


切り下げ

サポート対象:バッチ、高速、ストリーミング

指定した小数値の床関数の値を返します。

式のカテゴリー: 数値

出力タイプ: Decimal | Long

例

引数の値:

  • 式: 10.123

出力: 10

詳細を参照。


日付を文字列に書式設定

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定した文字列として日付を返します。デフォルトの書式は ISO8601 です。

式のカテゴリー: 型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • Date: 2022-12-20
  • 書式: yy-MM-dd

出力: 22-12-20

詳細を参照。


数値を書式設定

サポート対象:バッチ、高速、ストリーミング

小数点以下の桁数を指定して数値を書式設定します。

式のカテゴリー: 型変換、数値、文字列

出力タイプ: 文字列

例

説明: 小数点以下2桁に数値を書式設定します。

引数の値:

  • 小数点以下の桁数: 2
  • 数値: 1234.5678

出力: 1,234.57

詳細を参照。


文字列を書式設定

サポート対象:バッチ、ストリーミング

printf スタイルで文字列を書式設定します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 書式引数: [argument1, argument2]
  • 書式設定 String: Hello %s, my name is %s
argument1argument2出力
AliceBobHello Alice, my name is Bob
JaneJohnHello Jane, my name is John

詳細を参照。


タイムスタンプを文字列に書式設定

サポート対象:バッチ、高速、ストリーミング

タイムスタンプを書式設定した文字列として返します(デフォルトは ISO8601)。

式のカテゴリー: 型変換、日時、文字列

出力タイプ: 文字列

例

引数の値:

  • Timestamp: 2022-10-01T09:00:00Z
  • 書式: yyyy-MM-dd
  • タイムゾーン: null

出力: 2022-10-01

詳細を参照。


ジオメトリの交差判定

サポート対象:バッチ、高速、ストリーミング

2つのジオメトリが交差するかどうかを判定します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"coordinates":[[[-103.78627755867336,33.162750522563925],[-103.78627755867336,28.29724741894266],[-...true
{"coordinates":[[[0.3651446504365481,15.159518507965103],[0.3651446504365481,13.427462911044273],[3....{"coordinates":[[[5.656394524666183,13.405417496831944],[5.656394524666183,11.29869961209053],[8.551...false

詳細を参照。


ジオメトリの3次元アフィン変換

サポート対象:バッチ、高速、ストリーミング

入力ジオメトリに3次元アフィン変換を適用します。この変換はユーザーが指定した投影座標系で行われ、結果は WGS84 に再投影されます。2次元ジオメトリでは、アフィン変換を適用する前に z 座標が0に設定されます。返されるジオメトリは3次元であり、各座標 [x,y,z] に対して行列積 [[x0, x1, x2, x-offset], [y0, y1, y2, y-offset], [z0, z1, z2, z-offset], [0, 0, 0, 1]] * [x, y, z, 1] を計算し、その結果の最初の3つの座標成分を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ列: geometry
  • 投影座標系: EPSG:4326
  • X オフセット: 0.0
  • X0: 0.0
  • X1: -1.0
  • X2: 0.0
  • Y オフセット: 0.0
  • Y0: 1.0
  • Y1: 0.0
  • Y2: 0.0
  • Z オフセット: 0.0
  • Z0: 0.0
  • Z1: 0.0
  • Z2: 0.0
geometry出力
{"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]]]}{"type":"Polygon","coordinates":[[[0.0, 0.0, 0.0],[0.0, 1.0, 0.0],[-1.0, 1.0, 0.0],[-1.0, 0.0, 0.0],[0.0, 0.0, 0.0]]]}

詳細を参照。


ジオメトリ配列の(単項)和集合

サポート対象:バッチ、高速、ストリーミング

指定されたジオメトリの配列を、重なりがないようにマージして1つのジオメトリにまとめます。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型:Geometry

出力タイプ: T

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} ]{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
[ ]null
nullnull

詳細を参照。


ジオメトリ配列のラインディゾルブ

サポート対象:バッチ、高速、ストリーミング

指定されたジオメトリの配列を線形ジオメトリにまとめます。ディゾルブは、不要なノードを削除し、結合可能なラインストリングを連結することで、入力されたラインストリング群を簡素化します。ディゾルブ演算では z 座標は無視されますが、結果のジオメトリの頂点は、入力内の対応する点と同じ z 座標を持ちます。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型:Geometry

出力タイプ: T

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"LineString","coordinates":[[0,0],[0,1],[1,1]]}, {"type":"LineString","coordinates":[[1,1]...{"type":"MultiLineString","coordinates":[[[5.0, 5.0],[4.0, 4.0],[3.0, 3.0],[2.0, 2.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]],[[7.0, 7.0], [6.0, 7.0], [6.0, 6.0]]]}
[ {"type":"LineString","coordinates":[[0,0,1],[0,1,1],[1,1,1]]}, {"type":"LineString","coordinates":[[1,1,1],[2,2,2]]}, {"type":"LineString","coordinates":[[1,1,2],[2,2,2],[3,3,3]]} ]{"type":"LineString","coordinates":[[0.0, 0.0, 1.0],[0.0, 1.0, 1.0],[1.0, 1.0, 1.0],[2.0, 2.0, 2.0],[3.0, 3.0, 3.0]]}

詳細を参照。


ジオメトリのバッファー

サポート対象:バッチ、ストリーミング

正と負の両方のバッファー距離について、ジオメトリのバッファーを計算します。この幾何オブジェクトから指定された距離内にあるすべての点の近似表現を返します(負のバッファーの場合は、すべての点から境界のバッファー距離内にある点を除いたもの)。バッファー計算では z 座標は削除され、線と点に対する距離が0または負のバッファーは null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • バッファー距離: distance
  • ジオメトリ列: geometry
  • 投影座標系: EPSG:32618
  • バッファーの端点スタイル: ROUND
  • バッファーの接合スタイル: ROUND
  • 象限あたりの線分数: 8
  • 片側または両側: DOUBLE_SIDED
geometrydistance出力
{"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]}10.0{"type":"Polygon","coordinates":[[[-77.07356558299462, 38.83041048767274],[-77.07356728534256, 38.83...
{"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83042888342659, 1]]}10.0{"type":"Polygon","coordinates":[[[-77.07253198637027, 38.83051894052714],[-77.07250947453703, 38.83...
{"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83...10.0{"type":"Polygon","coordinates":[[[-77.07379585155829, 38.83040639848026],[-77.07382199292853, 38.83...

詳細を参照。


ジオメトリの重心

サポート対象:バッチ、ストリーミング

地球を球体として近似し、ジオメトリの重心(「質量中心」)を返します。ジオメトリが異なる次元の要素を含む集合の場合、最も高い次元の要素のみが重心の計算に使用されます(たとえば、点、線、ポリゴンの集合では、点と線は無視されます)。この演算では、ジオメトリ内の座標が32ビット浮動小数点精度に丸められます。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を見る。


ジオメトリの包含判定

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a がジオメトリ b を含むかどうかを判定します。ポリゴンの境界上にある点や線は、別のジオメトリ内に含まれるとはみなされません。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"Point","coordinates":[-100.0,32.0]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}false
{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}false
{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"coordinates":[[[-111.94377956164206,33.81725414459382],[-111.94377956164206,31.006795384733323], [...true

詳細を見る。


ジオメトリの差

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a のうち、ジオメトリ b と交差していない部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"LineString","coordinates":[[0.0,0.0],[0.0,1.0]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}

詳細を見る。


ジオメトリを配列に分解

サポート対象:バッチ、高速、ストリーミング

ジオメトリを、それを構成する単純なジオメトリの配列に変換します。

式のカテゴリー: 地理空間

出力タイプ: Array<Geometry>

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} ]
{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} ]

詳細を見る。


ジオメトリの交差

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a のうち、ジオメトリ b と交差している部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"LineString","coordinates":[[1.0,1.0],[1.0,0.0]]}
{"type":"Point","coordinates":[0.0,0.0]}{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Point","coordinates":[0.0,0.0]}
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Polygon","coordinates":[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]}{"type":"LineString","coordinates":[]}

詳細を見る。


ジオメトリの長さ

サポート対象:バッチ、ストリーミング

ジオメトリ内のラインストリングとマルチラインストリングの長さをメートル単位で取得します。地球を球体として近似します。線状ではないジオメトリ(ポリゴンと点)は0として扱われます。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 式: geometry
geometry出力
{"type":"LineString","coordinates":[[-73.778128,40.641195],[-118.408535,33.941563]]}3974344.7433354934
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0],[1.0,1.0],[1.0,2.0]]}333585.2407005987
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0],[1.0,1.0]], [[1.0,2.0],[2.0,2.0]]]}333517.50194413937

詳細を見る。


ジオメトリの2次元回転

サポート対象:ストリーミング

指定したジオメトリに、指定した Geopoint を中心とする2次元の時計回りの回転を適用します。この回転は、指定した座標参照系で行われ、その後 WGS84 に再投影されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を見る。


ジオメトリの z 座標を設定

サポート対象:バッチ、高速、ストリーミング

ジオメトリの z 座標を設定します。ジオメトリに既存の z 座標がある場合は、上書きされます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ: geometry
  • Z 座標: zCoordinate
geometryzCoordinate出力
{"type":"Point","coordinates":[1.0, 2.0]}1.0{"type":"Point","coordinates":[1.0, 2.0, 1.0]}
{"type":"Point","coordinates":[1.0, 2.0, 3.0]}1.0{"type":"Point","coordinates":[1.0, 2.0, 1.0]}

詳細を参照。


ジオメトリの最短距離

サポート対象:バッチ、ストリーミング

2つの有効なジオメトリ間の最短距離(大円距離)をメートル単位で計算します。地球を球体として近似します。重なり合うジオメトリ間の距離は0です。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を参照。


ジオメトリを標準化

サポート対象:バッチ、高速、ストリーミング

有効なジオメトリを、GeoJSON の規約である右手の法則を入力に適用して標準化します。これにより、同等のジオメトリ間で等価比較ができるようになります。この式はラインストリングを反転する場合があります。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[32.26868,-26.53253],[32.26465,-26.45873],[32.25262,-26.38563],[32.26868,-26.53253]]]}{"type":"Polygon","coordinates":[[[32.25262, -26.38563],[32.26868, -26.53253],[32.26465, -26.45873],[32.25262, -26.38563]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.25,0.5]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]], [[0.25,0.25],[0.25,0.5],[0.5,0.25],[0.25,0.25]]]}
{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}
{"coordinates": [[[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]]], "type":"MultiPolygon"}{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}{"coordinates": [[5.0, 5.0],[-1.0, -1.0]], "type":"LineString"}
{"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"}{"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"}

詳細を参照。


ジオメトリの対称差

サポート対象:バッチ、高速、ストリーミング

いずれかのジオメトリに含まれ、両者の交差部分には含まれない部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[2.0,1.0],[2.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[3.0,1.0],[3.0,0.0],[1.0,0.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}
{"type":"Point","coordinates":[0.0,0.0]}{"type":"Point","coordinates":[1.0,1.0]}{"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]}
{"type":"LineString","coordinates":[[0.0,0.0],[2.0,0.0]]}{"type":"LineString","coordinates":[[1.0,0.0],[3.0,0.0]]}{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[2.0,0.0],[3.0,0.0]]]}

詳細を参照。


ジオメトリの平行移動式

サポート対象:バッチ、高速、ストリーミング

ジオメトリに平行移動を適用します。2次元のジオメトリは、z オフセットが指定された場合にのみ3次元のジオメトリに変換されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ列: geometry
  • 投影座標系: EPSG:4326
  • X オフセット: 1.0
  • Y オフセット: -1.0
  • Z オフセット: null
geometry出力
{"type":"Point","coordinates":[0.0, 0.0]}{"type":"Point","coordinates":[1.0, -1.0]}
{"type":"LineString","coordinates":[[0.0, 0.0], [1.0, 1.0]]}{"type":"LineString","coordinates":[[1.0, -1.0], [2.0, 0.0]]}
{"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0], [0.0, 0.0]]]}{"type":"Polygon","coordinates":[[[1.0, -1.0],[2.0, -1.0],[2.0, 0.0],[1.0, 0.0],[1.0, -1.0]]]}

詳細を参照。


ジオメトリの和集合

サポート対象:バッチ、高速、ストリーミング

2つのジオメトリを組み合わせて、1つのジオメトリを作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]},{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}]}

詳細を参照。


H3 インデックスを取得

サポート対象:バッチ、高速、ストリーミング

Geopoint を指定された解像度の H3 インデックスに変換します。解像度が0未満または15より大きい場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: H3 インデックス

詳細を参照。


ジオメトリを覆う H3 インデックスを取得

サポート対象:バッチ、高速、ストリーミング

ジオメトリを指定された解像度の H3 インデックスに変換します。解像度は0以上15以下である必要があります。ポリゴンについては、次の3種類の変換をサポートしています。a) ポリゴンを完全に覆う H3 インデックス、b) ポリゴンに完全に含まれる H3 インデックス、c) 重心がポリゴン内にある H3 インデックスです。H3 インデックスの予想数が700万を超える場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

詳細を参照。


MIME タイプを取得

サポート対象:

Media Reference の IANA MIME タイプを返します。

式のカテゴリー: メディア

出力タイプ: 文字列

詳細を参照。


PDF のページ寸法を取得

サポート対象:バッチ、高速

PDF の各ページの寸法をポイント単位で取得します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<height, width>>

詳細を参照。


エンベロープの XZ 曲線インデックスを取得

サポート対象:バッチ、ストリーミング

エンベロープを XZ 曲線でエンコードします。

式のカテゴリー: 地理空間

出力タイプ: Long

例

引数の値:

  • 曲線プリセット: LON_LAT_10KM
  • エンベロープ: envelope
envelope出力
{
 maxLat -> 2.0,
 maxLon -> 3.0,
 minLat -> 0.0,
 minLon -> 1.0,
}
16777222
{
 maxLat -> 2.0,
 maxLon -> 3.0,
 minLat -> null,
 minLon -> 1.0,
}
null

詳細を参照。


始点から終点への方位を取得

サポート対象:バッチ、高速、ストリーミング

地球を球体として近似し、最初の点から2番目の点への真方位(地理的な北を基準とする時計回りの角度)を度単位で計算します。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 終点: end_point
  • 始点: start_point
start_pointend_point出力
{
 latitude: 40.69325025929194,
 longitude: -74.00522662934995,
}
{
 latitude: 51.4988509390695,
 longitude: -0.1238396067697046,
}
51.20964213763489

詳細を参照。


ジオメトリのエンベロープを取得

サポート対象:バッチ、ストリーミング

有効なジオメトリまたはジオメトリの配列を受け取り、入力のエンベロープを表すジオメトリを返します。エンベロープは、ジオメトリの x と y の最小値と最大値を含む、各軸に平行な最小の矩形領域です。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}

詳細を参照。


緯度・経度の境界ボックス構造体を取得

サポート対象:バッチ、高速、ストリーミング

有効なジオメトリまたはジオメトリの配列を受け取り、そのジオメトリの境界を含む構造体を返します。

式のカテゴリー: 地理空間

出力タイプ: LatLonBoundingBox

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]}{
 maxLat -> 1.0,
 maxLon -> 1.0,
 minLat -> 0.0,
 minLon -> 0.0,
}

詳細を参照。


H3 インデックスの隣接インデックスを取得

サポート対象:バッチ、高速、ストリーミング

H3 インデックスのすべての隣接インデックスを取得します。

式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

詳細を参照。


構造体フィールドを取得

サポート対象:バッチ、高速、ストリーミング

構造体からフィールドを抽出します。

式のカテゴリー: 構造体

出力タイプ: AnyType

例

引数の値:

  • ロケーター: airline.id
  • 構造体: struct
struct出力
{
 airline: {
 id: NA,
},
}
NA
{
 airline: {
 id: FE,
},
}
FE

詳細を参照。


ジオメトリの凸包を取得

サポート対象:バッチ、高速、ストリーミング

有効な GeoJSON 入力文字列を受け取り、ジオメトリの凸包を表す GeoJSON 文字列を返します。凸包は、ジオメトリを含む最小の凸ポリゴンです。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[2.0,0.0],[2.0,1.0],[1.0,1.0],[1.0,2.0],[0.0,2.0],[0.0,0.0]]]}{"type":"Polygon", "coordinates":[[[0.0, 0.0], [0.0, 2.0], [1.0, 2.0], [2.0, 1.0], [2.0, 0.0], [0.0, 0.0]]]}
nullnull

詳細を参照。


シーンフレームのタイムスタンプを取得

サポート対象:バッチ

動画内で検出されたシーンフレームの遷移のタイムスタンプとシーンスコアを取得します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<timestamp, scene_score>>

詳細を見る。


より大きい

サポート対象:バッチ、高速、ストリーミング

左の値が右の値より大きい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 左: a
  • 右: b
ab出力
10true
11false
01false

詳細を見る。


以上

サポート対象:バッチ、高速、ストリーミング

左の値が右の値以上の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 左: a
  • 右: b
ab出力
10true
11true
01false

詳細を見る。


最大値

サポート対象:バッチ、高速、ストリーミング

null 値をスキップして、すべての入力列の中で最大の値を計算します。

式のカテゴリー: 数値

型変数の制約: T に指定できる型:ComparableType

出力タイプ: T

例

引数の値:

  • 式: [a, b, c]
abc出力
1233
1323
3213

詳細を見る。


Gzip 解凍

サポート対象:バッチ、高速、ストリーミング

gzip 圧縮されたバイナリを解凍して文字列にします。

式のカテゴリー: ファイル操作

出力タイプ: String

例

引数の値:

  • 式: gzip
gzip出力
H4sIAAAAAAAA//NIzcnJ11Eozy/KSVEEAObG5usNAAAAHello, world!

詳細を見る。


H3 セルから子セルを取得

サポート対象:バッチ、高速、ストリーミング

子セルの粗さを指定する解像度で、H3 インデックスの子セルを取得します。解像度が 0 未満または 15 より大きい場合、または子セルの解像度が指定された H3 インデックスの解像度より低い場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を見る。


H3 セルから親セルを取得

サポート対象:バッチ、高速、ストリーミング

親セルの粗さを指定する解像度で、H3 インデックスの親セルを取得します。解像度が 0 未満または 15 より大きい場合、または解像度が指定されたインデックスより高い場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: H3 インデックス

詳細を見る。


H3 からジオメトリに変換

サポート対象:バッチ、高速、ストリーミング

H3 インデックスをポリゴンに変換します。

式のカテゴリー: 地理空間

出力タイプ: Geometry

詳細を見る。


メディアスキーマの有無

サポート対象:バッチ

Media Reference が特定のスキーマのデータ型と形式を持つかどうかを確認します。この式はフィルター条件として使用でき、メディアの種類によってメディアセットを絞り込み、下流でスキーマ固有のデータ加工を行えるようにします。

式のカテゴリー: メディア

出力タイプ: Boolean

詳細を見る。


sha256 ハッシュ

サポート対象:バッチ、高速、ストリーミング

sha256 ハッシュアルゴリズムを使用して入力をハッシュ化します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: Hello World!

出力: 7f83b1657ff1fc53b92dc18148a1d65dfc2d4b1fa3d677284addd200126d9069

詳細を見る。


IPv6 を正規形式に変換

サポート対象:バッチ

IPv6 アドレスを正規形式の IPv6 アドレスに変換します。IPv6 の正規表記については RFC 5952 に記載されています。

式のカテゴリー: サイバー

出力タイプ: IPv6

例

引数の値:

  • 式: ip
ip出力
001:0db8:85a3:0000:0000:8a2e:0370:73341:db8:85a3::8a2e:370:7334
::1::1
2001:db8:0:1:1:1:1:12001:db8:0:1:1:1:1:1
2001:1:0:0:10:0:10:102001:1::10:0:10:10
2001:0:0:1:0:0:0:12001:0:0:1::1
2001:db8:0:0:1:0:0:12001:db8::1:0:0:1
2001:DB8:AAAA:BBBB:CCCC:DDDD:EEEE2001:db8:aaaa:bbbb:cccc:dddd:eeee
0:0:0:0:0:0:0:0::
::::
0:0:0:1:2:3:4:5::1:2:3:4:5
1:2:3:4:5:0:0:01:2:3:4:5::
1:2:3:4:5:6:7:81:2:3:4:5:6:7:8
nullnull

詳細を見る。


画像から埋め込みに変換

サポート対象:バッチ

指定されたモデルを使用して画像を埋め込みに変換します。

式のカテゴリー: メディア

出力タイプ: 埋め込みベクトル

例

説明: 画像の埋め込みの例です。

引数の値:

  • メディア参照: mediaRef
  • モデル:
    googleSiglip2Embedding(

    )
  • 出力モード: null
mediaRef出力
{
"mimeType": "image/jpeg",
"reference": {
 "type": "mediaSetViewItem",
 "...
embeddings-result

詳細を見る。


ラインストリングに沿って Geopoint を補間

サポート対象:バッチ、ストリーミング

線に沿って補間された点を返します。この実装では、地球を球体として近似し、線を最短経路として解釈します。

式のカテゴリー: 地理空間

出力タイプ: GeoPoint

例

引数の値:

  • 割合: fraction
  • ラインストリング: linestring
linestringfraction出力
{"type":"LineString","coordinates":[[0.0,2.0],[30.0,0.0]]}0.5{
 latitude: 1.0352686301676643,
 longitude: 15.004677545504547,
}
{"type":"LineString","coordinates":[[30.0,2.0],[50.0,3.0]]}0.8{
 latitude: 2.8256098405656185,
 longitude: 45.99752305664789,
}
{"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0]]}0.2{
 latitude: 8.363732883448177,
 longitude: 54.073497456494955,
}

詳細を見る。


NaN 判定

サポート対象:バッチ、高速、ストリーミング

入力が NaN の場合に true を返し、それ以外の場合は false を返します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: NaN

出力: true

詳細を見る。


空の構造体判定

サポート対象:バッチ、ストリーミング

内部の配列と構造体を再帰的に確認し、入力が空の構造体の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: struct
struct出力
{
 airline: {
 id: null,
 name: null,
},
 tail_no: null,
}
true
{
 airline: {
 id: NA,
 name: null,
},
 tail_no: null,
}
false

詳細を見る。


リスト内の存在判定

サポート対象:バッチ、高速、ストリーミング

リストに値が含まれる場合に true を返します。

式のカテゴリー: ブール値

型変数の制約: T に指定できる型:ComparableType

出力タイプ: Boolean

例

説明: リストに値が含まれているかどうかを確認できます。

引数の値:

  • 含む: [AWE-112, BRR-123]
  • 値: value
value出力
BRR-123true
ABC-543false

詳細を見る。


null ではない

サポート対象:バッチ、高速、ストリーミング

入力が null ではない場合に true を返します。オプションで空の文字列を null として扱うことができます。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: hello
  • 空の文字列を null として扱う: null

出力: true

詳細を表示。


null である

サポート対象:バッチ、高速、ストリーミング

入力が null である場合に true を返します。オプションで空の文字列を null として扱うことができます。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: null
  • 空の文字列を null として扱う: null

出力: true

詳細を表示。


有効な GeoJSON である

サポート対象:バッチ、高速、ストリーミング

入力が有効な GeoJSON 入力文字列である場合に true を返します。すべての GeoJSON 文字列をオントロジーでインデックス化できるわけではありません。オントロジーで使用する前に、「ジオメトリを準備」式を使用してジオメトリを準備します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geoJson
geoJson出力
{"type":"Point","coordinates":[3.0, 5.0, 2.0]}true
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}true
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}true
GeoJSON 文字列ではないfalse

詳細を表示。


有効な Geohash である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Geohash 入力文字列である場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geohash
geohash出力
sk4dtrue
dt9zy9cg36j7true
Geohash 文字列ではないfalse
nullfalse

詳細を表示。


有効な H3 インデックスである

サポート対象:バッチ、高速、ストリーミング

入力が有効な H3 インデックス文字列である場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: h3
h3出力
862a1072ffffffftrue
h3 値ではないfalse

詳細を表示。


有効な IPv4 である

サポート対象:バッチ

入力が有効な IPv4 アドレスである場合に true を返します。

式のカテゴリー: サイバー

出力タイプ: ブール値

例

引数の値:

  • 式: ip
ip出力
192.168.1.1true
10.0.0.1true
172.16.0.1true
255.255.255.255true
0.0.0.0true
127.0.0.1true
1.2.3.4true
256.1.1.1false
192.168.1.256false
192.168.1false
192.168.1.1.1false
abc.def.ghi.jklfalse
192.168.1.afalse
-1.2.3.4false
空の文字列false
false
192.168.1.0/24false
10.0.0.0/8false
192false
a.b.c.d/255.0.0.0false
::1false
2001:db8::1false
nullfalse

詳細を表示。


有効な IPv6 である

サポート対象:バッチ

入力が有効な IPv6 アドレスである場合に true を返します。

式のカテゴリー: サイバー

出力タイプ: ブール値

例

引数の値:

  • 式: ip
ip出力
001:0db8:85a3:0000:0000:8a2e:0370:7334true
2001:db8:85a3:0:0:8A2E:0370:7334true
2001:db8:85a3::8a2e:370:7334true
::1true
fe80::true
::true
0:0:0:0:0:0:0:1true
2001:db8::true
::ffff:192.0.2.128true
2001:db8:0:0:1:0:0:1true
1234:5678:9abc:def0:1234:5678:9abctrue
abcd:ef01:2345:6789:abcd:ef01:2345:6789true
2001:db8:1234:0000:0000:0000:0000:0001true
2001:db8:1234::1true
2001:db8:85a3::8a2e:37023:7334false
2001:db8:85a3::8a2e::7334false
2001:db8:85a3:0:0:8A2E:0370:7334:1234false
2001:db8:85a3false
2001:db8:85a3::8a2e:370g:7334false
::ffff:192.0.2.999false
2001:db8:85a3:0:0:8A2E:0370:7334:false
:2001:db8:85a3:0:0:8A2E:0370:7334false
2001:db8:85a3:0:0:8A2E:0370:7334::false
GGGG:db8:85a3:0:0:8A2E:0370:7334false
2001-db8-85a3-0-0-8A2E-0370-7334false
2001:db8:85a3:0:0:8A2E:0370:7334/64false
2001:db8::/32false
空の文字列false
false
192.168.1.1false
nullfalse

詳細を表示。


有効な MGRS である

サポート対象:バッチ、高速、ストリーミング

入力が有効な MGRS(軍用グリッド参照システム)文字列である場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: mgrs
mgrs出力
4Q FJ 1 6true
4Q FJ 12345 67890true

詳細を表示。


有効な MIME タイプである

サポート対象:バッチ、高速、ストリーミング

入力が有効な MIME タイプである場合に true を返します。

式のカテゴリー: ブール値、その他

出力タイプ: ブール値

詳細を表示。


有効なオントロジー Geopoint である

サポート対象:バッチ、高速、ストリーミング

入力が有効なオントロジー Geopoint である場合に true を返します。オントロジー Geopoint は「{lat},{lon}」形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geopoint
geopoint出力
-35.307428203,149.122686883true
149.122686883,-35.307428203false
10.0, 20.0true
10.0, 20.0true
Geopoint ではないfalse
nullfalse
(10.0,20.0)false

詳細を表示。


有効な委任メディア gid である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Gotham の委任メディア gid である場合に true を返します。詳細については、Gotham の委任メディアの rtfm を確認してください。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: ri.gotham-delegated-media.12345678-1234-1234-1234-123456789012.testaudiotype.testlocator

出力: true

詳細を表示。


有効な Media Reference である

サポート対象:バッチ、高速、ストリーミング

入力が構造上 Foundry の Media Reference であり、その MIME タイプを解析できる場合に true を返します。これは形式のみのチェックです。レガシーの Media Reference 形式でも true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を表示。


有効な RID である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Foundry リソース識別子である場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を表示。


有効な UUID である

サポート対象:バッチ、高速、ストリーミング

入力が有効な UUID である場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を表示。


配列を連結

サポート対象:バッチ、高速、ストリーミング

指定した区切り文字で配列を連結します。

式のカテゴリー: 配列

出力タイプ: 文字列

例

引数の値:

  • 連結する配列: [ hello, world ]
  • セパレーター: -

出力: hello-world

詳細を表示。


週/月/四半期/年の最終日

サポート対象:バッチ、高速

週/月/四半期/年の最終日を返します。

式のカテゴリー: 日時

出力タイプ: Date

詳細を見る。


最小値

サポート対象:バッチ、高速、ストリーミング

null 値をスキップして、すべての入力列の最小値を計算します。

式のカテゴリー: ブール値、数値

型変数の制約: T に指定できる型:ComparableType

出力タイプ: T

例

引数の値:

  • 式: [a, b, c]
abc出力
1231
1321
3211

詳細を見る。


文字列の左側

サポート対象:バッチ、高速、ストリーミング

インデックスに基づいて文字列の左側を抽出します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 5

出力: Hello

詳細を見る。


文字列の左パディング

サポート対象:バッチ、高速、ストリーミング

指定した長さになるまで、パディング文字を使って文字列列の左側を埋めます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 15
  • パディング文字: *

出力: ***Hello world!

詳細を見る。


長さ

サポート対象:バッチ、高速、ストリーミング

文字列列または配列列の各値の長さを返します。

式のカテゴリー: 配列、数値

出力タイプ: Integer

例

引数の値:

  • 式: string
string出力
hello5
bye3

詳細を見る。


より小さい

サポート対象:バッチ、高速、ストリーミング

左の値が右の値より小さい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: left
  • 右: right
leftright出力
1.010true
10.01false

詳細を見る。


以下

サポート対象:バッチ、高速、ストリーミング

左の値が右の値以下の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: left
  • 右: right
leftright出力
1.010true
10.01false

詳細を見る。


対数

サポート対象:バッチ、高速、ストリーミング

列の自然対数 ln(x) を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 10.123

出力: 2.3148100626166146

詳細を見る。


底を指定した対数

サポート対象:バッチ、高速、ストリーミング

指定した底の対数を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 底: 2.0
  • 式: 8

出力: 3.0

詳細を見る。


論理型キャスト

サポート対象:バッチ、高速、ストリーミング

式を指定した論理型にキャストします。通常のキャスト式とは異なり、この式はデータの基礎となる表現を変更せず、指定した論理型に関連する制約を適用します。これにより、その論理型のインスタンスを明示的に要求する下流の式への入力として、出力を使用できます。

式のカテゴリー: 型変換

型変数の制約: C に指定できる型:AnyType

出力タイプ: C

例

説明: 自然数へのキャストの成功例

引数の値:

  • 式: 1234
  • 論理型: 自然数
  • デフォルトの値: null

出力: 1234

詳細を見る。


小文字

サポート対象:バッチ、高速、ストリーミング

文字列内のすべての文字を小文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello World

出力: hello world

詳細を見る。


値をマッピング

サポート対象:バッチ、高速、ストリーミング

キーと値のペアのマップに基づいて、入力列の値を新しい値に変更します。入力値がマップに見つからない場合は、デフォルト値を使用します。

式のカテゴリー: データ準備

型変数の制約: T1 に指定できる型:ComparableType**T2 に指定できる型:AnyType

出力タイプ: T2

例

引数の値:

  • 値を置換する列: country
  • デフォルトの値:
    cast(
     expression: null,
     type: String,
    )
  • 値のマップ: {
     Denmark -> DNK,
     United Kingdom -> UK,
    }
country出力
United KingdomUK
DenmarkDNK
United States of Americanull

詳細を見る。


剰余

サポート対象:バッチ、高速、ストリーミング

式の剰余を返します。

式のカテゴリー: 数値

出力タイプ: DefiniteNumeric

例

引数の値:

  • 分母: 4
  • 分子: 10.123

出力: 2.123

詳細を見る。


数値を乗算

サポート対象:バッチ、高速、ストリーミング

すべての入力列の積を計算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式: [col_a, col_b, col_c]
col_acol_bcol_c出力
102360

詳細を見る。


自然数の乱数

サポート対象:バッチ、高速、ストリーミング

自然数の乱数を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返した際に同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Long

例

説明: 10以上11未満の自然数は10のみです。

引数の値:

  • 最大値: 11
  • 最小値: 10
  • シード: null

出力: 10

詳細を見る。


符号反転

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Numeric

詳細を見る。


次の曜日

サポート対象:バッチ

曜日の引数に基づいて、日付列の値より後に来る最初の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

説明: 2024年1月10日水曜日の次の月曜日

引数の値:

  • Date: 2024-01-10
  • 曜日: MONDAY

出力: 2024-01-15

詳細を見る。


正規乱数

サポート対象:バッチ、高速、ストリーミング

平均0、分散1の正規分布に従う乱数の列を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返した際に同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Double

詳細を見る。


否定

サポート対象:バッチ、高速、ストリーミング

ブール式のブール値を否定した値を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: boolean
boolean出力
truefalse
falsetrue

詳細を見る。


いずれも真ではない

サポート対象:バッチ、ストリーミング

どの条件も成立しない場合にのみ true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruefalse
truefalsefalse
falsetruefalse
falsefalsetrue

詳細を参照。


ポリゴン内の N 番目のチェーン

サポート対象:バッチ、高速、ストリーミング

ジオメトリ内の単一ポリゴンにある N 番目のリングを返します。インデックスは1から始まり、インデックス0は範囲外です。インデックスが1の場合は外部リングを返します。インデックスが1より大きい場合は内部リングを返します。ジオメトリが単一ポリゴンではない場合、フィーチャーコレクションまたはジオメトリコレクションが指定された場合、インデックスが範囲外の場合、または引数の1つ以上が null の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • N: n
  • ポリゴン: polygon
polygonn出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}1{"coordinates": [[0.0, 0.0], [0.0, 10.0], [10.0, 10.0], [10.0, 0.0], [0.0, 0.0]], "type": "LineString"}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}2null
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"}1{"coordinates": [[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]], "type": "LineString"}
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"}2{"coordinates": [[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]], "type": "LineString"}

詳細を参照。


ラインストリング内の N 番目の点

サポート対象:バッチ、高速、ストリーミング

ジオメトリ内の単一ラインストリングにある N 番目の点を返します。インデックスは1から始まり、インデックス0は範囲外です。負のインデックスはラインストリングの末尾から逆向きに数えるため、-1は最後の点になります。ジオメトリが単一ラインストリングではない場合、フィーチャーコレクションまたはジオメトリコレクションが指定された場合、インデックスが範囲外の場合、または引数の1つ以上が null の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • ラインストリング: linestring
  • N: n
linestringn出力
{"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]}1{
 緯度:2.0,
 経度:30.0,
}
{"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]}3{
 緯度:3.0,
 経度:50.0,
}
{"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0],[40.0,0.0]]}-1{
 緯度:0.0,
 経度:40.0,
}

詳細を参照。


空の文字列を null に変換

サポート対象:バッチ、高速、ストリーミング

空の文字列を null に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: 空の文字列

出力: null

詳細を参照。


論理和

サポート対象:バッチ、高速、ストリーミング

指定された条件のいずれかが true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruetrue
truefalsetrue
falsetruetrue
falsefalsefalse

詳細を参照。


WGS 84 以外の座標系から GeoJSON をパース

サポート対象:バッチ、高速、ストリーミング

WGS 84 以外の座標系の GeoJSON 文字列を WGS 84 のジオメトリに変換します。すでに WGS 84(経度、緯度)の GeoJSON であれば、「論理型キャスト」式を使用すると、より少ないオーバーヘッドで直接変換できます。パースまたは変換に失敗する文字列の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • GeoJSON 文字列: geojson_string
  • 変換元の座標系: EPSG:32618
geojson_string出力
{"type":"Point","coordinates":[320000.0,4300000.0]}{"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]}
{"type":"LineString","coordinates":[[320000.0,4300000.0],[320100.0,4300000.0]]}{"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659]]}
{"type":"Polygon","coordinates":[[[320000.0,4300000.0],[320100.0,4300000.0],[320000.0,4300100.0],[320000.0,4300000.0]]]}{"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659],[-77.07370685720375,38.83130901341597],[-77.07368071728229,38.83040844313318]]]}

詳細を参照。


JSON 文字列をパース

サポート対象:バッチ、高速、ストリーミング

指定されたスキーマ定義に従って JSON 文字列をパースし、スキーマにないフィールドを無視します。

式のカテゴリー: データ準備、よく使う、文字列、構造体

出力タイプ: Array<AnyType> | Map<String, String> | Struct

例

引数の値:

  • JSON: json
  • スキーマ: Struct<airline, airport<id, miles>>
  • 出力モード: null
json出力
{
 "airline": "XB-112",
 "airport": {
  "id": "JFK",
  "miles": 2000
 }
}
{
 airline: XB-112,
 airport: {
 id: JFK,
 miles: 2000,
},
}

詳細を参照。


KML 文字列をジオメトリとしてパース

サポート対象:バッチ、ストリーミング

KML のジオメトリ定義を GeoJSON としてパースします。すべての属性を無視します。この式はすでに抽出されたテキストに対して動作します。この式を使用する前に、ファイルからテキストを抽出してください。

式のカテゴリー: 地理空間

出力タイプ: String | Struct<ok, error>

例

説明: 基本的なポリゴン。

引数の値:

  • パースする KML 文字列: col
  • 出力モード: null
  • パース後にジオメトリを準備: null
col出力
<LineString>
<coordinates>
-71.1663,42.2614
-71.1667,42.2616
</coordinates>
</LineString>
{"type":"LineString","coordinates":[[-71.1663,42.2614],[-71.1667,42.2616]]}
<Polygon>
<extrude>1</extrude>
<altitudeMode>relativeToGround</altitudeMode>
<ou...
{"type":"Polygon","coordinates":[[[-122.0848938459612,37.42257124044786,17.0],[-122.0847882750515,37...
<Polygon>
<extrude>1</extrude>
<altitudeMode>relativeToGround</altitudeMode>
<ou...
{"type":"Polygon","coordinates":[[[-77.05465973756702,38.87291016281703,100.0],[-77.0531553685479,38...
<Point>
<coordinates>
-71.1663,42.2614
</coordinates>
</Point>
{"type":"Point","coordinates":[-71.1663,42.2614]}
<MultiGeometry>
<Polygon>
<outerBoundaryIs>
<coordinates> -71.1663,42.2614
-71.1...
{"type":"MultiPolygon","coordinates":[[[[-81.1679,32.2614],[-81.1679,32.28],[-81.1663,32.28],[-81.16...

詳細を参照。


KML 文字列をジオメトリリストとしてパース

サポート対象:バッチ、ストリーミング

KML 文字列を GeoJSON のリストとしてパースし、すべての KML 属性を無視します。

式のカテゴリー: 地理空間

出力タイプ: Array<Geometry> | Struct<ok<Struct<ok, error>>, error>

例

引数の値:

  • パースする KML 文字列: col
  • 出力モード: simple
  • パース後にジオメトリを準備: true
col出力
<?xml version="1.0" encoding="utf-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2">
<Do...
[ {"coordinates":[[-122.43193945401, 37.801983684521], [-122.431564131101, 37.8020327731402], [-122.43... ]

詳細を参照。


XML をスキーマに従ってパース

サポート対象:バッチ、ストリーミング

指定されたスキーマ定義に従って XML 文字列をパースし、スキーマにないフィールドを無視します。

式のカテゴリー: ファイル操作、構造体

出力タイプ: Struct

例

引数の値:

  • 入力スキーマ: Struct<id, airport<id, miles>>
  • Xml: xml
  • 属性の接頭辞: null
  • 名前空間を無視: null
  • 出力モード: SIMPLE
  • 値タグ: null
xml出力
<airline>
 <id>XB-112</id>
 <airport>
  <id>JFK</id>
  <miles>2000</miles>
 </airport>
</airline>
{
 airport: {
 id: JFK,
 miles: 2000,
},
 id: XB-112,
}

詳細を参照。


機密情報区分文字列をパース

サポート対象:バッチ、ストリーミング

指定された機密情報区分文字列からパースしたマーキングを返します。この出力は構造体形式で、構造体の最初の要素は、入力を表す機密情報区分マーキングで構成される配列です。機密情報区分文字列が無効な場合、またはマーキングのパース中にほかのエラーが発生した場合、このリストは null になります。構造体の2番目の要素は、エラーメッセージの文字列です。エラーがない場合、エラーフィールドは null になります。パフォーマンスのため、この式は非同期で呼び出されます。

式のカテゴリー: その他

出力タイプ: Struct<markingIds<Classification>, errors>

詳細を参照。


期間をパース

サポート対象:バッチ

ISO8601 形式の期間文字列と開始時間をパースし、指定の時間単位で期間の長さを求めます。

式のカテゴリー: 日時、文字列

出力タイプ: Long

例

引数の値:

  • 期間: PT1M30.5S
  • 開始時間: 2022-10-01T09:00:00Z
  • 単位: SECONDS

出力: 90

詳細を参照。


電話番号をパース

サポート対象:バッチ、高速、ストリーミング

さまざまな地域や形式の電話番号をパースし、共通の形式に正規化します。+ 記号の後に地域コードが続く電話番号は、地域が設定されていなくても正しくパースされます。それ以外のすべての番号形式を正しくパースするには、用意された選択肢から地域を選択する必要があります。パースできない電話番号の場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: Phone Number

例

説明: 書式設定された米国の電話番号を返します。

引数の値:

  • 式: phoneNumber
  • 形式: E164
  • 地域: US
phoneNumber出力
(234) 235-5678+12342355678
+1 415 5552671+14155552671
(415) 5552671+14155552671
Whatsapp@14155552671+14155552671

詳細を参照。


セマンティックバージョンをパース

サポート対象:バッチ、ストリーミング

セマンティックバージョン文字列をパースして論理型に変換します。リリースバージョン(例:「0.987.0」)と、プレリリースのメタデータを含むバージョン(例:「0.987.0-16-gb3fb285」)の両方をサポートします。文字列が期待される形式に一致しない場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: Semantic Version

例

引数の値:

  • バージョン文字列: version
version出力
0.987.0-16-gb3fb285{
 major -> 0,
 minor -> 987,
 patch -> 0,
 prerelease -> [ 16-gb3fb285 ],
}
1.0.0-0-g0000000{
 major -> 1,
 minor -> 0,
 patch -> 0,
 prerelease -> [ 0-g0000000 ],
}
2.5.3-42-gabc1234{
 major -> 2,
 minor -> 5,
 patch -> 3,
 prerelease -> [ 42-gabc1234 ],
}
0.987.0-SNAPSHOT{
 major -> 0,
 minor -> 987,
 patch -> 0,
 prerelease -> [ SNAPSHOT ],
}

詳細を参照。


Well-known binary をジオメトリとしてパース

サポート対象:バッチ、高速、ストリーミング

Well-known binary (WKB) をジオメトリの論理型に変換します。WKB の入力が無効な場合は null を返します。WKB がまだ WGS 84 形式でない場合は、変換元の座標系IDを任意で指定し、変換元の座標系から WGS 84 に変換できます。

式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

  • 式: wkb
  • 変換元の座標系: null
wkb出力
AAAAAAFACAAAAAAAAEAUAAAAAAAA{"type":"Point","coordinates":[3.0, 5.0]}
AIAAAAFACAAAAAAAAEAUAAAAAAAAQAAAAAAAAAA={"type":"Point","coordinates":[3.0, 5.0, 2.0]}
AAAAAAMAAAABAAAABAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA={"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
AAAAAAIAAAACAAAAAAAAAAAAAAAAAAAAAD/wAAAAAAAAAAAAAAAAAAA={"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}

詳細を参照。


WKT をジオメトリとしてパース

サポート対象:バッチ、高速、ストリーミング

well-known text (WKT) 文字列をジオメトリ論理型に変換します。無効な WKT 入力の場合は null を返します。WKT がまだ WGS 84 形式でない場合は、変換元の座標系 ID を任意で指定して、変換元の座標系から WGS 84 に変換できます。

式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

  • 式: wkt
  • 変換元の座標系: null
wkt出力
POINT (3.0 5.0 2.0){"type":"Point","coordinates":[3.0, 5.0, 2.0]}
POLYGON ((0.0 0.0, 1.0 0.0, 0.0 1.0, 0.0 0.0)){"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
LINESTRING (0.0 0.0, 1.0 0.0){"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}

詳細を参照。


配列をパーティション分割

サポート対象:バッチ、ストリーミング

要素の順序を維持しながら、配列を指定されたサイズ以下の連続した配列に分割します。サイズは正の整数である必要があります。配列またはサイズが null の場合、またはサイズが無効な場合は null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<Array<T>>

例

引数の値:

  • 配列: [ a, b, c, d, e ]
  • サイズ: 2

出力: [ [ a, b ], [ c, d ], [ e ] ]

詳細を参照。


周長

サポート対象:バッチ、ストリーミング

地球を球体で近似して、ジオメトリの周長をメートル単位で計算します。ラインストリングまたは点の場合は、0になります。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を参照。


正の剰余

サポート対象:バッチ、高速

式の正の剰余を返します。

式のカテゴリー: 数値

型変数の制約: T1 に指定できる型:Byte | Integer | Long | Short**T2 に指定できる型:Byte | Integer | Long | Short

出力タイプ: T1

例

引数の値:

  • 分母: 3
  • 分子: 10

出力: 1

詳細を参照。


べき乗

サポート対象:バッチ、高速、ストリーミング

式を指定された指数でべき乗した値を計算します。いずれかの値が null の場合は null を返します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 指数: 3
  • 式: 10

出力: 1000.0

詳細を参照。


ジオメトリを準備

サポート対象:バッチ、ストリーミング

ジオメトリ文字列を有効な GeoJSON に変換して、オントロジーへのインデックス化など、下流での使用に向けてジオメトリを準備します。ポリゴンは閉じられ、重複排除されます。180度経線をまたぐジオメトリ(幅が180度を超えることで判定)は、180度経線の両側にある複数のフィーチャーに分割されます。デフォルトでは、この操作は変換されたジオメトリを返し、文字列を変換できない場合は null を返します。一方、「エラーを表示」出力モードでは、この操作は正常にパースされた出力またはエラーの内容を説明するメッセージのいずれかを含む構造体を出力します。

式のカテゴリー: 地理空間

出力タイプ: Geometry | Struct<ok, error>

例

引数の値:

  • ジオメトリ文字列: geometry
  • 出力モード: null
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[10.0,0.0],[10.0,10.0],[0.0,10.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[1.0,0.0,1.0],[0.0,1.0,1.0],[0.0,0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[0.0,1.0,1.0],[1.0,0.0,1.0],[0.0,0.0,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [1.0,0.0], [0.0,1.0], [0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[179.0,-30.0],[-179.0,-30.0],[-179.0,30.0],[179.0,30.0],[179.0,-30]]]}{"type":"MultiPolygon","coordinates":[[[[-180.0,-30.0],[-180.0,30.0],[-179.0,30.0],[-179.0,-30.0],[-180.0,-30.0]]],[[[180.0,30.0],[180.0,-30.0],[179.0,-30.0],[179.0,30.0],[180.0,30.0]]]]}
{"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]}{"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]}
{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]...{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]...
{"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]}]}{"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]}]}
{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}...{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]]}
{"type":"GeometryCollection","geometries":[{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[],[[1.0,1.0],[2.0,1.0]]]},{"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]}]}{"geometries":[{"coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]],"type":"MultiLineString"},{"coordinates":[[0.0,0.0],[1.0,1.0]],"type":"MultiPoint"}],"type":"GeometryCollection"}
{"type":"MultiPolygon","coordinates":[[[[1.0,1.0],[2.0,1.0],[2.0,2.0],[1.0,2.0],[1.0,1.0]]],[[]],[[[10.0,10.0],[20.0,10.0],[20.0,20.0],[10.0,20.0],[10.0,10.0]]]]}{"type":"MultiPolygon","coordinates":[[[[1.0,2.0],[2.0,2.0],[2.0,1.0],[1.0,1.0],[1.0,2.0]]],[[[10.0,20.0],[20.0,20.0],[20.0,10.0],[10.0,10.0],[10.0,20.0]]]]}

詳細を参照。


ROUGE スコア

サポート対象:バッチ

予測テキストとターゲットテキストの ROUGE 適合率、再現率、F 値を計算します。テキストは小文字に変換され、ASCII の英字と数字のみが比較されます。それ以外のすべての文字は単語の区切り文字として扱われます。いずれかの入力が null の場合、またはスコア算出機能のサイズ制限を超える場合など、テキストのスコアを算出できない場合は null を返します。

式のカテゴリー: 距離測定、文字列

出力タイプ: Struct<precision, recall, fmeasure>

例

引数の値:

  • 予測: prediction
  • ROUGE の種類: rouge1
  • ターゲット: target
  • ステマーを使用: null
predictiontarget出力
the cat satthe cat sat{
 fmeasure: 1.0,
 precision: 1.0,
 recall: 1.0,
}

詳細を参照。


配列要素をリデュース

サポート対象:バッチ、ストリーミング

式を使用して配列要素をリデュースします。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:Array<Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp> | Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp

出力タイプ: T

例

引数の値:

  • 配列: miles
  • リデュースする式:
    add(
     expressions: [accumulator, element],
    )
  • 初期値: 0
miles出力
[ 12300, 12342 ]24642

詳細を参照。


正規表現で抽出

サポート対象:バッチ、高速、ストリーミング

正規表現から指定されたグループを抽出します。一致が見つからない場合は、空の文字列を返します。

式のカテゴリー: 正規表現、文字列

出力タイプ: 文字列

例

説明: 最初の一致から先頭の2文字を抽出します。

引数の値:

  • 式: MT-112, XB-967
  • グループ: 1
  • パターン: (\w\w)(-)

出力: MT

詳細を参照。


正規表現で検索

サポート対象:バッチ、高速、ストリーミング

式を正規表現と照合します。正規表現は文字列の任意の部分に一致できます。

式のカテゴリー: 正規表現、文字列

出力タイプ: ブール値

例

説明: 正規表現のパターンを検索できます。

引数の値:

  • 式: abcdefg
  • 正規表現: abc?d

出力: true

詳細を参照。


正規表現のインデックス

サポート対象:バッチ、高速、ストリーミング

指定された式で正規表現パターンが見つかる位置のインデックス(Unicode コードポイント単位でカウント)の配列を返します。

式のカテゴリー: 正規表現、文字列

出力タイプ: Array<Integer>

例

説明: 正規表現のパターンとそのインデックスを検索できます。

引数の値:

  • 式: ababab
  • 正規表現: ab

出力: [ 0, 2, 4 ]

詳細を参照。


正規表現で一致判定

サポート対象:バッチ、高速、ストリーミング

式を正規表現と照合します。正規表現は文字列全体に一致する必要があります。

式のカテゴリー: 正規表現、文字列

出力タイプ: ブール値

例

説明: 正規表現のパターンとの一致を判定できます

引数の値:

  • 式: abcdefg
  • 正規表現: abc?d.+

出力: true

詳細を参照。


正規表現で置換

サポート対象:バッチ、高速、ストリーミング

正規表現パターンを使用して文字列を置換します。

式のカテゴリー: 正規表現、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: tail_number
  • パターン: (\w\w)(-)
  • 置換: **-
tail_number出力
MT-123**-123
XB-434**-434
MT-123, XB-434**-123, **-434

詳細を参照。


キーでマップエントリーを削除

サポート対象:バッチ、ストリーミング

指定されたキーでマップエントリーを削除します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:AnyType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • キー: k
  • マップ: map_col
map_col出力
{
 a -> 1,
 k -> 2,
}
{
 a -> 1,
}

詳細を参照。


構造体フィールドの名前を変更

サポート対象:バッチ、高速、ストリーミング

構造体内のフィールドの名前を変更します。

式のカテゴリー: データ準備、構造体

出力タイプ: 構造体

例

引数の値:

  • 式: struct
  • 名前の変更: [(airline.id, identifier)]
struct出力
{
 airline: {
 id: NA,
},
}
{
 airline: {
 identifier: NA,
},
}
{
 airline: {
 id: FE,
},
}
{
 airline: {
 identifier: FE,
},
}

詳細を参照。


文字列の右側

サポート対象:バッチ、高速、ストリーミング

インデックスに基づいて文字列の右側を抽出します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 6

出力: world!

詳細を参照。


文字列の右側を埋める

サポート対象:バッチ、高速、ストリーミング

埋め込み文字を使用して、文字列列の右側を指定された長さまで埋めます。文字列の長さが指定された長さより大きい場合は、切り詰められます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 15
  • 埋め込み文字: *

出力: Hello world!***

詳細を参照。


数値を丸める

サポート対象:バッチ、高速、ストリーミング

小数点以下の桁数が「スケール」になるように数値を丸めます。

式のカテゴリー: 数値

出力タイプ: Decimal | Double | Float

例

引数の値:

  • 列: 10.123
  • スケール: 2

出力: 10.12

詳細を参照。


正割

サポート対象:バッチ、高速、ストリーミング

角度の正割を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.01.0
90.01.633123935319537E16
180.0-1.0

詳細を参照。


文頭を大文字に変換

サポート対象:バッチ、高速、ストリーミング

最初の単語の最初の文字を大文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: hello world

出力: Hello world

詳細を参照。


数列

サポート対象:バッチ、高速、ストリーミング

開始値から終了値までの範囲の数値を含む配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:Byte | Integer | Long | Short

出力タイプ: Array<T>

例

説明: 特に指定がない限り、数列は1ずつ増加します。

引数の値:

  • 終了: 10
  • 開始: 0
  • ステップサイズ: null

出力: [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 ]

詳細を参照。


類似度スコア

サポート対象:バッチ

2つの埋め込みベクトルの類似度スコアを返します。

式のカテゴリー: 距離測定、数値

型変数の制約: T に指定できる型:Array<Float>

出力タイプ: Double

詳細を参照。


ジオメトリを簡略化

サポート対象:バッチ、高速、ストリーミング

この式は、地球の球体モデルを使用して、指定された許容距離内の点を削除することで GeoJSON ジオメトリを簡略化します。許容距離より小さいループは完全に削除される場合があります。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ: Geometry
  • 許容距離: Tolerance
  • 座標精度: null
GeometryTolerance出力
{"type":"LineString","coordinates":[[30.0,0.0],[35.0,0.0],[40.0,0.0]]}1000{"type":"LineString","coordinates":[[30.0,0.0],[40.0,0.0]]}
{"type":"Polygon","coordinates":[[[-1.0,-1.0],[1.0,-1.0],[1.0,1.0],[0.0,1.0],[-1.0,1.0],[-1.0,-1.0]]]}12000{"type":"Polygon","coordinates":[[[-1.0,1.0],[1.0,1.0],[1.0,-1.0],[-1.0,-1.0],[-1.0,1.0]]]}
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[5.0,0.1],[10.0,0.0]], [[0.0,-5.0],[5.0,0.1],[10.0,5.0]]]}12000{"type":"MultiLineString","coordinates":[[[0.0,0.0],[10.0,0.0]],[[0.0,-5.0],[10.0,5.0]]]}
{"type":"MultiPolygon","coordinates":[[[[-2.0,-2.0],[2.0,-2.0],[2.0,2.0],[0.0,2.1],[-2.0,2.0],[-2.0,...12000{"type":"MultiPolygon","coordinates":[[[[-2.0,2.0],[2.0,2.0],[2.0,-2.0],[-2.0,-2.0],[-2.0,2.0]], [[1...

詳細を参照。


正弦

サポート対象:バッチ、高速、ストリーミング

角度の正弦を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.00.0
90.01.0
180.00.0

詳細を参照。


バイトをスキップ

サポート対象:バッチ、高速、ストリーミング

バイナリ列で指定されたバイト数をスキップします。

式のカテゴリー: バイナリ

出力タイプ: バイナリ

例

引数の値:

  • バイト: aGk=
  • スキップするバイト数: 1

出力: aQ==

詳細を表示。


配列をスライス

サポート対象:バッチ、高速、ストリーミング

最初の位置から2番目の位置までスライスした配列を返します。最初の位置は1以上である必要があります。2番目の位置が配列の長さを超える場合は、配列の残り全体を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

詳細を表示。


Soundex

サポート対象:バッチ、高速

単語の Soundex エンコーディング(音声的な表現)を計算します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: input_string
input_string出力
catC300
caatC300
twoT000
tooT000
toT000
fourF600
forF600
foreF600
furF600
meowM000
me owM000

詳細を表示。


文字列を分割

サポート対象:バッチ、高速、ストリーミング

指定された正規表現パターンで文字列を分割します。

式のカテゴリー: 文字列

出力タイプ: Array<String>

例

引数の値:

  • 式: string
  • パターン:
  • 制限: 2
string出力
hello[ hello ]
hello world[ hello, world ]
hello there world[ hello, there world ]

詳細を表示。


平方根

サポート対象:バッチ、高速、ストリーミング

列の平方根を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 9.0

出力: 3.0

詳細を表示。


指定値で始まる

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: ブール値

例

引数の値:

  • 式: Hello world
  • 大文字と小文字を区別しない: true
  • 値: hello

出力: true

詳細を表示。


区切り文字の後の文字列

サポート対象:バッチ、高速、ストリーミング

最初の区切り文字の後の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 区切り文字: hello
  • 式: ... Hello world
  • 大文字と小文字を区別しない: true

出力: world

詳細を表示。


区切り文字の前の文字列

サポート対象:バッチ、高速、ストリーミング

最初の区切り文字の前の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 区切り文字: hello
  • 式: ... Hello world
  • 大文字と小文字を区別しない: true

出力: ...

詳細を表示。


文字列が指定値を含む

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: ブール値

例

引数の値:

  • 式: ... Hello world
  • 大文字と小文字を区別しない: true
  • 値: hello

出力: true

詳細を表示。


部分文字列

サポート対象:バッチ、高速、ストリーミング

部分文字列を抽出します。

式のカテゴリー: 数値

出力タイプ: 文字列

例

引数の値:

  • 式: string
  • 開始: start
  • 長さ: length
stringstartlength出力
hello, world15hello
hello, world85world
hello, world-55world

詳細を表示。


複数の式を減算

サポート対象:バッチ、高速、ストリーミング

数値とすべての入力列との差を計算します。

式のカテゴリー: 数値

出力タイプ: 数値

例

引数の値:

  • 式のリスト: [col_b, col_c]
  • 減算される値: col_a
col_acol_bcol_c出力
5320
240-2
-2-4-24

詳細を表示。


数値を減算

サポート対象:バッチ、高速、ストリーミング

ある数値から別の数値を減算します。

式のカテゴリー: 数値

出力タイプ: 数値

例

引数の値:

  • 左: col_a
  • 右: col_b
col_acol_b出力
32428
-5-3-2

詳細を表示。


日付から値を減算

サポート対象:バッチ、高速、ストリーミング

「start」より「value」日/週/月/四半期/年前の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

引数の値:

  • Date: 2022-04-05
  • 単位: DAYS
  • 値: 2

出力: 2022-04-03

詳細を表示。


配列要素の合計

サポート対象:バッチ、高速、ストリーミング

配列内の要素を合計します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:DefiniteNumeric

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]
  • null をゼロとして扱う: true

出力: 6

詳細を表示。


正接

サポート対象:バッチ、高速、ストリーミング

角度の正接を求めます。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.00.0
90.01.633123935319537E16
180.00.0

詳細を表示。


テキストのセグメント化

サポート対象:バッチ、高速、ストリーミング

スライディングウィンドウによるセグメント化を使用して、一連のテキストセグメントを抽出します。

式のカテゴリー: 文字列

出力タイプ: Array<String>

詳細を表示。


テキストを埋め込みに変換

サポート対象:バッチ、高速

テキストを埋め込みに変換します。

式のカテゴリー: 文字列

出力タイプ: 埋め込みベクトル

例

説明: 単語「palantir」の埋め込みの例です。

引数の値:

  • モデル:
    ada002Embedding(

    )
  • テキスト列: text
  • 出力モード: null
text出力
palantir[ -0.019182289, -0.02127992, 0.009529043, -0.008066221, -0.0014429842, 0.019154688, -0.023556953, -0...

詳細を表示。


タイムスタンプに加算

サポート対象:バッチ、高速、ストリーミング

指定された単位でタイムスタンプに値を足し合わせます。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • Timestamp: 2022-02-01T00:00:00Z
  • 単位: MILLISECONDS
  • 加算する値: 2

出力: 2022-02-01T00:00:00.002Z

詳細を表示。


タイムスタンプの差

サポート対象:バッチ、高速、ストリーミング

2つのタイムスタンプの差を指定された時間単位で返します。

式のカテゴリー: 日時

出力タイプ: Long

例

引数の値:

  • 終了: 2022-10-01T10:00:00Z
  • 開始: 2022-10-01T09:00:00Z
  • 単位: HOURS

出力: 1

詳細を表示。


タイムスタンプのシーケンス

サポート対象:バッチ、高速

開始から終了までの範囲のタイムスタンプを含む配列を作成します。

式のカテゴリー: 日時

出力タイプ: Array<Timestamp>

例

引数の値:

  • 終了時間: end_time
  • 開始時間: start_time
  • ステップの単位: DAYS
  • ステップサイズ: 1.0
start_timeend_time出力
2023-01-01T00:00:00Z2023-01-03T00:00:00Z[ 2023-01-01T00:00:00Z, 2023-01-02T00:00:00Z, 2023-01-03T00:00:00Z ]
2023-01-01T01:50:00Z2023-01-03T00:00:00Z[ 2023-01-01T01:50:00Z, 2023-01-02T01:50:00Z ]

詳細を参照。


タイムスタンプの減算

サポート対象:バッチ、高速、ストリーミング

指定した単位でタイムスタンプから値を減算します。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • Timestamp: 2022-02-02T00:00:00Z
  • 単位: MILLISECONDS
  • 減算する値: 2

出力: 2022-02-01T23:59:59.998Z

詳細を参照。


タイムスタンプからエポックミリ秒へ変換

サポート対象:バッチ、高速、ストリーミング

UTC のタイムスタンプをエポックミリ秒に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: Long

例

引数の値:

  • Timestamp: 2022-10-01T09:00:00Z

出力: 1664614800000

詳細を参照。


タイムスタンプからエポック秒へ変換

サポート対象:バッチ、高速、ストリーミング

UTC のタイムスタンプをエポック秒に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: Long

例

引数の値:

  • Timestamp: 2022-10-01T09:01:13.47Z

出力: 1664614873

詳細を参照。


タイトルケース

サポート対象:バッチ、高速、ストリーミング

各単語の最初の文字を大文字に、残りを小文字に変換します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: hello world

出力: Hello World

詳細を参照。


トークンセット比率

サポート対象:バッチ、ストリーミング

2つの文字列間のトークンセット比率を計算します。トークンセット比率は、2つの文字列の類似度を表す指標で、0から1までの値を返します。0は2つの文字列に類似性がないことを意味し、1は同一であること(または一方がもう一方の部分文字列であること)を意味します。

式のカテゴリー: 距離測定、文字列

出力タイプ: Double

例

引数の値:

  • 大文字と小文字を区別しない: false
  • 左: left
  • 右: right
leftright出力
hello worldworld hello1.0
Hellohello world0.5
hello hello WorlDhello world0.8181818181818181
hellofarewell0.46153846153846156
空の文字列空の文字列1.0

詳細を参照。


CPU を使用して音声を JSON に文字起こし

サポート対象:バッチ

CPU を使用して音声ファイルを JSON に文字起こしします。

式のカテゴリー: メディア

出力タイプ: String

詳細を参照。


GPU を使用して音声を JSON に文字起こし

サポート対象:バッチ

GPU を使用して音声ファイルを JSON に文字起こしします。

式のカテゴリー: メディア

出力タイプ: String

詳細を参照。


音声をテキストに文字起こし

サポート対象:バッチ、高速

音声ファイルをテキストに文字起こしします。

式のカテゴリー: メディア

出力タイプ: String | Struct<ok, error>

詳細を参照。


配列要素を変換

サポート対象:バッチ、ストリーミング

式を使用して配列の各要素をマッピングします。配列のインデックスは1から始まることに注意してください。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: flight_number
  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: element,
     ignoreCase: false,
    )
flight_number出力
[ XB-134, MT-111 ][ XB, MT ]

詳細を参照。


マップのキーを変換

サポート対象:バッチ、ストリーミング

すべてのキーと値のペアに式を適用して、マップのキーを変換します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:AnyType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: key,
     ignoreCase: false,
    )
  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
{
 MT -> 2,
 XB -> 1,
}

詳細を参照。


マップの値を変換

サポート対象:バッチ

すべてのキーと値のペアに式を適用して、マップの値を変換します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:AnyType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: value,
     ignoreCase: false,
    )
  • マップ: flight_number
flight_number出力
{
 1 -> XB-134,
 2 -> MT-111,
}
{
 1 -> XB,
 2 -> MT,
}

詳細を参照。


空白文字を除去

サポート対象:バッチ、高速、ストリーミング

文字列の先頭と末尾の空白文字を除去します。空白文字は、1) Unicode の \p{whitespace} セット、2) Java の String#trim() メソッド、3) Java の Character#isWhitespace() メソッドのいずれかで定義される文字です。

式のカテゴリー: データ準備、文字列

出力タイプ: String

例

引数の値:

  • 式: hello world

出力: hello world

詳細を参照。


日付を切り詰め

サポート対象:バッチ、高速

日、週、月、四半期、年の単位で切り捨てた日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

詳細を参照。


タイムスタンプを切り詰め

サポート対象:バッチ、高速

指定した単位に切り詰めたタイムスタンプを返します。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • 開始: 2022-02-01T10:10:10.0022Z
  • 単位: MILLISECONDS

出力: 2022-02-01T10:10:10.002Z

詳細を参照。


UUID V5

サポート対象:バッチ、高速、ストリーミング

SHA-1 ハッシュ(RFC 4122)を使用して、名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。同じ名前空間と名前からは、常に同じ UUID が生成されます。名前空間が有効な UUID でない場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: String

例

説明: 名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。

引数の値:

  • 名前: name
  • 名前空間 UUID: namespace
namespacename出力
6ba7b810-9dad-11d1-80b4-00c04fd430c8hello9342d47a-1bab-5709-9869-c840b2eac501
6BA7B810-9DAD-11D1-80B4-00C04FD430C8hello9342d47a-1bab-5709-9869-c840b2eac501
6ba7b811-9dad-11d1-80b4-00c04fd430c8https://example.com4fd35a71-71ef-5a55-a9d9-aa75c889a6d0

詳細を参照。


H3 インデックスのセットを圧縮解除

サポート対象:バッチ、高速、ストリーミング

H3 インデックスを指定された解像度に圧縮解除します。入力インデックスの解像度はすべて、指定された解像度以下である必要があります。そうでない場合、このデータ加工は null を返します。入力インデックスのいずれかが無効な場合、このデータ加工は null を返します。出力インデックスは昇順に並べ替えられます。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を見る。


Unicode 正規化

サポート対象:バッチ、高速、ストリーミング

Unicode 標準附属書 #15 に従って Unicode 正規化を実行します。

式のカテゴリー: データ準備、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
  • 正規化形式: nfkc
string出力
123123
イナゴイナゴ

詳細を見る。


一様乱数

サポート対象:バッチ、高速、ストリーミング

0から1の間で抽出された一様乱数の列を返します。これは決定論的ではなく、シードを使用した場合でも、ビルドを繰り返すと同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Double

詳細を見る。


汎用一意識別子(uuid)(不安定)

サポート対象:バッチ、高速、ストリーミング

UUID の列を返します。これは決定論的ではなく、ビルドを繰り返すと同じ結果にはなりません。ID 列を作成する方法としては推奨されません。SHA-256 や UUID v5 など、決定論的なほかの方法を検討してください。

式のカテゴリー: 文字列

出力タイプ: 文字列

詳細を見る。


大文字

サポート対象:バッチ、高速、ストリーミング

文字列内のすべての文字を大文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: hello World

出力: HELLO WORLD

詳細を見る。


URL デコード

サポート対象:バッチ、高速、ストリーミング

パーセントエンコードされた文字列をプレーンテキストにデコードします。

式のカテゴリー: 型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
string出力
raw_string_with_no_special_charactersraw_string_with_no_special_characters
test%2Fapi%3Fstring%3D3test/api?string=3

詳細を見る。


URL エンコード

サポート対象:バッチ、高速、ストリーミング

URL で送信する文字列をパーセントエンコードします。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
string出力
raw_string_with_no_special_charactersraw_string_with_no_special_characters
test/api?string=3test%2Fapi%3Fstring%3D3

詳細を見る。


LLM を使用

サポート対象:バッチ、高速

設定可能なプロンプトを使用して LLM を呼び出します。

式のカテゴリー: 文字列

出力タイプ: Array<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Struct<ok<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Timestamp, error> | Timestamp

例

引数の値:

  • モデル:
    gpt4ChatModel(
     temperature: 0.0,
    )
  • プロンプト: prompt
  • システムプロンプト: [フードデリバリーアプリにおいて、次のユーザープロンプトで提供されるレビューを評価するのがあなたの仕事です...]
  • 出力モード: null
  • 出力タイプ: null
prompt出力
料理がとてもおいしかったです!5

詳細を見る。


マップから値を取得

サポート対象:バッチ、高速、ストリーミング

キーを使用してマップから値を取得します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型:ComparableType**V に指定できる型:AnyType

出力タイプ: V

例

引数の値:

  • キー: Foo
  • マップ: {
     Bar -> World,
     Foo -> Hello,
    }

出力: Hello

詳細を見る。


集計式


すべての論理積

サポート対象:バッチ、高速

集計対象のブール値の論理積(and)を計算します。null 値には SQL ANSI のセマンティクスを使用します。

式のカテゴリー: 集計

出力タイプ: ブール値

例

引数の値:

  • 式: values

入力テーブル:

values
true
false
true

出力: false

詳細を参照。


いずれかの論理和

サポート対象:バッチ、高速

集計対象のブール値の論理和(or)を計算します。null 値には SQL ANSI のセマンティクスを使用します。

式のカテゴリー: 集計

出力タイプ: ブール値

例

引数の値:

  • 式: values

入力テーブル:

values
true
false
true

出力: true

詳細を参照。


近似中央値

サポート対象:バッチ

列内の値の近似中央値を計算します。

式のカテゴリー: 集計

出力タイプ: 数値

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を参照。


近似パーセンタイル

サポート対象:バッチ

式の近似パーセンタイルを返します。これは、式の値を小さい順に並べたときに、その値以下の式の値の割合が指定された割合を超えない、最小の値です。

式のカテゴリー: 集計

出力タイプ: Array<Numeric> | Byte | Decimal | Double | Float | Integer | Long | Short

例

引数の値:

  • 式: values
  • パーセンタイル: [0.5]
  • 正確さ: null

入力テーブル:

values
2
4
3

出力: 3

詳細を参照。


配列を収集

サポート対象:バッチ、高速、ストリーミング

各グループ内の値を配列に収集します。null 値は無視されます。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
2
3

出力: [ 2, 2, 3 ]

詳細を参照。


重複を排除して配列を収集

サポート対象:バッチ、高速、ストリーミング

各グループ内の値を重複排除して配列に収集します。null 値は無視されます。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:ComparableType

出力タイプ: Array<T>

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
2
3

出力: [ 2, 3 ]

詳細を参照。


共分散

サポート対象:バッチ、ストリーミング

2列の値の母共分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -2.0

詳細を参照。


順序付き Geopoint 行から単純なジオメトリを作成

サポート対象:バッチ

指定された Geopoint の列と順序に基づき、Geopoint を指定の順序でつないで、ポリゴンまたはラインストリングを返します。この関数は、データがテーブル形式であり、各行がラインストリングまたはポリゴンの外殻内の個々の Geopoint を表し、点の順序を指定する列があることを前提としています。ポリゴンの場合、この順序は外殻を反時計回りにたどる点の順序を示す必要があります。これらの点の順序とパーティション(グループ化)が指定されると、関数は並べ替え基準の列の昇順で Geopoint をつなぎ、そのパーティションに必要なジオメトリを構築します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • Geopoint: geo_point
  • 並べ替え基準(昇順): order
  • 出力ジオメトリの種類: LINE_STRING

入力テーブル:

geo_pointorder
{
 latitude -> 0.0,
 longitude -> 0.0,
}
0
{
 latitude -> 1.0,
 longitude -> 0.0,
}
1
{
 latitude -> 1.0,
 longitude -> 1.0,
}
2

出力: {"type":"LineString","coordinates": [[0.0,0.0],[0.0, 1.0],[1.0,1.0]]}

詳細を参照。


欠番なし順位

サポート対象:バッチ、高速

ウィンドウパーティション内の行の順位を、欠番なしで返します。同順位の場合、行には同じ順位が付けられます。rank と dense_rank の違いは、dense_rank では同順位があっても順位の連番に欠番が生じないことです。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を参照。


一意の値の件数

サポート対象:バッチ、高速、ストリーミング

列内の一意の値の数を計算します。

式のカテゴリー: 集計

出力タイプ: Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を参照。


最初の項目

サポート対象:バッチ、高速、ストリーミング

グループ内の最初の項目です。集計内、または順序が指定されていないウィンドウ内で使用した場合、選択される行は非決定論的になります。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 式: values
  • null を無視: false

入力テーブル:

values
null
2
4
3

出力: null

詳細を参照。


グループ化されたジオメトリのエンベロープ

サポート対象:バッチ、高速

指定された列内のすべての有効なジオメトリのエンベロープを返します。無効なジオメトリは null として扱われ、無視されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"LineString","coordinates":[[1,0],[0,8.4]]}
{"type":"Point","coordinates":[125.6, -92.3]}
{"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]}

出力: {"type":"Polygon","coordinates":[[[-6.0,-92.3],[-6.0,8.4],[125.6,8.4],[125.6,-92.3],[-6.0,-92.3]]]}

詳細を参照。


グループ化されたジオメトリの和集合

サポート対象:バッチ

グループ化されたジオメトリを組み合わせて、単一のジオメトリを作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}

出力: {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}

詳細を参照。


グループ化した緯度・経度の境界ボックス

サポート対象:バッチ

指定された列に含まれるすべての有効なジオメトリを囲む境界ボックスを格納した構造体を返します。無効なジオメトリは null として扱われ、無視されます。

式のカテゴリー: 地理空間

出力タイプ: LatLonBoundingBox

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"LineString","coordinates":[[1,0],[0,8.4]]}
{"type":"Point","coordinates":[125.6, -92.3]}
{"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]}

出力: {
 maxLat -> 8.4,
 maxLon -> 125.6,
 minLat -> -92.3,
 minLon -> -6.0,
}

詳細を表示。


遅延

サポート対象:バッチ、高速

ウィンドウ内で現在の行から指定された行数だけ前の行について、入力式を評価した値を返します。たとえば、遅延が1の場合は現在の行の直前の行の値を返し、遅延が2の場合は2行前の値を返します。このように、自己結合を使わずに、現在の行の値と前の行の値を比較できます。

これには、順序付けされたウィンドウが必要です。現在の行の前に来る行はウィンドウの順序によって決まるため、結果を決定論的にするには順序を指定する必要があります。

現在の行がウィンドウの最初の数行にある場合など、指定された行数だけ前の行がウィンドウに存在しない場合、この関数はデフォルト値を返します。デフォルト値が指定されていない場合は null を返します。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 式: price
  • デフォルトの値: null
  • 遅延: 1
price出力
100null
105100
98105
10298

詳細を表示。


最後の項目

サポート対象:バッチ、高速、ストリーミング

グループ内の最後の項目を返します。集計または順序付けされていないウィンドウ内で使用した場合、選択される行は非決定論的になることに注意してください。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 式: values
  • null を無視: false

入力テーブル:

values
2
4
3
null

出力: null

詳細を表示。


先行

サポート対象:バッチ、高速

ウィンドウ内で現在の行から指定された行数だけ後の行における入力式の値を返します。行数は「lead」引数で指定します(デフォルトは1で、直後の行です)。現在の行の後に来る行はウィンドウの順序によって決まるため、順序付けされたウィンドウが必要です。

式のカテゴリー: 集計

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

例

引数の値:

  • 式: price
  • デフォルトの値: null
  • 先行: 1
price出力
100105
10598
98102
102null

詳細を表示。


線形回帰の傾き

サポート対象:バッチ

グループ内の null でない値のペアに対する線形回帰直線の傾きを返します。null でない値のペアが不足している場合、または独立変数の分散がゼロの場合は null を返します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -1.0

詳細を表示。


最大値

サポート対象:バッチ、高速、ストリーミング

列の最大値を計算します。

式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 4

詳細を表示。


指定した式による最大値

サポート対象:ストリーミング

この式は、指定されたフィルター条件を適用した後、最大値を求める列の式に基づいて最大値の行を計算します。最大値の行が存在しない場合は null を返します。

式のカテゴリー: 集計

出力タイプ: AnyType

例

引数の値:

  • 式: salary
  • 出力射影式: salary
  • フィルター条件:
    lessThan(
     left: salary,
     right: 5000,
    )

入力テーブル:

dep_namesalary
develop9900
develop4000
develop3000

出力: 4000

詳細を表示。


平均

サポート対象:バッチ、高速、ストリーミング

列の値の平均を計算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3.0

詳細を表示。


中央値

サポート対象:バッチ、高速

列の値の中央値を計算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3.0

詳細を表示。


最小値

サポート対象:バッチ、高速、ストリーミング

列の最小値を計算します。

式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 2

詳細を表示。


指定した式による最小値

サポート対象:ストリーミング

この式は、指定されたフィルター条件を適用した後、最小値を求める列の式に基づいて最小値の行を計算します。最小値の行が存在しない場合は null を返します。

式のカテゴリー: 集計

出力タイプ: AnyType

例

引数の値:

  • 式: salary
  • 出力射影式: salary
  • フィルター条件:
    greaterThan(
     left: salary,
     right: 0,
    )

入力テーブル:

dep_namesalary
develop-999
develop4000
develop3000

出力: 3000

詳細を表示。


最頻値

サポート対象:バッチ、高速

列の値の最頻値を計算します。

式のカテゴリー: 集計

型変数の制約: Any に指定できる型:Binary | Boolean | Byte | Date | Decimal | Double | Float | Integer | Long | Short | String | Timestamp

出力タイプ: Any

例

引数の値:

  • 式: values

入力テーブル:

values
a
b
b
b
c
c
d

出力: b

詳細を表示。


パーセント順位

サポート対象:バッチ、高速

ウィンドウパーティション内の行のパーセンタイルを返します。同順位には同じパーセント値が割り当てられます。

式のカテゴリー: 集計

出力タイプ: Double

詳細を表示。


ピボット

サポート対象:ストリーミング

ピボットのコンテキストで集計式を適用します。集計は、ピボット式の一意の値ごとに範囲を限定した個別の集計として実行されます。出力は、ピボット値から集計式の値へのマップです。

式のカテゴリー: 集計

型変数の制約: K に指定できる型:ComparableType**V に指定できる型:AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 集計式:
    sum(
     expression: value,
    )
  • ピボット式: pivot

入力テーブル:

pivotvalue
a1
b2
a3

出力: {
 a -> 4,
 b -> 2,
}

詳細を表示。


積

サポート対象:バッチ

すべての入力列の積を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
4
3

出力: 24.0

詳細を表示。


順位

サポート対象:バッチ、高速

ウィンドウパーティション内の行の順位を返します。同順位の場合、行には同じ順位が割り当てられます。rank と dense_rank の違いは、rank では同順位がある場合に順位の連番に欠番が生じることです。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を表示。


行数

サポート対象:バッチ、高速、ストリーミング

グループ内の null でない行の数を数えます。

式のカテゴリー: 集計

出力タイプ: Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を表示。


行番号

サポート対象:バッチ、高速、ストリーミング

各パーティション内で1から始まる連番を返します。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を表示。


標本共分散

サポート対象:バッチ、ストリーミング

2列の値の標本共分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -2.5

詳細を表示。


標本分散

サポート対象:バッチ、高速、ストリーミング

列の値の標本分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
2
3

出力: 0.33333333333

詳細を表示。


標準偏差

サポート対象:バッチ、高速

列の値の標準偏差を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 0.81649658092773

詳細を表示。


合計

サポート対象:バッチ、高速、ストリーミング

指定した式を合計します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double | Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 9

詳細を表示。


分散

サポート対象:バッチ、高速、ストリーミング

列の値の母分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 0.66666666667

詳細を表示。


ジェネレーター式


配列の分解

サポート対象:バッチ、高速、ストリーミング

配列を値ごとに1行に分解します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: T

詳細を表示。


位置付き配列の分解

サポート対象:バッチ、ストリーミング

配列を値ごとに1行に分解し、配列内の要素の相対位置と要素自体を含む構造体として出力します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型:AnyType

出力タイプ: Struct<Optional[position], Optional[element]>

例

引数の値:

  • 配列: array
  • 空の配列 / null の配列を保持: null

入力テーブル:

array
[ one, two, three ]
[ four, five ]

期待される出力テーブル: | array | | ----- | | {
 element -> one,
 position -> 1,
} | | {
 element -> two,
 position -> 2,
} | | {
 element -> three,
 position -> 3,
} | | {
 element -> four,
 position -> 1,
} | | {
 element -> five,
 position -> 2,
} |

詳細を表示。


マップの分解

サポート対象:バッチ、ストリーミング

マップをキーと値のペアごとに1行に分解します。

式のカテゴリー: マップ

型変数の制約: TKey に指定できる型:AnyType**TValue に指定できる型:AnyType

出力タイプ: Struct<Optional[key], Optional[value]>

例

引数の値:

  • 式: map

入力テーブル:

map
{
 1 -> val1,
 2 -> val2,
}
{
 3 -> val3,
 4 -> val4,
}

期待される出力テーブル: | map | | ----- | | {
 key -> 1,
 value -> val1,
} | | {
 key -> 2,
 value -> val2,
} | | {
 key -> 3,
 value -> val3,
} | | {
 key -> 4,
 value -> val4,
} |

詳細を表示。


データ加工


集計

サポート対象:バッチ、高速

入力データセットを列でグループ化し、指定された集計を実行します。

データ加工のカテゴリー:集計、よく使う

例

引数の値:

  • 集計: [
    alias(
     alias: factor,
     expression:
    sum(
     expression: factor,
    ),
    )]
  • データセット: ri.foundry.main.dataset.aggregate
  • グループ化する列: [tail_number]

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberfactor
XB-12310
MT-2229
KK-4521

詳細を参照。


条件に基づく集計

サポート対象:バッチ、高速

条件文に基づいて式を集計します。

データ加工のカテゴリー:集計、よく使う

詳細を参照。


ウィンドウ内の集計

サポート対象:ストリーミング

ウィンドウ内のデータに対して指定された集計を実行し、指定されたトリガーに従って出力します。

データ加工のカテゴリー:集計

詳細を参照。


アンチ結合

サポート対象:バッチ、高速

左右の入力データセットをアンチ結合し、指定された条件に一致する行を左側のリレーションからすべて削除します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

入力:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairline
PA-452new air

詳細を参照。


式を適用

サポート対象:バッチ、高速、ストリーミング

単一の式を適用して入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 式:
    alias(
     alias: kilometers,
     expression:
    convertDistance(
     amount: miles,
     currentUnit: mile,
     targetUnit: kilometer,
    ),
    )

入力:

airlinemiles
foundry airways2500
new air3000

出力:

kilometersairlinemiles
4023.36foundry airways2500
4828.03new air3000

詳細を参照。


複数の式を適用

サポート対象:バッチ、高速、ストリーミング

列を選択するか、列に関数を適用して、入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • 列: [
    alias(
     alias: airline,
     expression: airline,
    )]
  • データセット: ri.foundry.main.dataset.a
  • 残りの列を保持: false

入力:

airlinemiles
foundry airways2500
new air3000

出力:

airline
foundry airways
new air

詳細を参照。


ウィンドウ内に適用

サポート対象:ストリーミング

ウィンドウによって収集された行のバッチに、指定された操作を適用します。この操作は、ウィンドウ内の行を受け取り、出力行を生成します。

データ加工のカテゴリー:その他

詳細を参照。


複数の列に適用

サポート対象:バッチ、高速、ストリーミング

列を選択するか、列に関数を適用して、入力データセットを加工します。

データ加工のカテゴリー:よく使う

詳細を参照。


配列要素を列に変換

サポート対象:バッチ、高速

配列から要素を抽出して列にします。

データ加工のカテゴリー:配列

例

引数の値:

  • 配列: stats
  • 抽出する列: [miles, id]
  • データセット: ri.foundry.main.dataset.a

入力:

stats
[ 1000, 2 ]

出力:

milesidstats
10002[ 1000, 2 ]

詳細を参照。


タイムスタンプとウォーターマークを割り当て

サポート対象:ストリーミング

入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプが null のレコードを除外します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • タイムスタンプの式: timestamp
  • レコードごとにウォーターマークを出力: null
  • アイドルタイムアウトの単位: null
  • アイドルタイムアウトの値: null

入力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

出力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

詳細を参照。


データをコアレス

サポート対象:バッチ、高速

パーティション数を減らす操作です。1000個のパーティションを100個にまとめる場合、シャッフルは発生せず、代わりに100個の新しいパーティションがそれぞれ現在のパーティションを10個ずつ引き継ぎます。現在より多いパーティション数を指定した場合、パーティション数は現在のまま変わりません。

データ加工のカテゴリー:その他

詳細を参照。


式が存在しない場合に計算

サポート対象:バッチ、高速

新しい行に対して式を計算します。指定されたキーの値は、ビルドをまたいでも1回しか計算されません。

データ加工のカテゴリー:その他

詳細を参照。


メディアセットをテーブル行に変換

サポート対象:バッチ

メディアセット内のメディアアイテムの Media Reference と基本的なメタデータを含むデータセットを生成します。

データ加工のカテゴリー:ファイル操作、メディア

詳細を参照。


クロス結合

サポート対象:バッチ、高速

左側と右側の入力データセットをクロス結合し、それぞれの側のすべての行を、もう一方の側のすべての行と組み合わせます。出力は2つのデータセットの直積になります。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
PA-452new air2122

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
XB-123foundry airCPH
XB-123foundry airJFK
XB-123foundry airIAD
MT-222new airlineLHR
MT-222new airlineCPH
MT-222new airlineJFK
MT-222new airlineIAD
PA-452new airLHR
PA-452new airCPH
PA-452new airJFK
PA-452new airIAD

詳細を参照。


日付の分布

サポート対象:バッチ

指定された列の日付/タイムスタンプの分布を計算します。

データ加工のカテゴリー:日時

詳細を参照。


gzip ファイルを解凍

サポート対象:バッチ

gzip 圧縮されたファイルのデータセット内の各ファイルを解凍します。ファイルを解凍するデータ加工と、その下流のすべてのノードをプレビューするには、編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を参照。


tar ファイルを解凍

サポート対象:バッチ

tar ファイルのデータセット内の各ファイルを解凍します。tar ファイルを解凍するデータ加工と、その下流のすべてのノードをプレビューするには、編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を参照。


列を削除

サポート対象:バッチ、高速、ストリーミング

指定された列を削除して、入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • 削除する列: {miles}
  • データセット: ri.foundry.main.dataset.a

入力:

airlinemilesairports
foundry airways3000[ JFK, SFO ]

出力:

airlineairports
foundry airways[ JFK, SFO ]

詳細を参照。


重複を削除

サポート対象:バッチ、高速

入力から重複する行を削除します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.aggregate
  • 列のサブセット: {tail_number}

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
KK-452new air2221

詳細を参照。


空のファイル

サポート対象:バッチ

空のファイルを作成します。

データ加工のカテゴリー:その他

詳細を参照。


空のメディアセットファイル

サポート対象:バッチ、ストリーミング

指定されたスキーマと SNAPSHOT 読み取りモードで、空のメディアセットファイルを作成します。

データ加工のカテゴリー:その他

詳細を参照。


空のテーブル

サポート対象:バッチ、高速、ストリーミング

指定されたスキーマと読み取りモードで、空のテーブルを作成します。

データ加工のカテゴリー:その他

例

引数の値:

  • スキーマ: Struct<flight_code, flight_number, airline>
  • 読み取りモード: null

インプット:

出力:

flight_codeflight_numberairline

詳細を参照。


データセットからファイルメタデータを行として抽出

サポート対象:バッチ、高速

ファイルのデータセットから、ファイルメタデータを行として読み取ります。

データ加工のカテゴリー:ファイル操作

詳細を参照。


複数の構造体フィールドを抽出

サポート対象:バッチ、高速

構造体から複数のフィールドを抽出します。元の構造体は削除されます。

データ加工のカテゴリー:構造体

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • ロケーター: [(airline.name, airline), (tail_no, tail_number)]
  • 構造体: raw

入力:

raw
{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

出力:

airlinetail_number
new airNA-123
foundry airwaysFA-123

詳細を参照。


CSV ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 CSV ファイルをパースして行に変換します。

データ加工のカテゴリー:ファイル操作

詳細を参照。


GeoJSON ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 GeoJSON ファイルをパースして行に変換します。出力データセットには、_error 列と _file 列に加えて、ジオメトリ列と、ユーザーが列挙した各プロパティの列が含まれます。抽出するプロパティをユーザーが指定しない場合、properties 構造体全体が文字列として properties 列に抽出されます。ファイル内のすべての GeoJSON は、次のいずれかである必要があります。 a) 複数行の FeatureCollection:ファイル全体に FeatureCollection 型の GeoJSON が1個含まれる形式 b) 単一行の Feature:すべての行が、完全に有効な Feature 型の GeoJSON であるファイル。

データ加工のカテゴリー:ファイル操作、地理空間

詳細を参照。


JSON ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 JSON ファイルをパースして行に変換します。

データ加工のカテゴリー:ファイル操作、文字列、構造体

詳細を参照。


メールファイルのデータセットから行を抽出

サポート対象:バッチ

メールファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。サポートされる拡張子:.eml、.emltpl、.msg。

データ加工のカテゴリー:ファイル操作、メディア

詳細を参照。


テキストファイルのデータセットから行を抽出

サポート対象:バッチ

テキストファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。

データ加工のカテゴリー:ファイル操作、文字列

詳細を参照。


Excel ファイルから行を抽出

サポート対象:バッチ

Microsoft Excel ファイルのデータセットを読み取り、各ファイルを行にパースします。サポートされるファイル形式:.xls、.xlt、.xltm、.xltx、.xlsx、.xlsm。

個々の Excel ファイルの処理は複数の Spark エグゼキューターに分散されないため、入力データセットにファイルがちょうど1個含まれると想定される場合は、ビルド設定でローカル Spark の使用を有効にすることを推奨します。

特に大きな Excel ファイルの処理には大量のメモリーが必要になることがあります。メモリー不足エラーによってビルドが失敗する場合は、エグゼキューターメモリーを増やしたカスタムビルド設定(ローカル Spark の場合はドライバーメモリーを増やした設定)の使用を検討してください。このような大きなファイルでは、出力をプレビューできない場合がありますが、適切なビルド設定であればデプロイは成功する可能性があります。

データ加工のカテゴリー:ファイル操作

詳細を参照。


XML ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 XML ファイルを行にパースします。

データ加工のカテゴリー:ファイル操作

詳細を参照。


シェープファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各シェープファイルを行にパースします。.shp、.shx、.dbf ファイル以外のすべてのファイルは無視されます。このシェープファイルパーサーは、ポイント、ポリライン、ポリゴン、マルチポイントのジオメトリタイプのみをサポートします。出力データセットには、_error 列と _file 列に加えて、geometry 列と、ユーザーが指定したプロパティごとの列が含まれます。抽出するプロパティをユーザーが指定しない場合は、properties 構造体全体が文字列として properties 列に抽出されます。プロパティ名と値でサポートされるエンコーディングは UTF-8 のみです(別のエンコーディングを指定する .cpg ファイルが存在しても無視されます)。

データ加工のカテゴリー:ファイル操作、地理空間

詳細を参照。


フィルター

サポート対象:バッチ、高速、ストリーミング

指定されたフィルター条件に基づいて入力データセットを絞り込みます。

データ加工のカテゴリー:データ準備、よく使う

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • フィルター条件: recently_serviced

入力:

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

出力:

recently_servicedtail_number
trueKK-150
trueMT-190

詳細を参照。


ファイルを絞り込み

サポート対象:バッチ

ファイルのデータセットを絞り込みます。

データ加工のカテゴリー:ファイル操作

詳細を参照。


最初のデータセットの列名で縦結合

サポート対象:バッチ、高速

最初のデータセットの列に基づいてデータセットを縦結合し、列がない場合は null を追加します。最初のデータセットに存在しない列は削除されます。

データ加工のカテゴリー:結合

例

引数の値:

  • 縦結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

入力:

ri.foundry.main.dataset.a

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

ri.foundry.main.dataset.b

recently_servicedtail_numberhome_country
trueAA-200US
trueBN-435UK
trueBN-111UK

出力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT
trueAA-200null
trueBN-435null
trueBN-111null

詳細を参照。


構造体を平坦化

サポート対象:バッチ、高速、ストリーミング

構造体のすべてのフィールドを出力データセットの列に変換します。

データ加工のカテゴリー:構造体

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 式: raw
  • 最大深度: 2
  • 列の接頭辞: new_
  • 区切り文字: null

入力:

raw
{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

出力:

new_airline_namenew_airline_idnew_tail_noraw
new airNANA-123{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
foundry airwaysFAFA-123{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

詳細を参照。


頻出パターン成長

サポート対象:バッチ

頻出パターン成長(FP-growth)は、データセット内の頻出パターンを検出します。

データ加工のカテゴリー:集計、その他

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 項目列: customer_attributes
  • 最小支持度: 0.6

入力:

customer_attributes
[ age_group: 20-30, country: Germany, gender: Female ]
[ age_group: 20-30, country: Germany, gender: Male ]

出力:

patternpattern_occurrencetotal_count
[ country: Germany, age_group: 20-30 ]22
[ age_group: 20-30 ]22
[ country: Germany ]22

詳細を参照。


地理距離による内部結合

サポート対象:バッチ

入力ジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。内部では、結合の前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, arrayCol],
    )
  • 距離: 10.0
  • 結合キー: (geometryColLhs, geometryCol)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: EPSG:4326
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: rhs_

入力:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0
{"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"}44.0

ri.foundry.main.dataset.right

geometryColcol1arrayCol
{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}rhsVal1[ 0.0, 1.0 ]
{"coordinates": [[[21.0, 21.0], [27.0, 21.0], [27.0, 27.0], [21.0, 27.0], [21.0, 21.0]]], "type": "Polygon"}rhsVal2[ 0.0, 1.0 ]

出力:

geometryColLhslhs-1rhs_geometryColrhs_arrayCol
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}[ 0.0, 1.0 ]
{"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"}44.0{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}[ 0.0, 1.0 ]

詳細を参照。


地理距離による左結合

サポート対象:バッチ

入力ジオメトリ間の距離が指定された距離以下の場合に、データセットを左結合します。内部では、結合前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColRhs, rhs-1],
    )
  • 距離: 1640.42
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: epsg:2868
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0
null43.0

ri.foundry.main.dataset.right

geometryColRhsrhs-1
{"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"}rhsVal1
{"coordinates": [-112.11796760559083,33.440895931474124], "type":"Point"}rhsVal2

出力:

geometryColLhslhs-1geometryColRhsrhs-1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"}rhsVal1
null43.0nullnull

詳細を見る。


地理交差による内部結合

サポート対象:バッチ、ストリーミング

入力ジオメトリが重なるかどうかに基づいて、左側と右側のデータセットを内部結合します。接しているだけのジオメトリも結果に含まれます。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

出力:

geometryColLhscol1LhsgeometryColRhscol1Rhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9

詳細を見る。


地理交差による左アンチ結合

サポート対象:ストリーミング

入力ジオメトリが重なるかどうかに基づいて、入力データセットをアンチ結合します。左側のデータセットのうち、右側のデータセットのどのジオメトリとも交差しないジオメトリを持つ行のみを返します。結合キーが null または無効な行は、交差しないものとみなされます。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4

出力:

geometryColLhscol1Lhs
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

詳細を見る。


地理交差左結合

サポート対象:バッチ、ストリーミング

入力ジオメトリが重なっているかどうかに基づいて、入力データセットを左結合します。接しているだけのジオメトリも結果に含まれます。null または無効なジオメトリは一致を返しません。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

アウトプット:

geometryColLhscol1LhsgeometryColRhscol1Rhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [55.0, 5.0], "type":"Point"}43.0nullnull

詳細を参照。


Geopoint 間の3次元距離による内部結合

サポート対象:バッチ

ポイントジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。ジオメトリはポイントを表す必要があり、任意で z 座標を含めることができます。内部的には、結合前にジオメトリを指定された投影座標系に変換し、その後 WGS84 に戻します。ポイント以外のジオメトリは無視され、右側のデータセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセットの最大400万個のポイントを処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, arrayCol],
    )
  • 距離: 2.5
  • 結合キー: (geometryColLhs, geometryCol)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: EPSG:4326
  • 右側のデータセット: ri.foundry.main.dataset.right
  • z 座標を使用: false
  • 右側の列の接頭辞: rhs_

インプット:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0
{"coordinates": [0.0, 0.0], "type":"Point"}44.0

ri.foundry.main.dataset.right

geometryColcol1arrayCol
{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}rhsVal1[ 0.0, 1.0 ]
{"coordinates": [0.0, 1.0], "type":"Point"}rhsVal2[ 0.0, 1.0 ]

アウトプット:

geometryColLhslhs-1rhs_geometryColrhs_arrayCol
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]

詳細を参照。


ジオメトリの交差結合

サポート対象:バッチ

入力ジオメトリが重なるかどうかに基づいて、左側と右側のデータセットを内部結合します。結合キーの列ペアのジオメトリが交差する場合、両方のデータセットのすべての列を含む行を返します。現在、複数の結合キーによる結合には対応していません。結合キーのジオメトリ値が null の場合は、通知せずに除外します。左側と右側のデータセットに同じ列名があってはなりません。結合列内の無効な GeoJSON は、通知せずに null にします。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 結合キー: [(geometryColLhs, geometryColRhs)]
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

インプット:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0

ri.foundry.main.dataset.right

geometryColRhsrhs-1
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

アウトプット:

geometryColLhslhs-1geometryColRhsrhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9

詳細を参照。


ジオメトリの knn 内部結合

サポート対象:バッチ

基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体が、ドライバーおよびエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 基本データセット: ri.foundry.main.dataset.left
  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, lhsCol],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, col],
    )
  • 結合キー: (geometryCol, geometryCol)
  • K: 2
  • 近傍データセット: ri.foundry.main.dataset.right
  • 投影座標系: epsg:2868
  • 右側の列の接頭辞: rhs_

インプット:

ri.foundry.main.dataset.left

geometryCollhsCol
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0

ri.foundry.main.dataset.right

geometryColcol
{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2
{
 latitude: 33.440895931474124,
 longitude: -112.11796760559083,
}
rhsVal3

アウトプット:

geometryCollhsColrhs_geometryColrhs_col
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2

詳細を参照。


ジオメトリの knn 左結合

サポート対象:バッチ

基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体が、ドライバーおよびエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 基本データセット: ri.foundry.main.dataset.left
  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, lhsCol],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, col],
    )
  • 結合キー: (geometryCol, geometryCol)
  • K: 2
  • 近傍データセット: ri.foundry.main.dataset.right
  • 投影座標系: epsg:2868
  • 右側の列の接頭辞: rhs_

インプット:

ri.foundry.main.dataset.left

geometryCollhsCol
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0

ri.foundry.main.dataset.right

geometryColcol
{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2
{
 latitude: 33.440895931474124,
 longitude: -112.11796760559083,
}
rhsVal3

アウトプット:

geometryCollhsColrhs_geometryColrhs_col
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2

詳細を参照。


Media Reference を取得(データセット)

サポート対象:バッチ

データセット内のファイルの Media Reference と基本メタデータを含むデータセットを生成します。

データ加工のカテゴリー:ファイル操作

詳細を参照。


ハートビート検出

サポート対象:ストリーミング

指定したキーの集合について、設定可能な時間にわたってレコードが確認されていないことを検出します。

データ加工のカテゴリー:その他

詳細を参照。


内部結合

サポート対象:バッチ、高速

2個のデータセットを結合し、指定した条件を満たす行のみを各テーブルから保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
XB-123foundry airlineLHR

詳細を参照。


結合

サポート対象:バッチ、高速、ストリーミング

左側と右側の入力データセットを結合します。

データ加工のカテゴリー:結合

詳細を参照。


K-means クラスタリング

サポート対象:バッチ

K-means クラスタリングは、教師なし機械学習アルゴリズムです。データセットのベクトルを k 個のクラスターにグループ化します。k の値は、最小 k から最大 k までの指定範囲で最良のシルエットスコアを計算することで決定されます。k 値の数は、最小 k 以上最大 k 以下の範囲内で試す k 値の数を定義します。

データ加工のカテゴリー:その他

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 最大 k: 12
  • 最小 k: 3
  • k 値の数: 4
  • ベクトル列: feature_column

入力:

feature_column
[ 0.05, 3.1, 2.3 ]
[ 1.0, 3.1, 2.3 ]
[ 1.0, 3.5, 2.3 ]
[ 19.0, 12.3, -1.4 ]

出力:

feature_columncluster_id
[ 1.0, 3.1, 2.3 ]0
[ 1.0, 3.5, 2.3 ]0
[ 19.0, 12.3, -1.4 ]1
[ 0.05, 3.1, 2.3 ]2

詳細を参照。


KNN 結合

サポート対象:バッチ

距離尺度に基づいて、左側のデータセットの各行に対し、右側のデータセットから最も近い k 行を返します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [fuzzy_airline, home_airport],
    )
  • 距離尺度の式:
    alias(
     alias: distance,
     expression:
    levenshteinDistance(
     ignoreCase: true,
     left: airline,
     right: fuzzy_airline,
    ),
    )
  • 最近傍数 K: 2
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 順位列名: rank
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
PA-452new air2122

ri.foundry.main.dataset.right

fuzzy_airlinehome_airport
airLHR
new airlineCPH
new planeJFK
old airIAD

出力:

rankdistancetail_numberairlinefuzzy_airlinehome_airport
13PA-452new airold airIAD
24PA-452new airairLHR
24PA-452new airnew airlineCPH
24PA-452new airnew planeJFK
10MT-222new airlinenew airlineCPH
24MT-222new airlinenew planeJFK
15XB-123foundry airold airIAD
28XB-123foundry airairLHR

詳細を参照。


重複を保持

サポート対象:バッチ、高速

入力から重複する行を保持します。

データ加工のカテゴリー:その他

例

引数の値:

  • 列のサブセット: {tail_number}
  • データセット: ri.foundry.main.dataset.aggregate

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
XB-123foundry airline11343

詳細を参照。


キーを設定

サポート対象:ストリーミング

指定したキー列に基づいて入力にキーを設定します。この操作ではデータは再度並べ替えられず、キーが設定された時点以降のキーごとの順序のみが維持されることに注意してください。キーを再設定したデータが特定の順序に依存していた場合、以前のキー設定ですでにその順序が維持されていなければ、その順序は保証できないため、データのキーの再設定は安全でない可能性があります。また、cdc(変更データキャプチャ)モードが有効な場合は、主キーも設定します。主キーは、現在のビューとして読み取る際に、どの行が更新または削除に該当するか、およびその順序を示す列を定義します。

データ加工のカテゴリー:その他

詳細を参照。


左結合

サポート対象:バッチ、高速

2個のデータセットを結合し、左側のテーブルのすべての行と、右側のテーブルの指定された条件を満たす行のみを保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR

詳細を表示。


左参照結合

サポート対象:ストリーミング

2個のデータセットを結合し、左側のテーブルのすべての行と、右側のデータセットの一致する行のみを保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件: [(tail_number, tail_number)]
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 1行に結合する最大行数: 10
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR

詳細を表示。


手動入力テーブル

サポート対象:バッチ、高速、ストリーミング

手動で入力したテーブルデータを使用して出力を作成します。

データ加工のカテゴリー:その他

例

引数の値:

  • 行: [{
     airline: foundry airlines,
     flight_code: 112,
     flight_number: XB-123,
    }, {
     airline: foundry airlines,
     flight_code: 533,
     flight_number: MT-444,
    }, {
     airline: new air,
     flight_code: 934,
     flight_number: KK-123,
    }]
  • スキーマ: Struct<flight_code, flight_number, airline>

インプット:

出力:

flight_codeflight_numberairline
112XB-123foundry airlines
533MT-444foundry airlines
934KK-123new air

詳細を表示。


マッピング結合

サポート対象:バッチ、高速

ソースデータセットの対象の列の値を、マッピングデータセットの値で置き換えます。

データ加工のカテゴリー:結合

型変数の制約: T1 に指定できる型:AnyType**T2 に指定できる型:AnyType

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.input
  • マッピング値のキー列: flight_code
  • マッピングデータセット: ri.foundry.main.dataset.mapping
  • 対象の列: [flight_no, next_flight]
  • マッピングに使用する値: flight_number
  • マッピングが一意であると仮定: null
  • デフォルトの値: unknown

インプット:

ri.foundry.main.dataset.input

flight_nonext_flightdeparture_time
5331122022-01-20T10:45:00Z
9345332022-01-20T11:20:00Z
2229342022-01-20T11:20:00Z

ri.foundry.main.dataset.mapping

flight_codeflight_numberairline
112XB-123foundry airlines
533MT-444foundry airlines
934KK-123new air

出力:

flight_nonext_flightdeparture_time
MT-444XB-1232022-01-20T10:45:00Z
KK-123MT-4442022-01-20T11:20:00Z
unknownKK-1232022-01-20T11:20:00Z

詳細を表示。


共通の列名で縦結合

サポート対象:バッチ、高速

データセット間で共通する列名に基づいてデータセットを縦結合し、すべての入力データセットに存在するわけではない列は削除します。

データ加工のカテゴリー:結合

例

引数の値:

  • 縦結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

インプット:

ri.foundry.main.dataset.a

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190
trueAA-200
trueBN-435
trueBN-111

詳細を表示。


新しいオペレーターチェーン

サポート対象:ストリーミング

Flink の高度な機能で、ここから新しいオペレーターチェーンを開始します。

データ加工のカテゴリー:その他

詳細を表示。


列名を正規化

サポート対象:バッチ、高速、ストリーミング

列名を正規化し、lower_snake_case を使用するようにします。

キャメルケースの各境界にアンダースコアを挿入し、すべての英字を小文字に変換し、ハイフンと連続する空白をアンダースコアに置き換え、ピリオドを削除します。Foundry で列名に使用できない文字(,;{}()=、タブ、改行文字)は、特殊文字を削除する引数が有効かどうかにかかわらず、常にアンダースコアに置き換えます。その後、連続するアンダースコアを1個のアンダースコアにまとめ、先頭または末尾のアンダースコアを削除します。

データ加工のカテゴリー:データ準備

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 特殊文字を削除: null

入力:

recentlyServicedtailNumber_airlineCode
trueKK-150KK
falseXB-120XB
trueMT-190MT

出力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を表示。


数値分布

サポート対象:バッチ、高速

指定した列の数値の分布を計算します。

データ加工のカテゴリー:数値

詳細を表示。


外部キャッシュ結合

サポート対象:ストリーミング

すべての一致条件を満たし、キャッシュウィンドウ内にある左側と右側の入力の行を、両方の入力の一致しない行とともに返します。

データ加工のカテゴリー:結合

詳細を表示。


外部キャッシュ結合

サポート対象:ストリーミング

左側と右側のデータセット入力を結合し、後続の結合で使用するために、各側でイベント時間が最も大きいレコードをキャッシュします。同順位の場合は、レコードの処理時間を使用して優先順位を決めます。同時刻の場合、結合先の値がなければ、結果を楽観的に出力します。

データ加工のカテゴリー:結合

詳細を表示。


外部結合

サポート対象:バッチ、高速

指定されたデータセット入力を外部結合し、両方のデータセットのすべての行を保持します。指定された条件を満たす行がない場合、列の値は null になります。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR
JR-201nullIAD

詳細を表示。


KML ファイルをジオメトリのリストにパース

サポート対象:バッチ

各生 KML ファイルを、型付きジオメトリのリストにパースします。

データ加工のカテゴリー:ファイル操作

詳細を表示。


ピボット

サポート対象:バッチ、高速

列でグループ化した入力データセットに対して、指定された集計を実行します。実行時より前に出力スキーマを確定できるよう、ピボット対象の一意の値を指定する必要があります。これにより、長期的な実行時の安定性が向上します。

データ加工のカテゴリー:集計、よく使う

型変数の制約: T に指定できる型:Boolean | Byte | Integer | Long | Short | String

例

引数の値:

  • 集計: [
    alias(
     alias: miles,
     expression:
    mean(
     expression: miles,
    ),
    )]
  • データセット: ri.foundry.main.dataset.a
  • グループ化する列: [airline]
  • ピボット対象の列: airport
  • ピボット対象の値: [(JFK, new_york), (LHR, london)]
  • 接頭辞または接尾辞のエイリアス: null

入力:

airlineairportmiles
foundry airwaysJFK1002345
foundry airwaysLHR2221324
new airSFO21356673
new airJFK12323456
foundry airwaysLHR12542352
new airJFK12232355

出力:

airlinenew_york_mileslondon_miles
foundry airways1002345.07381838.0
new air1.22779055E7null

詳細を表示。


ウィンドウ内の射影

サポート対象:バッチ、高速、ストリーミング

ウィンドウ内のデータに対して、指定された集計を実行します。新しい行を受信するたびに1行を出力します。

データ加工のカテゴリー:集計

詳細を表示。


範囲

サポート対象:バッチ、高速

「id」という名前の Long 型の列を1列持つテーブルを作成します。この列には、開始値(この値を含む)から終了値(この値を含まない)まで、ステップの増分で値が格納されます。

データ加工のカテゴリー:その他

例

引数の値:

  • 終了: 10
  • 開始: 2
  • ステップ: 3

インプット:

出力:

id
2
5
8

詳細を表示。


列の名前を変更

サポート対象:バッチ、高速、ストリーミング

列の名前を変更します。

データ加工のカテゴリー:データ準備、よく使う

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 名前の変更: [(recently_serviced, does_not_require_service)]

入力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

出力:

does_not_require_servicetail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を表示。


データを再パーティション分割

サポート対象:バッチ、高速

任意で指定されたパーティション分割用の列と、結果のパーティション数に基づいて、データを強制的にシャッフルします。これらが指定されていない場合、パーティション分割は自動的に決定されます。

データ加工のカテゴリー:その他

詳細を表示。


ロールアップ

サポート対象:バッチ、高速

入力データセットに対して、異なる粒度で指定された集計を実行し、中間集計と上位集計の両方を生成します。

データ加工のカテゴリー:集計

例

引数の値:

  • 集計: [
    alias(
     alias: mean_price,
     expression:
    mean(
     expression: price,
    ),
    )]
  • データセット: ri.foundry.main.dataset.rollupBaseCase
  • ロールアップ列: [city, model]

入力:

citymodelpricestore
Londonnew phone900.0MegaMart
Londonnew phone850.75AA
Londonnew phone870.75ABC Zone
San Francisconew phone1000.0Prescos
San Francisconew phone950.25XZY Force
San Francisconew phone1105.7Phone Mart
LondonforestX 20750.1MegaMart
LondonforestX 20690.0AA
LondonforestX 20730.0ABC Zone
San FranciscoforestX 20890.4Prescos
San FranciscoforestX 20900.1XZY Force
San FranciscoforestX 201050.75Phone Mart

出力:

citymodelmean_price
Londonnew phone873.8333333333334
LondonforestX 20723.3666666666667
Londonnull798.6
San Francisconew phone1018.65
San FranciscoforestX 20947.0833333333334
San Francisconull982.8666666666667
nullnull890.7333333333335

詳細を表示。


行サイズ

サポート対象:バッチ

JVM 内の1行のサイズを推定します。

データ加工のカテゴリー:その他

詳細を表示。


列を選択

サポート対象:バッチ、高速、ストリーミング

入力データセットから列を選択します。

データ加工のカテゴリー:よく使う

詳細を表示。


セミ結合

サポート対象:バッチ、高速

左側と右側の入力データセットをセミ結合します。結合条件に一致しない行はすべて削除されます。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11342

詳細を見る。


並べ替え

サポート対象:バッチ、高速

列を選択するか、列に関数を適用して、入力データセットを加工します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 並べ替えの指定: [(b, DESCENDING)]

入力:

ab
12
34
56

出力:

ab
56
34
12

詳細を見る。


条件で分割

サポート対象:バッチ、高速

選択した条件に基づいて、入力を2つの出力に分割します。

データ加工のカテゴリー:その他

詳細を見る。


テキストブロック

サポート対象:バッチ、高速、ストリーミング

データ加工の間にテキストの説明を挿入します。入力データは一切加工されません。

データ加工のカテゴリー:その他

詳細を見る。


時間制限付き重複削除

サポート対象:ストリーミング

指定した列のサブセットに基づいて、入力から重複行を削除します。処理済みの行は、設定したイベント時間が経過すると有効期限が切れます。設定したイベント時間を超えて遅れて到着した行は、常に破棄されます。指定したキーでパーティション分割します。重複削除は、キー列の値ごとに個別に計算されます。

データ加工のカテゴリー:その他

詳細を見る。


時間制限付き順序外行削除

サポート対象:ストリーミング

すべてのキー列の値が同じで、順序が正しくない行を削除します。並べ替えの列と方向に基づいて、同じキー値を持つすでに受信した行より前に位置するはずの行は、順序が正しくないと判断されます。2行の比較では、まず最初の並べ替え列と方向を評価し、同値の場合に限り、次の並べ替え列と方向に進みます。これを順序が確定するまで繰り返します。すべての並べ替え列が同値の場合、行は等しいとみなされます。キーごとの現在の最大値は、そのキーで新しい行を受信しない状態が、イベント時間で有効期限以上続くまで保存されます。有効期限以上の時間にわたってキーで新しい行を受信しなかった場合、そのキーの新しい行が破棄されることはなく、常に新しい現在の最大値として保存されます。

データ加工のカテゴリー:その他

詳細を見る。


時間制限付きイベント時間並べ替え

サポート対象:ストリーミング

少なくとも許容遅延までは遅れて到着するレコードを受け入れ、キーごとにイベント時間の昇順で行を出力します。許容遅延に短いバッファー時間を加えた時間を過ぎて到着したレコードは破棄されます。

データ加工のカテゴリー:その他

詳細を見る。


先頭行

サポート対象:バッチ、高速

並べ替え済みの各パーティションから先頭行を選択します。

データ加工のカテゴリー:集計

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • パーティション分割に使用する列: {airline}
  • 並べ替えの指定: [(airport, DESCENDING), (miles, ASCENDING)]
  • 行数: null

入力:

airlineairportmiles
foundry airwaysJFK1002345
foundry airwaysLHR2221324
new airSFO21356673
new airJFK12323456
foundry airwaysLHR12542352
new airJFK12232355

出力:

airlineairportmiles
foundry airwaysLHR2221324
new airSFO21356673

詳細を見る。


列名で縦結合

サポート対象:バッチ、高速、ストリーミング

一致する列名に基づいてデータセットを縦結合します。

データ加工のカテゴリー:結合

例

引数の値:

  • 縦結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

インプット:

ri.foundry.main.dataset.a

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細を見る。


ファイルを縦結合

サポート対象:バッチ

ファイルのデータセットを縦結合します。

データ加工のカテゴリー:ファイル操作

詳細を見る。


アンピボット

サポート対象:バッチ、高速、ストリーミング

アンピボットは、ピボットの逆の操作です。複数の列を行に変換し、データを横持ち形式から縦持ち形式に変換します。そのために、元の列名を値として格納する列と、対応するデータ値を格納する列の2つの新しい列を作成します。アンピボット対象として選択した列の値は、列名が出力列名と一致する場合でも含まれます。その他の列はそのまま保持されますが、列名が出力列名と一致する場合は、出力列に置き換えられます。

データ加工のカテゴリー:集計、よく使う

型変数の制約: T に指定できる型:AnyType

例

引数の値:

  • アンピボットする列: [new_york_miles, london_miles]
  • データセット: ri.foundry.main.dataset.a
  • 名前列: city
  • 値列: miles

入力:

airlinenew_york_mileslondon_miles
foundry airways10006000
new airnull8000

出力:

citymilesairline
new_york_miles1000foundry airways
london_miles6000foundry airways
new_york_milesnullnew air
london_miles8000new air

詳細を見る。


ファイルを解凍

サポート対象:バッチ

ZIP ファイルのデータセット内の各ファイルを解凍します。ZIP 以外のファイルは無視されます。ファイルを解凍するデータ加工と、その下流にあるすべてのノードをプレビューするには、編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を見る。


列名を大文字に変換

サポート対象:バッチ、高速、ストリーミング

データセット内のすべての列名を大文字に変換します。

データ加工のカテゴリー:データ準備

例

引数の値:

  • データセット: ri.foundry.main.dataset.a

入力:

recentlyServicedtailNumberairlineCode
trueKK-150KK
falseXB-120XB
trueMT-190MT

出力:

RECENTLYSERVICEDTAILNUMBERAIRLINECODE
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を表示。


列名でワイド縦結合

サポート対象:バッチ、高速、ストリーミング

データセットの列名のスーパーセットに基づいてデータセットを縦結合し、列がない場合は null を追加します。

データ加工のカテゴリー:結合

例

引数の値:

  • 縦結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

インプット:

ri.foundry.main.dataset.a

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_numberairline_code
trueKK-150null
falseXB-120null
trueMT-190null
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細を表示。


ウィンドウ

サポート対象:バッチ、高速

入力データセットを指定した列でグループ化し、指定した集計を実行します。

データ加工のカテゴリー:集計、よく使う

詳細を表示。