注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

関数インデックス

Pipeline Builder は、さまざまなレベルで動作する式を提供します。これらは一般に、行レベル、集計、ジェネレーターに分類できます。

行レベルの関数は、単一行の値に対して動作します。ほとんどの式はこのカテゴリーに属します。たとえば、add です。

集計は、複数行の値を1つに集計します。たとえば、「sum」式です。

ジェネレーターは、単一行から複数の値を生成します。たとえば、「explode_array」式です。

データ加工は、テーブル全体または複数のテーブルに対して動作する関数です。たとえば、「drop」データ加工です。このドキュメントでは、利用可能な式とデータ加工の概要を説明します。

行レベルの式


絶対値

サポート対象:バッチ、高速、ストリーミング

絶対値を返します。

式のカテゴリー: 数値

型変数の制約: T に指定できる型: Numeric

出力タイプ: T

例

引数の値:

  • 式: numeric_column
numeric_column出力
0.00.0
1.11.1
-1.11.1

詳細を表示。


数値を加算

サポート対象:バッチ、高速、ストリーミング

すべての入力列の合計を計算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式: [col_a, col_b]
col_acol_b出力
011
3-21

詳細を表示。


マップを追加または更新

サポート対象:バッチ、ストリーミング

マップ内のキーに対応する値を更新するか、新しいキーと値のペアを追加します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 式: 4
  • キー: k
  • マップ: map_col
map_col出力
{
 a -> 1,
 b -> 2,
 k -> 2,
}
{
 a -> 1,
 b -> 2,
 k -> 4,
}
{
 a -> 1,
 b -> 2,
}
{
 a -> 1,
 b -> 2,
 k -> 4,
}

詳細を表示。


構造体フィールドを追加または更新

サポート対象:バッチ、高速、ストリーミング

構造体のフィールドを更新するか、新しいフィールドを追加します。

式のカテゴリー: 構造体

出力タイプ: Struct

例

引数の値:

  • 式: value
  • ロケーター: airline.id
  • 構造体: struct
structvalue出力
{
 airline: {
 id: NA,
},
}
1{
 airline: {
 id: 1,
},
}
{
 airline: {
 id: FE,
},
}
2{
 airline: {
 id: 2,
},
}

詳細を表示。


日付に値を加算

サポート対象:バッチ、高速、ストリーミング

「start」から「value」日/週/月/四半期/年後の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

引数の値:

  • 日付: 2022-02-01
  • 単位: DAYS
  • 値: 2

出力: 2022-02-03

詳細を表示。


配列のすべての要素が条件を満たす

サポート対象:バッチ、ストリーミング

配列のすべての要素について式が true の場合に true を返します。

式のカテゴリー: 配列

出力タイプ: Boolean

例

引数の値:

  • 配列: miles
  • ブール条件:
    isNull(
     expression: element,
    )
miles出力
[ 12300, null ]false
[ null, null ]true

詳細を表示。


論理積

サポート対象:バッチ、高速、ストリーミング

指定した条件がすべて true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: Boolean

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruetrue
truefalsefalse
falsetruefalse
falsefalsefalse

詳細を表示。


配列のいずれかの要素が条件を満たす

サポート対象:バッチ、ストリーミング

配列のいずれかの要素について式が true の場合に true を返します。

式のカテゴリー: 配列

出力タイプ: Boolean

例

引数の値:

  • 配列: miles
  • ブール条件:
    isNull(
     expression: element,
    )
miles出力
[ 12300, null ]true
[ 12300, 12000 ]false

詳細を表示。


逆余弦

サポート対象:バッチ、高速、ストリーミング

逆余弦関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: radians
  • 値: 1.0

出力: 0.0

詳細を表示。


逆正弦

サポート対象:バッチ、高速、ストリーミング

逆正弦関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: radians
  • 値: 0.0

出力: 0.0

詳細を表示。


逆正接

サポート対象:バッチ、高速、ストリーミング

逆正接関数です。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 値: angle
angle出力
-1.0-45.0
0.00.0
1.045.0

詳細を表示。


Arctan2

サポート対象:バッチ、高速、ストリーミング

原点から点 (x, y) に向かう半直線と x 軸の正の方向との間の角度 θ を、−π<θ<=π の範囲で返します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • X: x
  • Y: y
yx出力
0.00.00.0
1.00.090.0
0.0-1.0180.0
-1.00.0-90.0

詳細を表示。


面積

サポート対象:バッチ、ストリーミング

地球を球体として近似し、ジオメトリの面積を平方メートル単位で計算します。ラインストリングまたは点の場合は、0 になります。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を表示。


配列に追加

サポート対象:バッチ、高速、ストリーミング

配列の指定したインデックスに値を追加します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: numbers
  • インデックス: 1
  • 値: 1
numbers出力
[ 3, 5 ][ 1, 3, 5 ]
[ 2 ][ 1, 2 ]
[ ][ 1 ]

詳細を表示。


配列の直積

サポート対象:バッチ、ストリーミング

配列の直積を計算します。

式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値:

  • 式: [first, second]
firstsecond出力
[ 1, 2 ][ 3, 4 ][ {
 first: 1,
 second: 3,
}, {
 first: 1,
 *second...

詳細を表示。


配列を連結

サポート対象:バッチ、高速、ストリーミング

指定した配列を、重複を排除せずに1つの配列に連結します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 4, 5 ]]

出力: [ 1, 2, 3, 4, 5 ]

詳細を表示。


配列が値を含む

サポート対象:バッチ、高速、ストリーミング

配列が値を含む場合に true を返します。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 配列: part_ids
  • 値: BRR-123
part_ids出力
[ AWE-112, BRR-123 ]true
[ AWE-222, ABC-543 ]false

詳細を表示。


配列に null が含まれる

サポート対象:バッチ、高速、ストリーミング

array に null が含まれる場合に true を返します。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: part_ids
part_ids出力
[ AWE-112, BRR-123, null ]true
[ AWE-222, ABC-543 ]false

詳細を表示。


配列の差集合

サポート対象:バッチ、高速、ストリーミング

left 配列の要素のうち、right 配列に含まれない一意の要素をすべて返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 左の配列: [ 1, 2, 3 ]
  • 右の配列: [ 2, 3, 4 ]

出力: [ 1 ]

詳細を表示。


配列の重複を削除

サポート対象:バッチ、高速、ストリーミング

重複を削除し、配列から一意の値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: ComparableType

出力タイプ: Array<T>

例

引数の値:

  • 式: [ 1, 1, 2, 3 ]

出力: [ 1, 2, 3 ]

詳細を表示。


配列の要素

サポート対象:バッチ、高速、ストリーミング

入力配列の指定された位置にある要素を返します。位置が配列の範囲外の場合は null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 配列: [ 10, 11, 12 ]
  • 位置: 1

出力: 10

詳細を表示。


配列の要素が一意

サポート対象:バッチ、高速、ストリーミング

配列の要素が一意の場合に true を返し、それ以外の場合は false を返します。複数の null は等しいものとして扱われます。

式のカテゴリー: 配列、ブール値

出力タイプ: Boolean

例

引数の値:

  • 式: part_ids
part_ids出力
[ ABC-123, DCE-123, EFG-123 ]true
[ ABC-123, ABC-123, EFG-123 ]false

詳細を表示。


配列をフラット化

サポート対象:バッチ、高速、ストリーミング

入力されたネストされた配列のうち、ネストの最初の階層にある要素を結合して、単一の配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: array
array出力
[ [ 1, 2, 3 ], [ 4, 5, 6 ] ][ 1, 2, 3, 4, 5, 6 ]

詳細を表示。


配列の積集合

サポート対象:バッチ、高速、ストリーミング

重複を削除し、配列のリストの積集合を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: [ 3 ]

詳細を表示。


配列の最大値

サポート対象:バッチ、高速、ストリーミング

配列列の最大値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: ComparableType

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: 3

詳細を表示。


配列の最小値

サポート対象:バッチ、高速、ストリーミング

配列列の最小値を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: ComparableType

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: 1

詳細を表示。


配列内の位置

サポート対象:バッチ、高速、ストリーミング

指定された配列で「value」が最初に出現する位置/インデックスを返します。値が見つからない場合、または引数のいずれかが null の場合は null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Long

例

引数の値:

  • 配列: [ 10, 11, 12 ]
  • 値: 10

出力: 1

詳細を表示。


配列から削除

サポート対象:バッチ、高速、ストリーミング

指定された配列から、指定された「value」をすべて削除した配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: [ 1, 2, 3 ]
  • 値: 1

出力: [ 2, 3 ]

詳細を表示。


配列を繰り返す

サポート対象:バッチ、高速、ストリーミング

array の内容を value 回連結した配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: [ 1, 2 ]
  • 値: 2

出力: [ 1, 2, 1, 2 ]

詳細を表示。


配列を反転

サポート対象:バッチ、高速、ストリーミング

「array」内の要素の順序を反転します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [ 1, 2, 3 ]

出力: [ 3, 2, 1 ]

詳細を表示。


配列を並べ替え

サポート対象:バッチ、高速、ストリーミング

指定された入力配列を並べ替えた配列を返します。すべての null 値は、降順の配列では末尾に、昇順の配列では先頭に配置されます。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: ComparableType

出力タイプ: Array<T>

例

引数の値:

  • 方向: ASCENDING
  • 式: [ 5, 3, 6 ]

出力: [ 3, 5, 6 ]

詳細を表示。


構造体キーで配列を並べ替え

サポート対象:バッチ、ストリーミング

入力された構造体の配列を、指定された構造体キーの値で並べ替えた配列を返します。

式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値:

  • 入力配列: [ {
     age: 20,
    }, {
     age: 10,
    }, {
     age: 30,
    } ]
  • 並べ替えキー: [(age, ASCENDING)]

出力: [ {
 age: 10,
}, {
 age: 20,
}, {
 age: 30,
} ]

詳細を表示。


配列の和集合

サポート対象:バッチ、高速、ストリーミング

重複を削除し、配列のリストの和集合を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: [ 1, 2, 3, 4 ]

詳細を表示。


配列に共通要素がある

サポート対象:バッチ、高速、ストリーミング

指定された配列に共通の要素が1つ以上あるかどうかを確認します。

式のカテゴリー: 配列、ブール値

型変数の制約: T に指定できる型: AnyType

出力タイプ: Boolean

例

引数の値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: true

詳細を表示。


配列を Zip 結合

サポート対象: バッチ、高速、ストリーミング

指定された配列のリストを Zip 結合して、構造体の配列にまとめます。n 番目の構造体には、すべての入力配列の n 番目の値が含まれます。

式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値:

  • 式: [a1, a2]
a1a2出力
[ 1, 2, 3 ][ 4, 5, 6 ][ {
 a1: 1,
 a2: 4,
}, {
 a1: 2,
 a2: 5,
}, {
 a1: 3,
 a2: 6,
} ]

詳細を参照。


Base64 を文字列にデコード

サポート対象: バッチ、高速、ストリーミング

指定された式を Base64 デコードします。バイナリには UTF-8 エンコーディングを使用します。

式のカテゴリー: バイナリ、型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: encoded
encoded出力
Zm9vfoo
YmFybar

詳細を参照。


Base64 デコード

サポート対象: バッチ、高速、ストリーミング

指定された式を Base64 デコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: バイナリ

例

引数の値:

  • 式: city_base64
city_base64出力
TG9uZG9uTG9uZG9u
Q29wZW5oYWdlbg==Q29wZW5oYWdlbg==
TmV3IFlvcms=TmV3IFlvcms=

詳細を参照。


Base64 エンコード

サポート対象: バッチ、高速、ストリーミング

指定された式を Base64 エンコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: 文字列

例

引数の値:

  • 式: city
city出力
LondonTG9uZG9u
CopenhagenQ29wZW5oYWdlbg==
New YorkTmV3IFlvcms=

詳細を参照。


ビット左シフト

サポート対象: バッチ、ストリーミング

指定された値を指定ビット数だけ左にシフトします。

式のカテゴリー: バイナリ

型変数の制約: E に指定できる型: Byte | Integer | Long | Short

出力タイプ: E

例

引数の値:

  • 式: 1
  • ビット数: 1

出力: 2

詳細を参照。


ビット右シフト

サポート対象: バッチ、ストリーミング

指定された値を指定ビット数だけ右にシフトします。

式のカテゴリー: バイナリ

型変数の制約: E に指定できる型: Byte | Integer | Long | Short

出力タイプ: E

例

引数の値:

  • 式: 1
  • ビット数: 1

出力: 0

詳細を参照。


H3 インデックスのバッファー

サポート対象: バッチ、高速、ストリーミング

H3 インデックスの配列から距離 k のバッファーを作成します。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を参照。


目的地点を計算

サポート対象: バッチ、高速、ストリーミング

始点、進路、距離に基づいて、指定された経路上の目的地点を計算します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 進路: course
  • 距離: distance
  • 始点: point_a
  • 計算方法: GREAT_CIRCLE
point_acoursedistance出力
{
 latitude: 48.8567,
 longitude: 2.3508,
}
225.032000.0{
 latitude: 48.65279552300661,
 longitude: 2.0427666779658806,
}

詳細を参照。


ハバーサイン距離を計算

サポート対象: バッチ、高速、ストリーミング

緯度と経度で表される2地点間のハバーサイン距離をメートル単位で計算します。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 地点 a: point_a
  • 地点 b: point_b
point_apoint_b出力
{
 latitude: 41.507483,
 longitude: -99.436554,
}
{
 latitude: 38.504048,
 longitude: -98.315949,
}
347328.82778977347
{
 latitude: 22.308919,
 longitude: 113.914603,
}
{
 latitude: -33.946111,
 longitude: 151.177222,
}
7393894.00134442

詳細を参照。


Case

サポート対象: バッチ、高速、ストリーミング

条件に基づいてブランチを選択します。

式のカテゴリー: よく使う

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • デフォルト: Yes
  • ブランチ: [(
    lessThan(
     left: miles,
     right: 15000,
    ), No)]
miles出力
20053Yes
10210No
34120Yes

詳細を参照。


キャスト

サポート対象: バッチ、高速、ストリーミング

式を指定されたデータ型にキャストします。

式のカテゴリー: 型変換、よく使う

型変数の制約: C に指定できる型: AnyType

出力タイプ: C

例

説明: Long を文字列にキャスト

引数の値:

  • 式: 1234
  • データ型: 文字列

出力: 1234

詳細を参照。


メディアスキーマをキャスト

サポート対象:

Media Reference を特定のメディアスキーマおよび形式にキャストします。入力メディアのスキーマが汎用的(マルチモーダル)であるものの、実際のコンテンツが特定の種類(PNG 画像など)であることがわかっている場合に役立ちます。キャストによって型のメタデータを絞り込み、特定のスキーマ型を必要とする下流の操作を実行できるようにします。

式のカテゴリー: メディア

出力タイプ: Media Reference

詳細を参照。


切り上げ

サポート対象: バッチ、高速、ストリーミング

指定された小数値の切り上げ値を返します。

式のカテゴリー: 数値

出力タイプ: Decimal | Long

例

引数の値:

  • 式: 10.123

出力: 11

詳細を参照。


タイムスタンプのタイムゾーンを変更

サポート対象: バッチ、高速

タイムスタンプのタイムゾーンを変更します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • 出力タイムゾーン: America/Chicago
  • Timestamp: 2020-04-28T05:09:00Z
  • 入力タイムゾーン: US/Eastern

出力: 2020-04-28T04:09:00Z

詳細を参照。


文字列を文字単位で置換

サポート対象: バッチ、高速、ストリーミング

入力列の各文字のうち、一致文字列に含まれる文字を、置換文字列の対応する文字に置き換えます。一致文字列が置換文字列より長い場合、一致文字列の末尾にある文字は削除されます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: translate
  • 一致文字列: rnlt
  • 置換文字列: 123

出力: 1a2s3ae

詳細を参照。


文字列をチャンクに分割

サポート対象: バッチ、ストリーミング

指定したサイズと区切り文字に基づいて、文字列をチャンクに分割します。

式のカテゴリー: 文字列

出力タイプ: Array<String>

例

引数の値:

  • 式: string
  • チャンクの重複: null
  • チャンクサイズ: 10
  • 区切り文字を保持: null
  • 区切り文字: null
string出力
hello[ hello ]
hello world. the quick brown fox jumps over the fence.[ hello, world., the quick, brown fox, jumps, over the, fence. ]
hello world.
the quick brown fox
jumps over the fence.
[ hello, world., the quick, brown fox, jumps, over the, fence. ]
hello world.
the quick brown fox
jumps over the fence.
[ hello, world., the quick, brown fox, jumps, over the, fence. ]

詳細を表示。


Cipher で復号

サポート対象: バッチ、高速、ストリーミング

Cipher を使用して式を復号します。

式のカテゴリー: その他

出力タイプ: String

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-decrypt
  • 式: string
string出力
CIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHERbar

詳細を表示。


Cipher で暗号化

サポート対象: バッチ、高速、ストリーミング

Cipher を使用して式を暗号化します。

式のカテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-encrypt
  • 式: string
string出力
barCIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHER

詳細を表示。


Cipher でハッシュ化

サポート対象: バッチ、高速、ストリーミング

Cipher を使用して式をハッシュ化します。

式のカテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

  • Cipher ライセンス RID: ri.bellaso.main.cipher-license.1-hash
  • 式: string
string出力
barCIPHER::ri.bellaso.main.cipher-channel.1::c70a14f5cc57c940e3265045a5554d641bd549ee27a571a05cdbc75c77762eb86b1144c12f1bb7811a0bcec08b2f143989c44022e4664f615d6885ad640332cb::CIPHER

詳細を表示。


文字列をクレンジング

サポート対象: バッチ、高速、ストリーミング

式にクレンジングアクションを適用します。

式のカテゴリー: データ準備、文字列

出力タイプ: String

例

引数の値:

  • クレンジングアクション: {trim}
  • 式: hello world

出力: hello world

詳細を表示。


H3 インデックスの集合をコンパクト化

サポート対象: バッチ、高速、ストリーミング

可能な場合、H3 インデックスを、解像度が混在する部分集合にコンパクト化します。入力インデックスがすべて同じ解像度であった場合、逆操作であるコンパクト化の解除を実行すると、コンパクト化前と同じインデックスの集合になることが保証されます。入力インデックスに無効なものがある場合、このデータ加工は null を返します。出力インデックスは昇順で並べ替えられます。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

例

引数の値:

  • H3 インデックス: h3_set
h3_set出力
[ 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffffff, 87754a934ffff...[ 86754e64fffffff, 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffff...

詳細を表示。


文字列を連結

サポート対象: バッチ、高速、ストリーミング

指定した区切り文字を使用して、文字列のリストを連結します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: [hello, world]
  • いずれかの入力が null の場合は null を出力: null
  • セパレーター: _

出力: hello_world

詳細を表示。


委任メディアの Gotham 識別子 (GID) を構築

サポート対象: バッチ、ストリーミング

構成要素から有効な委任メディアの Gotham 識別子 (GID) を構築する式です。結果が1024文字を超える場合、null 行を生成します。

式のカテゴリー: その他

出力タイプ: 委任メディアの Gotham 識別子 (GID)

例

引数の値:

  • メディアロケーター: locator
  • メディアタイプ: mediaType
  • 生成元インスタンス: invalidUuid
mediaTypelocator出力
testaudiotype空の文字列null

詳細を表示。


DMS を Geopoint に変換

サポート対象: バッチ、高速、ストリーミング

ユーザーが指定した書式に従って、度分秒 (DMS) 形式の地理空間座標文字列を Geopoint に変換します。デフォルトの書式は DDD*°MM*'SS*"H と DDD*MMSSssH です。書式は順番に適用され、最初に一致した書式の結果が返されます。ユーザー定義の書式の記述方法については、書式設定ガイドを参照してください。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 座標: coordinates
  • 書式: null
coordinates出力
078261594N075220923E{
 緯度: 78.43776111111112,
 経度: 75.36923055555555,
}
046115095S069524119W{
 緯度: -46.19748611111111,
 経度: -69.87810833333333,
}
023°45'55"N 069°52'11"W{
 緯度: 23.76527777777777,
 経度: -69.86972222222222,
}
-123°55'55"N 069°53'00"W{
 緯度: -123.93194444444445,
 経度: -69.88333333333334,
}
123456789N23456789E{
 緯度: 123.76885833333333,
 経度: 23.768858333333334,
}

詳細を表示。


Geopoint を DMS に変換

サポート対象: バッチ、高速、ストリーミング

ユーザーが選択した書式に従って、Geopoint を度分秒 (DMS) 形式の地理空間座標文字列に変換します。使用できる書式は DDD°MM'SS"H と DDDMMSSssH です。

式のカテゴリー: 地理空間

出力タイプ: String

詳細を表示。


Geopoint を Geohash に変換

サポート対象: バッチ、高速、ストリーミング

Geopoint を、その Geopoint を含む、指定した精度の Base32 エンコードされた Geohash に変換します。Geohash の詳細については、https://en.wikipedia.org/wiki/Geohash を参照してください。

式のカテゴリー: 地理空間

出力タイプ: Geohash

詳細を表示。


Geopoint を MGRS に変換

サポート対象: バッチ、高速、ストリーミング

WGS84 座標系(EPSG:4326)に従う Geopoint を MGRS(軍用グリッド参照システム)座標に変換します。出力される MGRS は、精度5桁のスペース区切り形式になります。

式のカテゴリー: 地理空間

出力タイプ: MGRS

例

引数の値:

  • 式: geoPoint
geoPoint出力
{
 latitude -> 88.99999659707431,
 longitude -> 0.9996456505181999,
}
Z AF 01937 88990

詳細を表示。


Geopoint をジオメトリに変換

サポート対象: バッチ、高速、ストリーミング

Geopoint を Point 型の GeoJSON に変換します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を表示。


H3 インデックスを Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

H3 インデックスを、対応する H3 六角形の中心を表す Geopoint に変換します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を参照。


MGRS を Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

MGRS(軍用グリッド参照システム)座標を、WGS84 座標系(EPSG:4326)に従う Geopoint に変換します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 式: mgrs
mgrs出力
ZAF0193788990{
 緯度: 88.99999659707431,
 経度: 0.9996456505181999,
}

詳細を参照。


文字列を日付に変換

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定された文字列から日付を返します。デフォルトの形式は yyyy-MM-dd と yyyy-MM-dd'T'HH:mm:ss.SSSXXX です。形式は順番に適用され、最初に一致した形式の結果が返されます。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: 日付形式は任意です

引数の値:

  • 文字列: 2020-04-28
  • 形式: null

出力: 2020-04-28

詳細を参照。


文字列をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定された文字列からタイムスタンプを返します。デフォルトの形式は yyyy-MM-dd'T'HH:mm:ss.SSSXXX と yyyy-MM-dd です。形式は順番に適用され、最初に一致した形式の結果が返されます。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

引数の値:

  • 文字列: timestamp
  • 形式: [dd-yyyy-MM HH:mm, yyyy-MM-dd]
  • 午前/午後の時のデフォルト値: null
  • タイムゾーン: null
timestamp出力
28-2020-04 10:09:002020-04-28T10:09:00Z
2020-04-282020-04-28T00:00:00Z

詳細を参照。


基数を変換

サポート対象:バッチ、ストリーミング

数値(またはその文字列表現)を、ある基数から別の基数に変換します。

式のカテゴリー: バイナリ、型変換、数値

出力タイプ: 文字列

例

引数の値:

  • 式: 4A801
  • 変換元の基数: 16
  • 変換先の基数: 10

出力: 305153

詳細を参照。


角度の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 地理空間、数値

出力タイプ: Double

詳細を参照。


距離の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Double

詳細を参照。


時間の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 日時

出力タイプ: Double

詳細を参照。


重量の単位間で変換

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Double

詳細を参照。


データを JSON に変換

サポート対象:バッチ、高速、ストリーミング

入力を JSON 文字列に変換します。

式のカテゴリー: ファイル操作、文字列

出力タイプ: 文字列

例

引数の値:

  • 入力: struct
struct出力
{
 airline: {
 ID: NA,
},
}
{"airline":{"id":"NA"}}

詳細を参照。


オントロジーの Geopoint から変換

サポート対象:バッチ、高速、ストリーミング

オントロジーの Geopoint を通常の Geopoint に変換します。オントロジーの Geopoint は '{lat},{lon}' 形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 です。通常の Geopoint は {"longitude": {long},"latitude": {lat}} 形式の構造体です。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 式: geopoint
geopoint出力
-20.0000000,80.0000000{
 緯度: -20.0,
 経度: 80.0,
}
38.9031000,-77.0599000{
 緯度: 38.9031,
 経度: -77.0599,
}
41.9876543,-99.1234568{
 緯度: 41.9876543,
 経度: -99.1234568,
}

詳細を参照。


16進数から変換

サポート対象:バッチ、高速

hex の逆操作です。文字の各ペアを16進数として解釈し、その数値のバイト表現に変換します。

式のカテゴリー: 数値、文字列

出力タイプ: バイナリ

例

引数の値:

  • 式: string_hex
string_hex出力
68656C6C6FaGVsbG8=
3039MDk=
FFFFFFFFFFFFCFC7////////z8c=
4C6F6E646F6ETG9uZG9u

詳細を参照。


16進数から文字列に変換

サポート対象:バッチ、高速、ストリーミング

hex の逆操作です。文字の各ペアを16進数として解釈し、その数値のバイト表現を UTF-8 文字列に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string_hex
string_hex出力
68656C6C6Fhello
4C6F6E646F6ELondon

詳細を参照。


地心座標を WGS 84 測地座標に変換

サポート対象:バッチ、ストリーミング

地心直交座標(地球中心・地球固定座標、または ECEF 座標とも呼ばれます)を測地極座標に変換します。高度は楕円体面からの高さとして定義されます。いずれかの座標が null の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: 高度付き Geopoint

例

引数の値:

  • X 座標: x_coordinate
  • Y 座標: y_coordinate
  • Z 座標: z_coordinate
x_coordinatey_coordinatez_coordinate出力
0.06378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 90.0,
},
}
0.0-6378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -90.0,
},
}
-6378137.00.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 180.0,
},
}
-6378137.0-0.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -180.0,
},
}
0.00.06356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 90.0,
 longitude -> 0.0,
},
}
0.00.0-6356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> -90.0,
 longitude -> 0.0,
},
}

詳細を参照。


レガシー OffsetDateTime を変換

サポート対象:バッチ

レガシー OffsetDateTime 列を、すべての Foundry パイプラインで使用できるタイムスタンプに変換します。タイムスタンプは UTC で返されます。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

詳細を参照。


ラインストリングをポリゴンに変換

サポート対象:バッチ、高速、ストリーミング

ラインストリングのジオメトリをポリゴンのジオメトリに変換します。この式は、ラインストリングのジオメトリが閉じていることを前提としています。閉じていない場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: polygon_points
polygon_points出力
{"type":"LineString","coordinates":[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]}{"type":"Polygon","coordinates":[[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]]}

詳細を見る。


タイムスタンプを UTC から変換

サポート対象:バッチ、高速、ストリーミング

タイムスタンプを UTC から指定されたタイムゾーンに変換します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • タイムゾーン: EST
  • Timestamp: 2020-04-28T10:09:00Z

出力: 2020-04-28T05:09:00Z

詳細を見る。


タイムスタンプを UTC に変換

サポート対象:バッチ、高速、ストリーミング

指定されたタイムゾーンに基づいてタイムスタンプを UTC に変換します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

例

引数の値:

  • タイムゾーン: EST
  • Timestamp: 2020-04-28T10:09:00Z

出力: 2020-04-28T15:09:00Z

詳細を見る。


オントロジーの Geopoint に変換

サポート対象:バッチ、高速、ストリーミング

Geopoint を、オントロジーが地理インデックス化済みの列(geohash 型の列)に受け入れられる文字列に変換します。オントロジーの Geopoint は「{lat},{lon}」形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。

式のカテゴリー: 地理空間

出力タイプ: オントロジーの Geopoint

例

引数の値:

  • 式: point
point出力
{
 緯度: -20.0,
 経度: 80.0,
}
-20.0000000,80.0000000
{
 緯度: 38.9031,
 経度: -77.0599,
}
38.9031000,-77.0599000
{
 緯度: 41.987654321,
 経度: -99.123456789,
}
41.9876543,-99.1234568
nullnull

詳細を見る。


16進数に変換

サポート対象:バッチ、高速、ストリーミング

指定された式の16進数値を計算します。

式のカテゴリー: 数値、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: city_hex
city_hex出力
TG9uZG9u4C6F6E646F6E

詳細を見る。


8進数に変換

サポート対象:バッチ、高速、ストリーミング

指定された式の8進数値を計算します。

式のカテゴリー: 数値

出力タイプ: 文字列

例

引数の値:

  • 式: 12345

出力: 30071

詳細を見る。


コサイン

サポート対象:バッチ、高速、ストリーミング

角度のコサインを求めます。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.01.0
90.00.0
180.0-1.0

詳細を見る。


Geopoint を作成

サポート対象:バッチ、高速、ストリーミング

緯度列と経度列から Geopoint 列を作成します。緯度パラメーターが -90以上90以下であり、経度パラメーターが -180以上180以下であることを検証し、そうでない場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を見る。


座標系から Geopoint を作成

サポート対象:バッチ、高速、ストリーミング

ソース座標系の座標ペアを受け取り、WGS 84 の緯度/経度の値に変換します。座標系(座標参照系または空間参照系とも呼ばれます)は、地球上の点の位置を特定するためのさまざまな体系を表し、多くの場合、EPSG などの標準化されたデータベースのキーで識別されます。指定された投影法に対応していない場合、またはいずれかの座標が null の場合は null を返します。この式は上級ユーザー向けです。座標系を扱う必要がない場合は、「Geopoint を作成」式の使用を推奨します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • ソース座標系: EPSG:32618
  • X 座標: x_coordinate
  • Y 座標: y_coordinate
x_coordinatey_coordinate出力
322190.22339529654306505.703879281{
 latitude -> 38.88944258,
 longitude -> -77.05014581,
}
323243.13615360594318298.06539618{
 latitude -> 38.99585379643137,
 longitude -> -77.04105678275415,
}
407063.634653000164764873.719585404{
 latitude -> 43.03086518778498,
 longitude -> -76.14077251822197,
}

詳細を見る。


空の配列を作成

サポート対象:バッチ、高速、ストリーミング

指定されたデータ型の空の配列を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • データ型: 文字列

出力: [ ]

詳細を見る。


配列を作成

サポート対象:バッチ、高速、ストリーミング

指定された列から配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: [1, 2, 3]

出力: [ 1, 2, 3 ]

詳細を見る。


楕円ジオメトリを作成

サポート対象:バッチ、高速、ストリーミング

指定された地理座標を中心とするポリゴンとして楕円を近似します。点間の距離は、地表を近似する WGS84 楕円体の表面に沿って計算されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を見る。


測地線ラインストリングを作成

サポート対象:バッチ、ストリーミング

2点間の測地線を作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を見る。


地理時系列参照を作成

サポート対象:バッチ、高速、ストリーミング

地理時系列参照のオブジェクトのプロパティタイプに必要な値を生成します。このプロパティタイプは、一連の地理時系列観測への参照と、その時系列を含む地理時系列統合の RID で構成されます。

式のカテゴリー: 地理空間、その他、文字列

出力タイプ: 地理時系列参照

詳細を見る。


ラインストリングジオメトリを作成

サポート対象:バッチ、ストリーミング

指定されたポイントから GeoJSON ラインストリングジオメトリを作成します。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型: Struct<longitude, latitude>

出力タイプ: ジオメトリ

例

引数の値:

  • ポイント: points
points出力
[ {
 latitude: 10.0,
 longitude: 0.0,
}, {
 latitude: 10.0,
 longitude: 10.0,
} ]
{"type":"LineString","coordinates":[[0.0,10.0],[10.0,10.0]]}
[ {
 latitude: 10.0,
 longitude: 10.0,
}, {
 latitude: 20.0,<...
{"type":"LineString","coordinates":[[10.0,10.0],[20.0,20.0],[30.0,30.0]]}
[ {
 latitude: 0.0,
 longitude: 179.0,
}, {
 latitude: 0.0,
 longitude: 181.0,
} ]
{"type":"MultiLineString","coordinates":[[[179.0,0.0],[180.0,0.0]],[[-180.0,0.0],[-179.0,0.0]]]}
[ {
 latitude: 0.0,
 longitude: -179.0,
}, {
 latitude: 0.0,
 longitude: -181.0,
} ]
{"type":"MultiLineString","coordinates":[[[180.0,0.0],[179.0,0.0]],[[-179.0,0.0],[-180.0,0.0]]]}

詳細を見る。


配列からマップを作成

サポート対象:バッチ、高速、ストリーミング

配列を zip 結合したキーと値のペアを使用してマップを返します。キーに null 値は使用できず、使用すると実行時エラーが発生します。

式のカテゴリー: 配列、マップ

型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • キーの配列: [ 1, 2, 3 ]
  • 値の配列: [ 4, 5, 6 ]

出力: {
 1 -> 4,
 2 -> 5,
 3 -> 6,
}

詳細を見る。


null 値を作成

サポート対象:バッチ、高速、ストリーミング

指定されたデータ型の null 値を返します。

式のカテゴリー: データ準備

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • データ型: 文字列

出力: null

詳細を見る。


扇形範囲のジオメトリを作成

サポート対象:バッチ、ストリーミング

扇形範囲をポリゴンとして近似します。このポリゴンは、原点からのハバーサイン距離が最小半径と最大半径の間にあり、原点からの方位が、指定された方位パラメーターを中心とする角度範囲内にあるすべてのポイントの領域を指定します。扇形範囲の左辺と右辺は、地球の表面を近似する WGS84 楕円体の表面に沿って計算された測地線として描画されます。範囲が180度を超え、かつ反子午線を横切る場合、または最大半径が地球の円周の半分を超える場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を見る。


構造体列を作成

サポート対象:バッチ、高速、ストリーミング

複数の列を1つの構造化された列に結合します。

式のカテゴリー: 構造体

出力タイプ: 構造体

例

引数の値:

  • 構造体の要素: [tail_number, id]
tail_numberid出力
MT-1121{
 id: 1,
 tail_number: MT-112,
}
XB-1232{
 id: 2,
 tail_number: XB-123,
}
PA-6543{
 id: 3,
 tail_number: PA-654,
}

詳細を見る。


時系列参照値を作成

サポート対象:バッチ、ストリーミング

時系列参照値を作成します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 系列識別子: seriesId
  • 時系列同期 RID: ri.time-series-catalog.main.sync.11111111
seriesId出力
seriesOne{"seriesId":"seriesOne","syncRid":"ri.time-series-catalog.main.sync.11111111"}

詳細を見る。


現在の日付

サポート対象:バッチ、高速、ストリーミング

計算を開始した時点の現在の日付を返します。

式のカテゴリー: 日時

出力タイプ: 日付

詳細を見る。


現在のタイムスタンプ

サポート対象:バッチ、高速、ストリーミング

計算を開始した時点の現在のタイムスタンプを返します。

式のカテゴリー: 日時

出力タイプ: タイムスタンプ

詳細を見る。


日付シーケンス

サポート対象:バッチ、高速

開始日から終了日までの範囲の日付を含む配列を作成します。

式のカテゴリー: 日時

出力タイプ: Array<Date>

例

引数の値:

  • 終了日: last_planned_flight
  • 開始日: first_planned_flight
  • ステップの単位: DAYS
  • ステップサイズ: null
first_planned_flightlast_planned_flight出力
2023-01-012023-01-03[ 2023-01-01, 2023-01-02, 2023-01-03 ]
2023-01-312023-02-02[ 2023-01-31, 2023-02-01, 2023-02-02 ]
2023-02-282023-03-01[ 2023-02-28, 2023-03-01 ]

詳細を見る。


デコード

サポート対象:バッチ、高速、ストリーミング

指定された文字セットを使用して、指定された式をデコードします。

式のカテゴリー: バイナリ、型変換

出力タイプ: 文字列

例

引数の値:

  • 文字セット: UTF_16
  • 式: city
city出力
/v8ATABvAG4AZABvAG4=London
/v8AQwBvAHAAZQBuAGgAYQBnAGUAbg==Copenhagen
/v8ATgBlAHcAIABZAG8AcgBrNew York

詳細を見る。


Geobuf を GeoJSON としてデコード

サポート対象:バッチ、ストリーミング

Geobuf ジオメトリを GeoJSON としてデコードします。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を見る。


数値の除算

サポート対象:バッチ、高速、ストリーミング

ある数値を別の数値で除算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 左: col_a
  • 右: col_b
col_acol_b出力
422.0
1125.5

詳細を見る。


編集距離

サポート対象:バッチ、高速、ストリーミング

2つの文字列間の編集距離を計算します。レーベンシュタイン距離、indel 距離、ダメラウ・レーベンシュタイン距離をサポートします。

式のカテゴリー: 距離測定、文字列

出力タイプ: Double | Integer

例

説明: レーベンシュタイン距離を使用して計算した文字列の編集距離

引数の値:

  • 距離関数: levenshtein
  • 大文字と小文字を区別しない: false
  • 左: left
  • 右: right
  • 距離を正規化: false
leftright出力
hellohello0
hallohello1
hlelohello2
hellohEllO2
hellohello, world!8
hellofarewell6

詳細を見る。


GeoJSON を Geobuf としてエンコード

サポート対象:バッチ、高速、ストリーミング

GeoJSON ジオメトリを Geobuf としてエンコードします。

式のカテゴリー: 地理空間

出力タイプ: Geobuf

詳細を見る。


指定値で終わる

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: ブール値

例

引数の値:

  • 式: Hello World
  • 大文字と小文字を区別しない: true
  • 値: world

出力: true

詳細を見る。


エポックミリ秒を日付に変換

サポート対象:バッチ、高速、ストリーミング

エポックミリ秒を UTC の日付に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: ミリ秒単位のエポックタイムスタンプを日付型に変換できます

引数の値:

  • 式: 1673964111000

出力: 2023-01-17

詳細を参照。


エポックミリ秒をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

エポックミリ秒を UTC のタイムスタンプに変換します。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

説明: ミリ秒単位のエポックタイムスタンプをタイムスタンプ型に変換できます

引数の値:

  • 式: 1673964111000

出力: 2023-01-17T14:01:51Z

詳細を参照。


エポック秒を日付に変換

サポート対象:バッチ、高速、ストリーミング

エポック秒を UTC の日付に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: 日付

例

説明: エポックタイムスタンプを日付型に変換できます

引数の値:

  • 式: 1673964111

出力: 2023-01-17

詳細を参照。


エポック秒をタイムスタンプに変換

サポート対象:バッチ、高速、ストリーミング

エポック秒を UTC のタイムスタンプに変換します。

式のカテゴリー: 型変換、日時

出力タイプ: タイムスタンプ

例

説明: エポックタイムスタンプをタイムスタンプ型に変換できます

引数の値:

  • 式: 1673964111

出力: 2023-01-17T14:01:51Z

詳細を参照。


等しい

サポート対象:バッチ、高速、ストリーミング

左右が等しい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: a
  • 右: b
  • null セーフ: true
ab出力
11true
10false

詳細を参照。


指数関数

サポート対象:バッチ、高速、ストリーミング

列の指数関数 e^x を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 2.0

出力: 7.38905609893

詳細を参照。


正規表現のすべての一致を抽出

サポート対象:バッチ、高速、ストリーミング

正規表現に一致するすべての箇所を配列に抽出します。

式のカテゴリー: 正規表現、文字列

出力タイプ: Array<String>

例

説明: 各コードの先頭2文字を抽出します。

引数の値:

  • 式: MT-112, XB-967
  • グループ: 1
  • パターン: (\w\w)(-)

出力: [ MT, XB ]

詳細を参照。


音声メタデータを抽出

サポート対象:バッチ

音声ファイルからメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [書式, 仕様, バイト]
Media Reference出力
{"mimeType":"audio","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 bytes: 156700,
 format: audio,
 specification: {
 **b...

詳細を参照。


スプレッドシートからコンテンツを JSON で抽出

サポート対象:バッチ

スプレッドシートのすべてのシートからコンテンツを JSON 形式で抽出します。

式のカテゴリー: メディア

出力タイプ: Map<String, Struct>

詳細を参照。


日付の一部を抽出

サポート対象:バッチ、高速、ストリーミング

年や曜日など、日付の一部を抽出します。

式のカテゴリー: 日時

出力タイプ: Integer

詳細を参照。


ドキュメントメタデータを抽出

サポート対象:バッチ、高速

ドキュメントからメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [ドキュメントの作成者, ページ数, ドキュメントのタイトル]
Media Reference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 author: Jane Doe,
 page_count: 23,
 title: Document Title,
}

詳細を参照。


メール本文を抽出

サポート対象:バッチ

メールのメディアアイテムからメール本文をプレーンテキストまたは HTML として抽出します。

式のカテゴリー: メディア

出力タイプ: 文字列

詳細を参照。


画像メタデータを抽出

サポート対象:バッチ、ストリーミング

画像からメタデータフィールドを抽出します。

式のカテゴリー: メディア

出力タイプ: 構造体

例

引数の値:

  • メディア参照: Media Reference
  • 含めるメタデータ: [属性, バンド, バイト, 寸法, 書式, 地理メタデータ, ICC プロファイル, EXIF 画像位置]
Media Reference出力
{"mimeType":"image/tiff","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}{
 attributes: {
 outer_key1 -> {
 inner_key1 -> inner_value1,
},
...

詳細を参照。


PDF からレイアウトを考慮したコンテンツを抽出

サポート対象:バッチ、高速

PDF ページからレイアウトを考慮したコンテンツを抽出します。境界ボックス、テキストコンテンツ、ブロックの種類を含む構造化ブロックを返します。OCR モードと出力形式の設定をサポートします。

式のカテゴリー: メディア

出力タイプ: Array<Array<Struct<block_index, block_id, page, block_type, content, bounding_box, languages<String>, confidence>>>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 抽出方法: AUTO
  • 出力形式: TEXT
  • 開始ページ: Start Page
mediaReference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ [ {
 block_id: block-0,
 block_index: 0,
 block_type: Text,
&... ]

詳細を参照。


画像からレイアウトを考慮したコンテンツを抽出

サポート対象:バッチ、高速

画像からレイアウトを考慮したコンテンツを抽出します。境界ボックス、テキストコンテンツ、ブロックタイプを含む構造化ブロックを返します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<Struct<block_index, block_id, block_type, content, bounding_box, languages<String>, confidence>>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
mediaReference出力
{"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ {
 block_id: block-0,
 block_index: 0,
 block_type: Text,
&...

詳細を表示。


マップのキーを抽出

サポート対象:バッチ、高速、ストリーミング

マップのキーを配列として返します。配列要素の順序は決定論的ではない点に注意してください。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: AnyType

出力タイプ: Array<K>

例

引数の値:

  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
[ XB-134, MT-111 ]

詳細を表示。


マップの値を抽出

サポート対象:バッチ、高速、ストリーミング

マップの値を配列として返します。配列要素の順序は決定論的ではない点に注意してください。

式のカテゴリー: マップ

型変数の制約: V に指定できる型: AnyType

出力タイプ: Array<V>

例

引数の値:

  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
[ 1, 2 ]

詳細を表示。


レガシー OffsetDateTime からオフセットを抽出

サポート対象:バッチ

レガシー OffsetDateTime 列からオフセットを抽出します。これは、タイムスタンプの元のタイムゾーンと UTC タイムゾーンとの差を秒単位で表したものです。

式のカテゴリー: 日時

出力タイプ: Integer

例

引数の値:

  • 式: col_a
col_a出力
{
 offset: 0,
 timestamp: 2024-09-09T09:00:00.001Z,
}
0
{
 offset: 19800,
 timestamp: 2024-09-09T09:00:00.001Z,
}
19800
{
 offset: -3600,
 timestamp: 2024-09-09T09:00:00.001Z,
}
-3600

詳細を表示。


PDF から目次を抽出

サポート対象:バッチ、高速

PDF 内で使用されている見出しに基づいて目次を生成します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<level, title, page>>

例

引数の値:

  • メディア参照: Media Reference
Media Reference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}[ {
 level: 0,
 page: 2,
 title: 第1章,
}, {
 **l...

詳細を表示。


PDF からテキストを抽出

サポート対象:バッチ、高速

PDF のページから生のテキストを抽出します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<String>

例

引数の値:

  • メディア参照: Media Reference
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
  • 開始ページ: Start Page
Media ReferenceStart PageEnd Page出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}}12[ 最初のページ, 2番目のページ ]

詳細を表示。


PDF からテキストを抽出(OCR を使用)

サポート対象:バッチ、高速

PDF ファイルのページからテキストを抽出します。OCR モードと出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: Array<String>

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • 終了ページ: End Page
  • エラー処理: FAIL_FAST
  • 抽出方法: AUTO
  • 出力形式: TEXT
  • 開始ページ: Start Page
mediaReference出力
{"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}[ 最初のページ, 2番目のページ ]

詳細を表示。


画像からテキストを抽出(OCR を使用)

サポート対象:バッチ、高速

画像からテキストを抽出します。出力形式を設定できます。

式のカテゴリー: メディア

出力タイプ: String

例

引数の値:

  • 検出する言語: {ENG}
  • メディア参照: mediaReference
  • 検出する文字体系: {}
  • エラー処理: FAIL_FAST
  • 出力形式: TEXT
mediaReference出力
{"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}}このテキストはメディアセット内の画像から抽出されました。

詳細を表示。


タイムスタンプの一部を抽出

サポート対象:バッチ、高速、ストリーミング

年や曜日など、タイムスタンプの一部を抽出します。

式のカテゴリー: 日時

出力タイプ: Integer

詳細を表示。


配列要素を絞り込み

サポート対象:バッチ、ストリーミング

フィルター式に基づいて配列を絞り込みます。配列のインデックスは1から始まる点に注意してください。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: array
  • 絞り込みに使用する式:
    isNotNull(
     expression: element,
    )
array出力
[ 2, 5, null, 11 ][ 2, 5, 11 ]

詳細を表示。


ジオメトリの種類で絞り込み

サポート対象:バッチ、高速、ストリーミング

ジオメトリ列の値のうち、指定されたジオメトリの種類に該当しないものを null にします。

式のカテゴリー: 地理空間

出力タイプ: Geometry

詳細を表示。


最初の null 以外の値(coalesce)

サポート対象:バッチ、高速、ストリーミング

入力のうち、最初の null 以外の値を選択します。SQL では coalesce と呼ばれます。

式のカテゴリー: データ準備

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 式: [tail_number, airline]
  • 空の文字列を null として扱う: null
tail_numberairline出力
XB-123nullXB-123
nullMTMT

詳細を表示。


切り下げ

サポート対象:バッチ、高速、ストリーミング

指定された小数値を切り下げた値を返します。

式のカテゴリー: 数値

出力タイプ: Decimal | Long

例

引数の値:

  • 式: 10.123

出力: 10

詳細を表示。


日付を文字列に書式設定

サポート対象:バッチ、高速、ストリーミング

Java DateTimeFormatter に従って書式設定された文字列として日付を返します。デフォルトの書式は ISO8601 です。

式のカテゴリー: 型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • Date: 2022-12-20
  • 書式: yy-MM-dd

出力: 22-12-20

詳細を参照。


数値を書式設定

サポート対象:バッチ、高速、ストリーミング

指定された小数点以下の桁数で数値を書式設定します。

式のカテゴリー: 型変換、数値、文字列

出力タイプ: 文字列

例

説明: 小数点以下2桁で数値を書式設定します。

引数の値:

  • 小数点以下の桁数: 2
  • 数値: 1234.5678

出力: 1,234.57

詳細を参照。


文字列を書式設定

サポート対象:バッチ、ストリーミング

printf スタイルで文字列を書式設定します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 書式引数: [argument1, argument2]
  • 書式設定 String: Hello %s, my name is %s
argument1argument2出力
AliceBobHello Alice, my name is Bob
JaneJohnHello Jane, my name is John

詳細を参照。


タイムスタンプを文字列に書式設定

サポート対象:バッチ、高速、ストリーミング

書式設定された文字列(デフォルトは ISO8601)としてタイムスタンプを返します。

式のカテゴリー: 型変換、日時、文字列

出力タイプ: 文字列

例

引数の値:

  • Timestamp: 2022-10-01T09:00:00Z
  • 書式: yyyy-MM-dd
  • タイムゾーン: null

出力: 2022-10-01

詳細を参照。


ジオメトリの交差判定

サポート対象:バッチ、高速、ストリーミング

2つのジオメトリが交差するかどうかを判定します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"coordinates":[[[-103.78627755867336,33.162750522563925],[-103.78627755867336,28.29724741894266],[-...true
{"coordinates":[[[0.3651446504365481,15.159518507965103],[0.3651446504365481,13.427462911044273],[3....{"coordinates":[[[5.656394524666183,13.405417496831944],[5.656394524666183,11.29869961209053],[8.551...false

詳細を参照。


ジオメトリの3次元アフィン変換

サポート対象:バッチ、高速、ストリーミング

入力ジオメトリに3次元アフィン変換を適用します。この変換はユーザーが指定した投影座標系で行われ、結果は WGS84 に再投影されます。2次元ジオメトリの場合、アフィン変換が適用される前に z 座標が0に設定されます。返されるジオメトリは3次元で、各座標 [x,y,z] に対して行列の乗算 [[x0, x1, x2, x-offset], [y0, y1, y2, y-offset], [z0, z1, z2, z-offset], [0, 0, 0, 1]] * [x, y, z, 1] を行った結果の、最初の3つの座標値が返されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ列: geometry
  • 投影座標系: EPSG:4326
  • X オフセット: 0.0
  • X0: 0.0
  • X1: -1.0
  • X2: 0.0
  • Y オフセット: 0.0
  • Y0: 1.0
  • Y1: 0.0
  • Y2: 0.0
  • Z オフセット: 0.0
  • Z0: 0.0
  • Z1: 0.0
  • Z2: 0.0
geometry出力
{"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]]]}{"type":"Polygon","coordinates":[[[0.0, 0.0, 0.0],[0.0, 1.0, 0.0],[-1.0, 1.0, 0.0],[-1.0, 0.0, 0.0],[0.0, 0.0, 0.0]]]}

詳細を参照。


ジオメトリ配列の(単項)和集合

サポート対象:バッチ、高速、ストリーミング

指定されたジオメトリ配列を、重複がないようにマージして単一のジオメトリに結合します。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型: Geometry

出力タイプ: T

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} ]{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
[ ]null
nullnull

詳細を参照。


ジオメトリ配列のラインディゾルブ

サポート対象:バッチ、高速、ストリーミング

指定されたジオメトリ配列を、線形ジオメトリに結合します。ディゾルブは、不要なノードを削除し、結合可能なラインストリングを連結することで、入力されたラインストリングの集合を単純化します。ディゾルブ操作では z 座標は無視されますが、結果のジオメトリの頂点には、入力内の対応する点と同じ z 座標が設定されます。

式のカテゴリー: 地理空間

型変数の制約: T に指定できる型: Geometry

出力タイプ: T

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"LineString","coordinates":[[0,0],[0,1],[1,1]]}, {"type":"LineString","coordinates":[[1,1]...{"type":"MultiLineString","coordinates":[[[5.0, 5.0],[4.0, 4.0],[3.0, 3.0],[2.0, 2.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]],[[7.0, 7.0], [6.0, 7.0], [6.0, 6.0]]]}
[ {"type":"LineString","coordinates":[[0,0,1],[0,1,1],[1,1,1]]}, {"type":"LineString","coordinates":[[1,1,1],[2,2,2]]}, {"type":"LineString","coordinates":[[1,1,2],[2,2,2],[3,3,3]]} ]{"type":"LineString","coordinates":[[0.0, 0.0, 1.0],[0.0, 1.0, 1.0],[1.0, 1.0, 1.0],[2.0, 2.0, 2.0],[3.0, 3.0, 3.0]]}

詳細を参照。


ジオメトリのバッファー

サポート対象:バッチ、ストリーミング

正と負の両方のバッファー距離に対して、ジオメトリのバッファーを計算します。この幾何オブジェクトから指定された距離内にあるすべての点の近似表現を返します(負のバッファーの場合は、すべての点から、境界からの距離がバッファー距離内にある点を除いたものです)。バッファー処理では z 座標が削除され、線と点の距離が0または負のバッファーは null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • バッファー距離: distance
  • ジオメトリ列: geometry
  • 投影座標系: EPSG:32618
  • バッファーの端点スタイル: ROUND
  • バッファーの結合スタイル: ROUND
  • 象限あたりの線分数: 8
  • 片側または両側: DOUBLE_SIDED
geometrydistance出力
{"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]}10.0{"type":"Polygon","coordinates":[[[-77.07356558299462, 38.83041048767274],[-77.07356728534256, 38.83...
{"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83042888342659, 1]]}10.0{"type":"Polygon","coordinates":[[[-77.07253198637027, 38.83051894052714],[-77.07250947453703, 38.83...
{"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83...10.0{"type":"Polygon","coordinates":[[[-77.07379585155829, 38.83040639848026],[-77.07382199292853, 38.83...

詳細を参照。


ジオメトリの重心

サポート対象:バッチ、ストリーミング

地球を球体で近似し、ジオメトリの重心、つまり「質量中心」を返します。ジオメトリに異なる次元の要素が混在している場合、最も高い次元の要素のみが重心の計算に使用されます(たとえば、点、線、ポリゴンが混在している場合、点と線は無視されます)。この処理では、ジオメトリ内の座標が32ビット浮動小数点精度に丸められます。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

詳細を表示。


ジオメトリの包含判定

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a がジオメトリ b を含むかどうかを判定します。ポリゴンの境界上にある点や線は、別のジオメトリに含まれるとはみなされません。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"Point","coordinates":[-100.0,32.0]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}false
{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}false
{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"coordinates":[[[-111.94377956164206,33.81725414459382],[-111.94377956164206,31.006795384733323], [...true

詳細を表示。


ジオメトリの差集合

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a のうち、ジオメトリ b と交差しない部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"LineString","coordinates":[[0.0,0.0],[0.0,1.0]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}

詳細を表示。


ジオメトリを配列に展開

サポート対象:バッチ、高速、ストリーミング

ジオメトリを、それを構成する単純なジオメトリの配列に変換します。

式のカテゴリー: 地理空間

出力タイプ: Array<Geometry>

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} ]
{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} ]

詳細を表示。


ジオメトリの積集合

サポート対象:バッチ、高速、ストリーミング

ジオメトリ a のうち、ジオメトリ b と交差する部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"LineString","coordinates":[[1.0,1.0],[1.0,0.0]]}
{"type":"Point","coordinates":[0.0,0.0]}{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Point","coordinates":[0.0,0.0]}
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Polygon","coordinates":[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]}{"type":"LineString","coordinates":[]}

詳細を表示。


ジオメトリの長さ

サポート対象:バッチ、ストリーミング

ジオメトリ内のラインストリングとマルチラインストリングの長さをメートル単位で取得します。地球を球体で近似して計算します。線状ではないジオメトリ(ポリゴンと点)は0として扱われます。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 式: geometry
geometry出力
{"type":"LineString","coordinates":[[-73.778128,40.641195],[-118.408535,33.941563]]}3974344.7433354934
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0],[1.0,1.0],[1.0,2.0]]}333585.2407005987
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0],[1.0,1.0]], [[1.0,2.0],[2.0,2.0]]]}333517.50194413937

詳細を表示。


ジオメトリの2次元回転

サポート対象:ストリーミング

指定された Geopoint を中心として、指定されたジオメトリに時計回りの2次元回転を適用します。この回転は指定された座標参照系で行われ、その後 WGS84 に再投影されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を表示。


ジオメトリの z 座標を設定

サポート対象:バッチ、高速、ストリーミング

ジオメトリの z 座標を設定します。ジオメトリに既存の z 座標がある場合は、上書きされます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ: geometry
  • Z 座標: zCoordinate
geometryzCoordinate出力
{"type":"Point","coordinates":[1.0, 2.0]}1.0{"type":"Point","coordinates":[1.0, 2.0, 1.0]}
{"type":"Point","coordinates":[1.0, 2.0, 3.0]}1.0{"type":"Point","coordinates":[1.0, 2.0, 1.0]}

詳細を参照。


ジオメトリの最短距離

サポート対象:バッチ、ストリーミング

2つの有効なジオメトリ間の最短距離(大円距離)をメートル単位で計算します。地球を球体として近似します。ジオメトリが重なっている場合、距離は0になります。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を参照。


ジオメトリを標準化

サポート対象:バッチ、高速、ストリーミング

有効なジオメトリを受け取り、GeoJSON の規約である右手の法則を入力に適用して標準化します。これにより、同等のジオメトリ間で等価比較ができるようになります。この式はラインストリングの向きを反転する場合があります。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[32.26868,-26.53253],[32.26465,-26.45873],[32.25262,-26.38563],[32.26868,-26.53253]]]}{"type":"Polygon","coordinates":[[[32.25262, -26.38563],[32.26868, -26.53253],[32.26465, -26.45873],[32.25262, -26.38563]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.25,0.5]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]], [[0.25,0.25],[0.25,0.5],[0.5,0.25],[0.25,0.25]]]}
{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}
{"coordinates": [[[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]]], "type":"MultiPolygon"}{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}{"coordinates": [[5.0, 5.0],[-1.0, -1.0]], "type":"LineString"}
{"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"}{"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"}

詳細を参照。


ジオメトリの対称差集合

サポート対象:バッチ、高速、ストリーミング

いずれかのジオメトリに含まれ、その積集合には含まれない部分を計算します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[2.0,1.0],[2.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[3.0,1.0],[3.0,0.0],[1.0,0.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}
{"type":"Point","coordinates":[0.0,0.0]}{"type":"Point","coordinates":[1.0,1.0]}{"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]}
{"type":"LineString","coordinates":[[0.0,0.0],[2.0,0.0]]}{"type":"LineString","coordinates":[[1.0,0.0],[3.0,0.0]]}{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[2.0,0.0],[3.0,0.0]]]}

詳細を参照。


ジオメトリの平行移動式

サポート対象:バッチ、高速、ストリーミング

ジオメトリに平行移動を適用します。2次元ジオメトリは、z オフセットが指定された場合にのみ3次元ジオメトリに変換されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ列: geometry
  • 投影座標系: EPSG:4326
  • X オフセット: 1.0
  • Y オフセット: -1.0
  • Z オフセット: null
geometry出力
{"type":"Point","coordinates":[0.0, 0.0]}{"type":"Point","coordinates":[1.0, -1.0]}
{"type":"LineString","coordinates":[[0.0, 0.0], [1.0, 1.0]]}{"type":"LineString","coordinates":[[1.0, -1.0], [2.0, 0.0]]}
{"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0], [0.0, 0.0]]]}{"type":"Polygon","coordinates":[[[1.0, -1.0],[2.0, -1.0],[2.0, 0.0],[1.0, 0.0],[1.0, -1.0]]]}

詳細を参照。


ジオメトリの和集合

サポート対象:バッチ、高速、ストリーミング

2つのジオメトリを結合して、1つのジオメトリを作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ a: geometry_a
  • ジオメトリ b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]},{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}]}

詳細を参照。


H3 インデックスを取得

サポート対象:バッチ、高速、ストリーミング

Geopoint を指定された解像度の H3 インデックスに変換します。解像度が 0 未満または 15 を超える場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: H3 インデックス

詳細を参照。


ジオメトリを覆う H3 インデックスを取得

サポート対象:バッチ、高速、ストリーミング

ジオメトリを特定の解像度の H3 インデックスに変換します。解像度は 0 以上 15 以下である必要があります。ポリゴンでは、次の3つの変換がサポートされています。a)ポリゴンを完全に覆う H3 インデックス、b)ポリゴンに完全に含まれる H3 インデックス、c)重心がポリゴン内に含まれる H3 インデックス。期待される H3 インデックスの数が700万を超える場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を参照。


MIME タイプを取得

サポート対象:

Media Reference の IANA MIME タイプを返します。

式のカテゴリー: メディア

出力タイプ: 文字列

詳細を参照。


PDF のページ寸法を取得

サポート対象:バッチ、高速

PDF の各ページの寸法をポイント単位で取得します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<height, width>>

詳細を参照。


エンベロープの XZ 曲線インデックスを取得

サポート対象:バッチ、ストリーミング

エンベロープを XZ 曲線でエンコードします。

式のカテゴリー: 地理空間

出力タイプ: Long

例

引数の値:

  • 曲線プリセット: LON_LAT_10KM
  • エンベロープ: envelope
envelope出力
{
 maxLat -> 2.0,
 maxLon -> 3.0,
 minLat -> 0.0,
 minLon -> 1.0,
}
16777222
{
 maxLat -> 2.0,
 maxLon -> 3.0,
 minLat -> null,
 minLon -> 1.0,
}
null

詳細を参照。


始点から終点への方位を取得

サポート対象:バッチ、高速、ストリーミング

地球を球体として近似し、最初の点から2番目の点への絶対真方位(地理的な北を基準とした時計回りの角度)を度単位で計算します。

式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

  • 終点: end_point
  • 始点: start_point
start_pointend_point出力
{
 緯度: 40.69325025929194,
 経度: -74.00522662934995,
}
{
 緯度: 51.4988509390695,
 経度: -0.1238396067697046,
}
51.20964213763489

詳細を参照。


ジオメトリのエンベロープを取得

サポート対象:バッチ、ストリーミング

有効なジオメトリまたはジオメトリの配列を指定すると、入力のエンベロープを表すジオメトリを返します。エンベロープは、ジオメトリの x および y の最小値と最大値を含む、軸に平行な最小の長方形領域です。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}

詳細を参照。


緯度・経度の境界ボックス構造体を取得

サポート対象:バッチ、高速、ストリーミング

有効なジオメトリまたはジオメトリの配列を指定すると、そのジオメトリまたはジオメトリ群の境界を含む構造体を返します。

式のカテゴリー: 地理空間

出力タイプ: LatLonBoundingBox

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]}{
 maxLat -> 1.0,
 maxLon -> 1.0,
 minLat -> 0.0,
 minLon -> 0.0,
}

詳細を参照。


H3 インデックスの近傍を取得

サポート対象:バッチ、高速、ストリーミング

H3 インデックスのすべての近傍を取得します。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を参照。


構造体フィールドを取得

サポート対象:バッチ、高速、ストリーミング

構造体からフィールドを抽出します。

式のカテゴリー: 構造体

出力タイプ: AnyType

例

引数の値:

  • ロケーター: airline.id
  • 構造体: struct
struct出力
{
 airline: {
 id: NA,
},
}
NA
{
 airline: {
 id: FE,
},
}
FE

詳細を参照。


ジオメトリの凸包を取得

サポート対象:バッチ、高速、ストリーミング

有効な GeoJSON 入力文字列を指定すると、ジオメトリの凸包を表す GeoJSON 文字列を返します。凸包は、ジオメトリを含む最小の凸多角形です。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[2.0,0.0],[2.0,1.0],[1.0,1.0],[1.0,2.0],[0.0,2.0],[0.0,0.0]]]}{"type":"Polygon", "coordinates":[[[0.0, 0.0], [0.0, 2.0], [1.0, 2.0], [2.0, 1.0], [2.0, 0.0], [0.0, 0.0]]]}
nullnull

詳細を参照。


シーンフレームのタイムスタンプを取得

サポート対象:バッチ

動画内で検出されたシーンフレームの切り替わりのタイムスタンプとシーンスコアを取得します。

式のカテゴリー: メディア

出力タイプ: Array<Struct<timestamp, scene_score>>

詳細を確認。


より大きい

サポート対象:バッチ、高速、ストリーミング

左が右より大きい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: a
  • 右: b
ab出力
10true
11false
01false

詳細を確認。


以上

サポート対象:バッチ、高速、ストリーミング

左が右以上の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: a
  • 右: b
ab出力
10true
11true
01false

詳細を確認。


最大値

サポート対象:バッチ、高速、ストリーミング

null 値をスキップして、すべての入力列の中で最大の値を計算します。

式のカテゴリー: 数値

型変数の制約: T に指定できる型: ComparableType

出力タイプ: T

例

引数の値:

  • 式: [a, b, c]
abc出力
1233
1323
3213

詳細を確認。


Gzip 解凍

サポート対象:バッチ、高速、ストリーミング

gzip 圧縮されたバイナリを解凍して文字列にします。

式のカテゴリー: ファイル操作

出力タイプ: 文字列

例

引数の値:

  • 式: gzip
gzip出力
H4sIAAAAAAAA//NIzcnJ11Eozy/KSVEEAObG5usNAAAAHello, world!

詳細を確認。


H3 セルを子セルに変換

サポート対象:バッチ、高速、ストリーミング

子セルの粗さを指定する解像度で、H3 インデックスの子セルを取得します。解像度が0未満または15より大きい場合、あるいは子セルの解像度が指定された H3 インデックスの解像度より低い場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 インデックス>

詳細を確認。


H3 セルを親セルに変換

サポート対象:バッチ、高速、ストリーミング

親セルの粗さを指定する解像度で、H3 インデックスの親セルを取得します。解像度が0未満または15より大きい場合、あるいは解像度が指定されたインデックスの解像度より高い場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: H3 インデックス

詳細を確認。


H3 をジオメトリに変換

サポート対象:バッチ、高速、ストリーミング

H3 インデックスをポリゴンに変換します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細を確認。


メディアスキーマの有無

サポート対象:バッチ

Media Reference が特定のスキーマの種類と形式を持つかどうかを確認します。この式をフィルター条件として使用すると、メディアの種類でメディアセットを絞り込み、下流でスキーマ固有のデータ加工を行えます。

式のカテゴリー: メディア

出力タイプ: ブール値

詳細を確認。


sha256 ハッシュ

サポート対象:バッチ、高速、ストリーミング

sha256 ハッシュアルゴリズムを使用して入力をハッシュ化します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello World!

出力: 7f83b1657ff1fc53b92dc18148a1d65dfc2d4b1fa3d677284addd200126d9069

詳細を確認。


IPv6 を正規形式に変換

サポート対象:バッチ

IPv6 アドレスを正規形式の IPv6 アドレスに変換します。RFC 5952 に IPv6 の正規表現形式が記載されています。

式のカテゴリー: サイバー

出力タイプ: IPv6

例

引数の値:

  • 式: ip
ip出力
001:0db8:85a3:0000:0000:8a2e:0370:73341:db8:85a3::8a2e:370:7334
::1::1
2001:db8:0:1:1:1:1:12001:db8:0:1:1:1:1:1
2001:1:0:0:10:0:10:102001:1::10:0:10:10
2001:0:0:1:0:0:0:12001:0:0:1::1
2001:db8:0:0:1:0:0:12001:db8::1:0:0:1
2001:DB8:AAAA:BBBB:CCCC:DDDD:EEEE2001:db8:aaaa:bbbb:cccc:dddd:eeee
0:0:0:0:0:0:0:0::
::::
0:0:0:1:2:3:4:5::1:2:3:4:5
1:2:3:4:5:0:0:01:2:3:4:5::
1:2:3:4:5:6:7:81:2:3:4:5:6:7:8
nullnull

詳細を確認。


画像を埋め込みに変換

サポート対象:バッチ

指定されたモデルを使用して、画像を埋め込みに変換します。

式のカテゴリー: メディア

出力タイプ: 埋め込みベクトル

例

説明: 画像の埋め込みの例です。

引数の値:

  • メディア参照: mediaRef
  • モデル:
    googleSiglip2Embedding(

    )
  • 出力モード: null
mediaRef出力
{
"mimeType": "image/jpeg",
"reference": {
 "type": "mediaSetViewItem",
 "...
embeddings-result

詳細を確認。


ラインストリングに沿って Geopoint を補間

サポート対象:バッチ、ストリーミング

線に沿って補間された点を返します。この実装では、地球を球体で近似し、線を最短経路として解釈します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • 割合: fraction
  • ラインストリング: linestring
linestringfraction出力
{"type":"LineString","coordinates":[[0.0,2.0],[30.0,0.0]]}0.5{
 latitude: 1.0352686301676643,
 longitude: 15.004677545504547,
}
{"type":"LineString","coordinates":[[30.0,2.0],[50.0,3.0]]}0.8{
 latitude: 2.8256098405656185,
 longitude: 45.99752305664789,
}
{"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0]]}0.2{
 latitude: 8.363732883448177,
 longitude: 54.073497456494955,
}

詳細を確認。


NaN かどうか

サポート対象:バッチ、高速、ストリーミング

入力が nan の場合に true を返し、それ以外の場合は false を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: NaN

出力: true

詳細を確認。


空の構造体かどうか

サポート対象:バッチ、ストリーミング

内部の配列と構造体を再帰的に確認し、入力が空の構造体の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: struct
struct出力
{
 airline: {
 id: null,
 name: null,
},
 tail_no: null,
}
true
{
 airline: {
 id: NA,
 name: null,
},
 tail_no: null,
}
false

詳細を確認。


リストに含まれるかどうか

サポート対象:バッチ、高速、ストリーミング

リストに値が含まれる場合に true を返します。

式のカテゴリー: ブール値

型変数の制約: T に指定できる型: ComparableType

出力タイプ: ブール値

例

説明: リストに値が含まれるかどうかを確認できます。

引数の値:

  • を含む: [AWE-112, BRR-123]
  • 値: value
value出力
BRR-123true
ABC-543false

詳細を確認。


null ではない

サポート対象:バッチ、高速、ストリーミング

入力が null ではない場合に true を返します。オプションで空の文字列を null として扱うことができます。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: hello
  • 空の文字列を null として扱う: null

出力: true

詳細を参照。


null である

サポート対象:バッチ、高速、ストリーミング

入力が null の場合に true を返します。オプションで空の文字列を null として扱うことができます。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: null
  • 空の文字列を null として扱う: null

出力: true

詳細を参照。


有効な GeoJSON である

サポート対象:バッチ、高速、ストリーミング

入力が有効な GeoJSON 入力文字列の場合に true を返します。すべての GeoJSON 文字列がオントロジーでインデックス化できるわけではありません。オントロジーで使用する前に、「ジオメトリを準備」式を使用してジオメトリを準備します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geoJson
geoJson出力
{"type":"Point","coordinates":[3.0, 5.0, 2.0]}true
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}true
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}true
not a GeoJSON stringfalse

詳細を参照。


有効な Geohash である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Geohash 入力文字列の場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geohash
geohash出力
sk4dtrue
dt9zy9cg36j7true
not a Geohash stringfalse
nullfalse

詳細を参照。


有効な H3 インデックスである

サポート対象:バッチ、高速、ストリーミング

入力が有効な H3 インデックス文字列の場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: h3
h3出力
862a1072ffffffftrue
not an h3 valuefalse

詳細を参照。


有効な IPv4 である

サポート対象:バッチ

入力が有効な IPv4 アドレスの場合に true を返します。

式のカテゴリー: サイバー

出力タイプ: ブール値

例

引数の値:

  • 式: ip
ip出力
192.168.1.1true
10.0.0.1true
172.16.0.1true
255.255.255.255true
0.0.0.0true
127.0.0.1true
1.2.3.4true
256.1.1.1false
192.168.1.256false
192.168.1false
192.168.1.1.1false
abc.def.ghi.jklfalse
192.168.1.afalse
-1.2.3.4false
空の文字列false
false
192.168.1.0/24false
10.0.0.0/8false
192false
a.b.c.d/255.0.0.0false
::1false
2001:db8::1false
nullfalse

詳細を参照。


有効な IPv6 である

サポート対象:バッチ

入力が有効な IPv6 アドレスの場合に true を返します。

式のカテゴリー: サイバー

出力タイプ: ブール値

例

引数の値:

  • 式: ip
ip出力
001:0db8:85a3:0000:0000:8a2e:0370:7334true
2001:db8:85a3:0:0:8A2E:0370:7334true
2001:db8:85a3::8a2e:370:7334true
::1true
fe80::true
::true
0:0:0:0:0:0:0:1true
2001:db8::true
::ffff:192.0.2.128true
2001:db8:0:0:1:0:0:1true
1234:5678:9abc:def0:1234:5678:9abctrue
abcd:ef01:2345:6789:abcd:ef01:2345:6789true
2001:db8:1234:0000:0000:0000:0000:0001true
2001:db8:1234::1true
2001:db8:85a3::8a2e:37023:7334false
2001:db8:85a3::8a2e::7334false
2001:db8:85a3:0:0:8A2E:0370:7334:1234false
2001:db8:85a3false
2001:db8:85a3::8a2e:370g:7334false
::ffff:192.0.2.999false
2001:db8:85a3:0:0:8A2E:0370:7334:false
:2001:db8:85a3:0:0:8A2E:0370:7334false
2001:db8:85a3:0:0:8A2E:0370:7334::false
GGGG:db8:85a3:0:0:8A2E:0370:7334false
2001-db8-85a3-0-0-8A2E-0370-7334false
2001:db8:85a3:0:0:8A2E:0370:7334/64false
2001:db8::/32false
空の文字列false
false
192.168.1.1false
nullfalse

詳細を参照。


有効な MGRS である

サポート対象:バッチ、高速、ストリーミング

入力が有効な MGRS(軍用グリッド参照システム)文字列の場合に true を返します。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: mgrs
mgrs出力
4Q FJ 1 6true
4Q FJ 12345 67890true

詳細を参照。


有効な MIME タイプである

サポート対象:バッチ、高速、ストリーミング

入力が有効な MIME タイプの場合に true を返します。

式のカテゴリー: ブール値、その他

出力タイプ: ブール値

詳細を参照。


有効なオントロジーの Geopoint である

サポート対象:バッチ、高速、ストリーミング

入力が有効なオントロジーの Geopoint の場合に true を返します。オントロジーの Geopoint は '{lat},{lon}' 形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。

式のカテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

  • 式: geopoint
geopoint出力
-35.307428203,149.122686883true
149.122686883,-35.307428203false
10.0, 20.0true
10.0, 20.0true
not a GeoPointfalse
nullfalse
(10.0,20.0)false

詳細を参照。


有効な委任メディア gid である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Gotham 委任メディア gid の場合に true を返します。詳細については、Gotham の委任メディアの rtfm を確認してください。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: ri.gotham-delegated-media.12345678-1234-1234-1234-123456789012.testaudiotype.testlocator

出力: true

詳細を参照。


有効な Media Reference である

サポート対象:バッチ、高速、ストリーミング

入力が構造上 Foundry の Media Reference であり、その MIME タイプを解析できる場合に true を返します。これは形式のチェックのみです。レガシーの Media Reference 形式でも true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を参照。


有効な RID である

サポート対象:バッチ、高速、ストリーミング

入力が有効な Foundry リソース識別子の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を参照。


有効な UUID である

サポート対象:バッチ、高速、ストリーミング

入力が有効な UUID の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

詳細を参照。


配列を連結

サポート対象:バッチ、高速、ストリーミング

指定した区切り文字で配列を連結します。

式のカテゴリー: 配列

出力タイプ: 文字列

例

引数の値:

  • 連結する配列: [ hello, world ]
  • セパレーター: -

出力: hello-world

詳細を参照。


週/月/四半期/年の最終日

サポート対象:バッチ、高速

週/月/四半期/年の最終日を返します。

式のカテゴリー: 日時

出力タイプ: Date

詳細を参照。


最小値

サポート対象:バッチ、高速、ストリーミング

null 値をスキップして、すべての入力列の最小値を計算します。

式のカテゴリー: ブール値、数値

型変数の制約: T に指定できる型: ComparableType

出力タイプ: T

例

引数の値:

  • 式: [a, b, c]
abc出力
1231
1321
3211

詳細を参照。


文字列の左側

サポート対象:バッチ、高速、ストリーミング

インデックスに基づいて文字列の左側を抽出します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 5

出力: Hello

詳細を参照。


文字列の左側を埋める

サポート対象:バッチ、高速、ストリーミング

指定した長さになるまで、文字列列の左側を指定した埋め込み文字で埋めます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 15
  • 埋め込み文字: *

出力: ***Hello world!

詳細を参照。


長さ

サポート対象:バッチ、高速、ストリーミング

文字列列または配列列の各値の長さを返します。

式のカテゴリー: 配列、数値

出力タイプ: Integer

例

引数の値:

  • 式: string
string出力
hello5
bye3

詳細を参照。


より小さい

サポート対象:バッチ、高速、ストリーミング

左の値が右の値より小さい場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: left
  • 右: right
leftright出力
1.010true
10.01false

詳細を参照。


以下

サポート対象:バッチ、高速、ストリーミング

左の値が右の値以下の場合に true を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 左: left
  • 右: right
leftright出力
1.010true
10.01false

詳細を参照。


対数

サポート対象:バッチ、高速、ストリーミング

列の自然対数 ln(x) を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 10.123

出力: 2.3148100626166146

詳細を参照。


底を指定した対数

サポート対象:バッチ、高速、ストリーミング

指定した底の対数を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 基準: 2.0
  • 式: 8

出力: 3.0

詳細を参照。


論理型へのキャスト

サポート対象:バッチ、高速、ストリーミング

式を指定した論理型にキャストします。通常のキャスト式とは異なり、この式はデータの基になる表現を変更せず、指定した論理型に関連する制約を適用します。これにより、その論理型のインスタンスを明示的に要求する下流の式への入力として、出力を使用できます。

式のカテゴリー: 型変換

型変数の制約: C に指定できる型: AnyType

出力タイプ: C

例

説明: 自然数へのキャストが成功する例

引数の値:

  • 式: 1234
  • 論理型: 自然数
  • デフォルトの値: null

出力: 1234

詳細を参照。


小文字

サポート対象:バッチ、高速、ストリーミング

文字列内のすべての文字を小文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello World

出力: hello world

詳細を参照。


値のマッピング

サポート対象:バッチ、高速、ストリーミング

キーと値のペアのマップに基づいて、入力列の値を新しい値に変更します。入力値がマップ内に見つからない場合は、デフォルト値が使用されます。

式のカテゴリー: データ準備

型変数の制約: T1 に指定できる型: ComparableType**T2 に指定できる型: AnyType

出力タイプ: T2

例

引数の値:

  • 値を置換する列: country
  • デフォルトの値:
    cast(
     expression: null,
     type: String,
    )
  • 値のマップ: {
     Denmark -> DNK,
     United Kingdom -> UK,
    }
country出力
United KingdomUK
DenmarkDNK
United States of Americanull

詳細を参照。


剰余

サポート対象:バッチ、高速、ストリーミング

式の剰余を返します。

式のカテゴリー: 数値

出力タイプ: DefiniteNumeric

例

引数の値:

  • 分母: 4
  • 分子: 10.123

出力: 2.123

詳細を参照。


数値を乗算

サポート対象:バッチ、高速、ストリーミング

すべての入力列の積を計算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式: [col_a, col_b, col_c]
col_acol_bcol_c出力
102360

詳細を参照。


自然数の乱数

サポート対象:バッチ、高速、ストリーミング

ランダムな自然数を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返すと同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Long

例

説明: 10以上11未満の自然数は10のみです。

引数の値:

  • 最大値: 11
  • 最小値: 10
  • シード: null

出力: 10

詳細を参照。


符号反転

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: 数値

出力タイプ: Numeric

詳細を参照。


次の曜日

サポート対象:バッチ

曜日の引数に基づいて、日付列の値より後の最初の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

説明: 2024年1月10日水曜日の次の月曜日

引数の値:

  • Date: 2024-01-10
  • 曜日: MONDAY

出力: 2024-01-15

詳細を参照。


正規乱数

サポート対象:バッチ、高速、ストリーミング

平均0、分散1の正規分布に従う乱数の列を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返すと同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Double

詳細を参照。


否定

サポート対象:バッチ、高速、ストリーミング

ブール式のブール値を否定した値を返します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 式: boolean
boolean出力
truefalse
falsetrue

詳細を参照。


すべての条件の否定

サポート対象:バッチ、ストリーミング

どの条件も満たされない場合にのみ true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruefalse
truefalsefalse
falsetruefalse
falsefalsetrue

詳細を表示。


ポリゴン内の N 番目のチェーン

サポート対象:バッチ、高速、ストリーミング

ジオメトリ内の単一のポリゴンの n 番目のリングを返します。インデックスは1から始まり、インデックス0は範囲外です。インデックスが1の場合は外周リングを返します。インデックスが1より大きい場合は内周リングを返します。ジオメトリが単一のポリゴンでない、フィーチャーコレクションまたはジオメトリコレクションが指定されている、インデックスが範囲外である、引数の1つ以上が null である、のいずれかの場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • N: n
  • ポリゴン: polygon
polygonn出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}1{"coordinates": [[0.0, 0.0], [0.0, 10.0], [10.0, 10.0], [10.0, 0.0], [0.0, 0.0]], "type": "LineString"}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}2null
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"}1{"coordinates": [[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]], "type": "LineString"}
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"}2{"coordinates": [[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]], "type": "LineString"}

詳細を表示。


ラインストリング内の N 番目の点

サポート対象:バッチ、高速、ストリーミング

ジオメトリ内の単一のラインストリングの n 番目の点を返します。インデックスは1から始まり、インデックス0は範囲外です。負のインデックスはラインストリングの末尾から逆順に数えるため、-1は最後の点を表します。ジオメトリが単一のラインストリングでない、フィーチャーコレクションまたはジオメトリコレクションが指定されている、インデックスが範囲外である、引数の1つ以上が null である、のいずれかの場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: Geopoint

例

引数の値:

  • ラインストリング: linestring
  • N: n
linestringn出力
{"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]}1{
 緯度: 2.0,
 経度: 30.0,
}
{"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]}3{
 緯度: 3.0,
 経度: 50.0,
}
{"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0],[40.0,0.0]]}-1{
 緯度: 0.0,
 経度: 40.0,
}

詳細を表示。


空の文字列を null に変換

サポート対象:バッチ、高速、ストリーミング

空の文字列を null に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: 空の文字列

出力: null

詳細を表示。


論理和

サポート対象:バッチ、高速、ストリーミング

指定された条件のいずれかが true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。

式のカテゴリー: ブール値

出力タイプ: ブール値

例

引数の値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruetrue
truefalsetrue
falsetruetrue
falsefalsefalse

詳細を表示。


WGS 84 以外の座標系の GeoJSON をパース

サポート対象:バッチ、高速、ストリーミング

WGS 84 以外の座標系の GeoJSON 文字列を WGS 84 のジオメトリに変換します。すでに WGS 84(経度、緯度)の GeoJSON には、「論理型キャスト」式を使用すると、より少ないオーバーヘッドで直接変換できます。パースまたは変換に失敗した文字列の場合は null を返します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • GeoJSON 文字列: geojson_string
  • ソース座標系: EPSG:32618
geojson_string出力
{"type":"Point","coordinates":[320000.0,4300000.0]}{"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]}
{"type":"LineString","coordinates":[[320000.0,4300000.0],[320100.0,4300000.0]]}{"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659]]}
{"type":"Polygon","coordinates":[[[320000.0,4300000.0],[320100.0,4300000.0],[320000.0,4300100.0],[320000.0,4300000.0]]]}{"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659],[-77.07370685720375,38.83130901341597],[-77.07368071728229,38.83040844313318]]]}

詳細を表示。


JSON 文字列をパース

サポート対象:バッチ、高速、ストリーミング

指定されたスキーマ定義に従って JSON 文字列をパースし、スキーマに含まれないフィールドは無視します。

式のカテゴリー: データ準備、よく使う、文字列、構造体

出力タイプ: Array<AnyType> | Map<String, String> | Struct

例

引数の値:

  • JSON: json
  • スキーマ: Struct<airline, airport<id, miles>>
  • 出力モード: null
json出力
{
 "airline": "XB-112",
 "airport": {
  "id": "JFK",
  "miles": 2000
 }
}
{
 airline: XB-112,
 airport: {
 id: JFK,
 miles: 2000,
},
}

詳細を表示。


KML 文字列をジオメトリとしてパース

サポート対象:バッチ、ストリーミング

KML のジオメトリ定義を GeoJSON としてパースします。すべての属性を無視します。この式はすでに抽出されたテキストに対して動作します。この式を使用する前に、ファイルからテキストを抽出してください。

式のカテゴリー: 地理空間

出力タイプ: String | Struct<ok, error>

例

説明: 基本的なポリゴン。

引数の値:

  • パースする KML 文字列: col
  • 出力モード: null
  • パース後にジオメトリを準備: null
col出力
<LineString>
<coordinates>
-71.1663,42.2614
-71.1667,42.2616
</coordinates>
</LineString>
{"type":"LineString","coordinates":[[-71.1663,42.2614],[-71.1667,42.2616]]}
<Polygon>
<extrude>1</extrude>
<altitudeMode>relativeToGround</altitudeMode>
<ou...
{"type":"Polygon","coordinates":[[[-122.0848938459612,37.42257124044786,17.0],[-122.0847882750515,37...
<Polygon>
<extrude>1</extrude>
<altitudeMode>relativeToGround</altitudeMode>
<ou...
{"type":"Polygon","coordinates":[[[-77.05465973756702,38.87291016281703,100.0],[-77.0531553685479,38...
<Point>
<coordinates>
-71.1663,42.2614
</coordinates>
</Point>
{"type":"Point","coordinates":[-71.1663,42.2614]}
<MultiGeometry>
<Polygon>
<outerBoundaryIs>
<coordinates> -71.1663,42.2614
-71.1...
{"type":"MultiPolygon","coordinates":[[[[-81.1679,32.2614],[-81.1679,32.28],[-81.1663,32.28],[-81.16...

詳細を参照。


KML 文字列をジオメトリのリストとしてパース

サポート対象:バッチ、ストリーミング

KML 文字列を GeoJSON のリストとしてパースし、すべての KML 属性を無視します。

式のカテゴリー: 地理空間

出力タイプ: Array<Geometry> | Struct<ok<Struct<ok, error>>, error>

例

引数の値:

  • パースする KML 文字列: col
  • 出力モード: simple
  • パース後にジオメトリを準備: true
col出力
<?xml version="1.0" encoding="utf-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2">
<Do...
[ {"coordinates":[[-122.43193945401, 37.801983684521], [-122.431564131101, 37.8020327731402], [-122.43... ]

詳細を参照。


XML をスキーマに従ってパース

サポート対象:バッチ、ストリーミング

指定されたスキーマ定義に従って XML 文字列をパースし、スキーマに含まれないフィールドを無視します。

式のカテゴリー: ファイル操作、構造体

出力タイプ: 構造体

例

引数の値:

  • 入力スキーマ: Struct<id, airport<id, miles>>
  • XML: xml
  • 属性の接頭辞: null
  • 名前空間を無視: null
  • 出力モード: SIMPLE
  • 値タグ: null
xml出力
<airline>
 <id>XB-112</id>
 <airport>
  <id>JFK</id>
  <miles>2000</miles>
 </airport>
</airline>
{
 airport: {
 id: JFK,
 miles: 2000,
},
 id: XB-112,
}

詳細を参照。


機密情報区分の文字列をパース

サポート対象:バッチ、ストリーミング

指定された機密情報区分の文字列からパースしたマーキングを返します。この出力は構造体として整形され、構造体の最初の要素は、入力を表す機密情報区分のマーキングで構成される配列です。このリストは、機密情報区分の文字列が無効な場合、またはマーキングのパース中にほかのエラーが発生した場合は null になります。構造体の2番目の要素は、エラーメッセージの文字列です。エラーがない場合、エラーフィールドは null になります。この式は、パフォーマンスのために非同期で呼び出されます。

式のカテゴリー: その他

出力タイプ: Struct<markingIds<Classification>, errors>

詳細を参照。


期間をパース

サポート対象:バッチ

ISO8601 形式の期間文字列と開始時刻をパースし、指定した時間単位での長さに変換します。

式のカテゴリー: 日時、文字列

出力タイプ: Long

例

引数の値:

  • 期間: PT1M30.5S
  • 開始時間: 2022-10-01T09:00:00Z
  • 単位: SECONDS

出力: 90

詳細を参照。


電話番号をパース

サポート対象:バッチ、高速、ストリーミング

さまざまな地域および形式の電話番号をパースし、共通の形式に正規化します。+ 記号の後に地域コードが続く電話番号は、地域が設定されていなくても正しくパースされます。それ以外のすべての番号形式を正しくパースするには、用意されている選択肢から地域を選択する必要があります。パースできない電話番号の場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: 電話番号

例

説明: 整形された米国の電話番号を返します

引数の値:

  • 式: phoneNumber
  • 形式: E164
  • 地域: US
phoneNumber出力
(234) 235-5678+12342355678
+1 415 5552671+14155552671
(415) 5552671+14155552671
Whatsapp@14155552671+14155552671

詳細を参照。


セマンティックバージョンをパース

サポート対象:バッチ、ストリーミング

セマンティックバージョンの文字列を論理型にパースします。リリースバージョン(例:"0.987.0")とプレリリースメタデータを含むバージョン(例:"0.987.0-16-gb3fb285")の両方をサポートします。文字列が期待される形式に一致しない場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: セマンティックバージョン

例

引数の値:

  • バージョン文字列: version
version出力
0.987.0-16-gb3fb285{
 major -> 0,
 minor -> 987,
 patch -> 0,
 prerelease -> [ 16-gb3fb285 ],
}
1.0.0-0-g0000000{
 major -> 1,
 minor -> 0,
 patch -> 0,
 prerelease -> [ 0-g0000000 ],
}
2.5.3-42-gabc1234{
 major -> 2,
 minor -> 5,
 patch -> 3,
 prerelease -> [ 42-gabc1234 ],
}
0.987.0-SNAPSHOT{
 major -> 0,
 minor -> 987,
 patch -> 0,
 prerelease -> [ SNAPSHOT ],
}

詳細を参照。


Well-known binary をジオメトリとしてパース

サポート対象:バッチ、高速、ストリーミング

Well-known binary (WKB) をジオメトリ論理型に変換します。無効な WKB 入力の場合は null を返します。WKB がまだ WGS 84 でない場合は、必要に応じてソース座標系の識別子を指定することで、ソース座標系から WGS 84 に変換できます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: wkb
  • ソース座標系: null
wkb出力
AAAAAAFACAAAAAAAAEAUAAAAAAAA{"type":"Point","coordinates":[3.0, 5.0]}
AIAAAAFACAAAAAAAAEAUAAAAAAAAQAAAAAAAAAA={"type":"Point","coordinates":[3.0, 5.0, 2.0]}
AAAAAAMAAAABAAAABAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA={"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
AAAAAAIAAAACAAAAAAAAAAAAAAAAAAAAAD/wAAAAAAAAAAAAAAAAAAA={"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}

詳細を参照。


Well-known text をジオメトリとしてパース

サポート対象:バッチ、高速、ストリーミング

Well-known text (WKT) 文字列をジオメトリ論理型に変換します。無効な WKT 入力は null として返されます。WKT がまだ WGS 84 でない場合は、任意でソース座標系の識別子を指定し、ソース座標系から WGS 84 に変換できます。

式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

  • 式: wkt
  • ソース座標系: null
wkt出力
POINT (3.0 5.0 2.0){"type":"Point","coordinates":[3.0, 5.0, 2.0]}
POLYGON ((0.0 0.0, 1.0 0.0, 0.0 1.0, 0.0 0.0)){"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]}
LINESTRING (0.0 0.0, 1.0 0.0){"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}

詳細を参照。


配列をパーティション分割

サポート対象:バッチ、ストリーミング

要素の順序を維持しながら、配列を指定されたサイズ以下の連続した配列に分割します。サイズは正の整数である必要があります。配列またはサイズが null の場合、またはサイズが無効な場合は null を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<Array<T>>

例

引数の値:

  • 配列: [ a, b, c, d, e ]
  • サイズ: 2

出力: [ [ a, b ], [ c, d ], [ e ] ]

詳細を参照。


周長

サポート対象:バッチ、ストリーミング

地球を球体として近似し、ジオメトリの周長をメートル単位で計算します。ラインストリングまたは点の場合、この値は0になります。

式のカテゴリー: 地理空間

出力タイプ: Double

詳細を参照。


正の剰余

サポート対象:バッチ、高速

式の正の剰余を返します。

式のカテゴリー: 数値

型変数の制約: T1 に指定できる型: Byte | Integer | Long | Short**T2 に指定できる型: Byte | Integer | Long | Short

出力タイプ: T1

例

引数の値:

  • 分母: 3
  • 分子: 10

出力: 1

詳細を参照。


べき乗

サポート対象:バッチ、高速、ストリーミング

式を指定された指数でべき乗します。いずれかの値が null の場合は null を返します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 指数: 3
  • 式: 10

出力: 1000.0

詳細を参照。


ジオメトリを準備

サポート対象:バッチ、ストリーミング

ジオメトリ文字列を有効な GeoJSON に変換し、オントロジーへのインデックス化など、下流での使用に向けてジオメトリを準備します。ポリゴンは閉じられ、重複が除去されます。反子午線をまたぐジオメトリ(幅が180度を超えることで判定)は、反子午線の両側にある複数のフィーチャーに分割されます。デフォルトでは、この操作は変換されたジオメトリを返し、文字列を変換できない場合は null を返します。一方、「エラーを表示」出力モードでは、正常にパースされた出力またはエラーの詳細メッセージのいずれかを含む構造体を出力します。

式のカテゴリー: 地理空間

出力タイプ: Geometry | Struct<ok, error>

例

引数の値:

  • ジオメトリ文字列: geometry
  • 出力モード: null
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[10.0,0.0],[10.0,10.0],[0.0,10.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[1.0,0.0,1.0],[0.0,1.0,1.0],[0.0,0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[0.0,1.0,1.0],[1.0,0.0,1.0],[0.0,0.0,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [0.0,1.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [1.0,0.0], [0.0,1.0], [0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[179.0,-30.0],[-179.0,-30.0],[-179.0,30.0],[179.0,30.0],[179.0,-30]]]}{"type":"MultiPolygon","coordinates":[[[[-180.0,-30.0],[-180.0,30.0],[-179.0,30.0],[-179.0,-30.0],[-180.0,-30.0]]],[[[180.0,30.0],[180.0,-30.0],[179.0,-30.0],[179.0,30.0],[180.0,30.0]]]]}
{"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]}{"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]}
{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]...{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]...
{"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]}]}{"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]}]}
{"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}...{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]]}
{"type":"GeometryCollection","geometries":[{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[],[[1.0,1.0],[2.0,1.0]]]},{"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]}]}{"geometries":[{"coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]],"type":"MultiLineString"},{"coordinates":[[0.0,0.0],[1.0,1.0]],"type":"MultiPoint"}],"type":"GeometryCollection"}
{"type":"MultiPolygon","coordinates":[[[[1.0,1.0],[2.0,1.0],[2.0,2.0],[1.0,2.0],[1.0,1.0]]],[[]],[[[10.0,10.0],[20.0,10.0],[20.0,20.0],[10.0,20.0],[10.0,10.0]]]]}{"type":"MultiPolygon","coordinates":[[[[1.0,2.0],[2.0,2.0],[2.0,1.0],[1.0,1.0],[1.0,2.0]]],[[[10.0,20.0],[20.0,20.0],[20.0,10.0],[10.0,10.0],[10.0,20.0]]]]}

詳細を参照。


ROUGE スコア

サポート対象:バッチ

予測テキストと対象テキストの ROUGE 適合率、再現率、F 値を計算します。テキストは小文字に変換され、ASCII の英字と数字のみが比較されます。それ以外のすべての文字は単語の区切りとして扱われます。いずれかの入力が null の場合、またはスコアラーのサイズ制限を超える場合など、テキストを採点できない場合は null を返します。

式のカテゴリー: 距離測定、文字列

出力タイプ: Struct<precision, recall, fmeasure>

例

引数の値:

  • 予測: prediction
  • ROUGE の種類: rouge1
  • ターゲット: target
  • ステマーを使用: null
predictiontarget出力
the cat satthe cat sat{
 fmeasure: 1.0,
 precision: 1.0,
 recall: 1.0,
}

詳細を参照。


配列要素をリデュース

サポート対象:バッチ、ストリーミング

式を使用して配列要素をリデュースします。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: Array<Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp> | Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp

出力タイプ: T

例

引数の値:

  • 配列: miles
  • リデュースする式:
    add(
     expressions: [accumulator, element],
    )
  • 初期値: 0
miles出力
[ 12300, 12342 ]24642

詳細を参照。


正規表現で抽出

サポート対象:バッチ、高速、ストリーミング

正規表現から指定されたグループを抽出します。一致するものが見つからない場合は、空の文字列を返します。

式のカテゴリー: 正規表現、文字列

出力タイプ: 文字列

例

説明: 最初の一致から先頭の2文字を抽出します。

引数の値:

  • 式: MT-112, XB-967
  • グループ: 1
  • パターン: (\w\w)(-)

出力: MT

詳細を見る。


正規表現で検索

サポート対象:バッチ、高速、ストリーミング

式が正規表現に一致するかを判定します。正規表現は文字列のどの部分に一致してもかまいません。

式のカテゴリー: 正規表現、文字列

出力タイプ: ブール値

例

説明: 正規表現パターンを検索できます。

引数の値:

  • 式: abcdefg
  • 正規表現: abc?d

出力: true

詳細を見る。


正規表現のインデックス

サポート対象:バッチ、高速、ストリーミング

指定された式内で正規表現パターンが見つかった位置のインデックス(Unicode コードポイント単位でカウント)の配列を返します。

式のカテゴリー: 正規表現、文字列

出力タイプ: Array<Integer>

例

説明: 正規表現パターンとそのインデックスを検索できます。

引数の値:

  • 式: ababab
  • 正規表現: ab

出力: [ 0, 2, 4 ]

詳細を見る。


正規表現で一致判定

サポート対象:バッチ、高速、ストリーミング

式が正規表現に一致するかを判定します。正規表現は文字列全体に一致する必要があります。

式のカテゴリー: 正規表現、文字列

出力タイプ: ブール値

例

説明: 正規表現パターンとの一致を判定できます

引数の値:

  • 式: abcdefg
  • 正規表現: abc?d.+

出力: true

詳細を見る。


正規表現で置換

サポート対象:バッチ、高速、ストリーミング

正規表現パターンを使用して文字列を置換します。

式のカテゴリー: 正規表現、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: tail_number
  • パターン: (\w\w)(-)
  • 置換: **-
tail_number出力
MT-123**-123
XB-434**-434
MT-123, XB-434**-123, **-434

詳細を見る。


キーでマップエントリーを削除

サポート対象:バッチ、ストリーミング

指定されたキーでマップエントリーを削除します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • キー: k
  • マップ: map_col
map_col出力
{
 a -> 1,
 k -> 2,
}
{
 a -> 1,
}

詳細を見る。


構造体フィールドの名前を変更

サポート対象:バッチ、高速、ストリーミング

構造体内のフィールドの名前を変更します。

式のカテゴリー: データ準備、構造体

出力タイプ: 構造体

例

引数の値:

  • 式: struct
  • 名前の変更: [(airline.id, identifier)]
struct出力
{
 airline: {
 id: NA,
},
}
{
 airline: {
 identifier: NA,
},
}
{
 airline: {
 id: FE,
},
}
{
 airline: {
 identifier: FE,
},
}

詳細を見る。


文字列の右側

サポート対象:バッチ、高速、ストリーミング

インデックスに基づいて文字列の右側を抽出します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 6

出力: world!

詳細を見る。


文字列の右側をパディング

サポート対象:バッチ、高速、ストリーミング

文字列列の右側をパディング文字で埋めて、指定された長さにします。文字列の長さが指定された長さより大きい場合は、切り詰められます。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: Hello world!
  • 長さ: 15
  • パディング文字: *

出力: Hello world!***

詳細を見る。


数値を丸める

サポート対象:バッチ、高速、ストリーミング

数値を「スケール」で指定された小数点以下の桁数に丸めます。

式のカテゴリー: 数値

出力タイプ: Decimal | Double | Float

例

引数の値:

  • 列: 10.123
  • スケール: 2

出力: 10.12

詳細を見る。


正割

サポート対象:バッチ、高速、ストリーミング

角度の正割を求めます。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.01.0
90.01.633123935319537E16
180.0-1.0

詳細を見る。


センテンスケース

サポート対象:バッチ、高速、ストリーミング

最初の単語の先頭文字を大文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: hello world

出力: Hello world

詳細を見る。


数列

サポート対象:バッチ、高速、ストリーミング

開始から終了までの範囲の数値を含む配列を作成します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: Byte | Integer | Long | Short

出力タイプ: Array<T>

例

説明: 特に指定がない限り、数列は1ずつ増加します。

引数の値:

  • 終了: 10
  • 開始: 0
  • ステップサイズ: null

出力: [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 ]

詳細を見る。


類似度スコア

サポート対象:バッチ

2つの埋め込みベクトルの類似度スコアを返します。

式のカテゴリー: 距離測定、数値

型変数の制約: T に指定できる型: Array<Float>

出力タイプ: Double

詳細を見る。


ジオメトリを簡略化

サポート対象:バッチ、高速、ストリーミング

この式は、地球の球体モデルを使用して、指定された許容距離内の点を削除することで GeoJSON ジオメトリを簡略化します。許容距離より小さいループは完全に削除される場合があります。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • ジオメトリ: Geometry
  • 許容距離: Tolerance
  • 座標精度: null
GeometryTolerance出力
{"type":"LineString","coordinates":[[30.0,0.0],[35.0,0.0],[40.0,0.0]]}1000{"type":"LineString","coordinates":[[30.0,0.0],[40.0,0.0]]}
{"type":"Polygon","coordinates":[[[-1.0,-1.0],[1.0,-1.0],[1.0,1.0],[0.0,1.0],[-1.0,1.0],[-1.0,-1.0]]]}12000{"type":"Polygon","coordinates":[[[-1.0,1.0],[1.0,1.0],[1.0,-1.0],[-1.0,-1.0],[-1.0,1.0]]]}
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[5.0,0.1],[10.0,0.0]], [[0.0,-5.0],[5.0,0.1],[10.0,5.0]]]}12000{"type":"MultiLineString","coordinates":[[[0.0,0.0],[10.0,0.0]],[[0.0,-5.0],[10.0,5.0]]]}
{"type":"MultiPolygon","coordinates":[[[[-2.0,-2.0],[2.0,-2.0],[2.0,2.0],[0.0,2.1],[-2.0,2.0],[-2.0,...12000{"type":"MultiPolygon","coordinates":[[[[-2.0,2.0],[2.0,2.0],[2.0,-2.0],[-2.0,-2.0],[-2.0,2.0]], [[1...

詳細を見る。


正弦

サポート対象:バッチ、高速、ストリーミング

角度の正弦を求めます。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.00.0
90.01.0
180.00.0

詳細を見る。


バイトをスキップ

サポート対象:バッチ、高速、ストリーミング

バイナリ列で指定されたバイト数をスキップします。

式のカテゴリー: バイナリ

出力タイプ: Binary

例

引数の値:

  • バイト: aGk=
  • スキップするバイト数: 1

出力: aQ==

詳細を参照。


配列をスライス

サポート対象:バッチ、高速、ストリーミング

最初の位置から2番目の位置までを切り出した配列を返します。最初の位置は1以上である必要があります。2番目の位置が配列の長さを超える場合は、配列の残りの部分全体を返します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

詳細を参照。


Soundex

サポート対象:バッチ、高速

単語の Soundex エンコーディング(発音の表現)を計算します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: input_string
input_string出力
catC300
caatC300
twoT000
tooT000
toT000
fourF600
forF600
foreF600
furF600
meowM000
me owM000

詳細を参照。


文字列を分割

サポート対象:バッチ、高速、ストリーミング

指定された正規表現パターンで文字列を分割します。

式のカテゴリー: 文字列

出力タイプ: Array<String>

例

引数の値:

  • 式: string
  • パターン:
  • 制限: 2
string出力
hello[ hello ]
hello world[ hello, world ]
hello there world[ hello, there world ]

詳細を参照。


平方根

サポート対象:バッチ、高速、ストリーミング

列の平方根を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 9.0

出力: 3.0

詳細を参照。


指定した値で始まる

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: Boolean

例

引数の値:

  • 式: Hello world
  • 大文字と小文字を区別しない: true
  • 値: hello

出力: true

詳細を参照。


区切り文字の後の文字列

サポート対象:バッチ、高速、ストリーミング

最初の区切り文字の後の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 区切り文字: hello
  • 式: ... Hello world
  • 大文字と小文字を区別しない: true

出力: world

詳細を参照。


区切り文字の前の文字列

サポート対象:バッチ、高速、ストリーミング

最初の区切り文字の前の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 区切り文字: hello
  • 式: ... Hello world
  • 大文字と小文字を区別しない: true

出力: ...

詳細を参照。


文字列に含まれる

サポート対象:バッチ、高速、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: Boolean

例

引数の値:

  • 式: ... Hello world
  • 大文字と小文字を区別しない: true
  • 値: hello

出力: true

詳細を参照。


部分文字列

サポート対象:バッチ、高速、ストリーミング

部分文字列を抽出します。

式のカテゴリー: 数値

出力タイプ: String

例

引数の値:

  • 式: string
  • 開始: start
  • 長さ: length
stringstartlength出力
hello, world15hello
hello, world85world
hello, world-55world

詳細を参照。


複数の式を減算

サポート対象:バッチ、高速、ストリーミング

数値とすべての入力列との差を計算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式のリスト: [col_b, col_c]
  • 減算される値: col_a
col_acol_bcol_c出力
5320
240-2
-2-4-24

詳細を参照。


数値を減算

サポート対象:バッチ、高速、ストリーミング

ある数値から別の数値を減算します。

式のカテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 左: col_a
  • 右: col_b
col_acol_b出力
32428
-5-3-2

詳細を参照。


日付から値を減算

サポート対象:バッチ、高速、ストリーミング

「start」より「value」日/週/月/四半期/年前の日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

例

引数の値:

  • Date: 2022-04-05
  • 単位: DAYS
  • 値: 2

出力: 2022-04-03

詳細を参照。


配列要素の合計

サポート対象:バッチ、高速、ストリーミング

配列に含まれる要素を合計します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: DefiniteNumeric

出力タイプ: T

例

引数の値:

  • 式: [ 1, 2, 3 ]
  • null をゼロとして扱う: true

出力: 6

詳細を参照。


正接

サポート対象:バッチ、高速、ストリーミング

角度の正接を求めます。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 角度の単位: degrees
  • 角度の値: angle
angle出力
0.00.0
90.01.633123935319537E16
180.00.0

詳細を参照。


テキストの分割

サポート対象:バッチ、高速、ストリーミング

スライディングウィンドウによる分割を使用して、一連のテキストセグメントを抽出します。

式のカテゴリー: 文字列

出力タイプ: Array<String>

詳細を参照。


テキストを埋め込みに変換

サポート対象:バッチ

テキストを埋め込みに変換します。

式のカテゴリー: 文字列

出力タイプ: 埋め込みベクトル

例

説明: 単語「palantir」の埋め込みの例です。

引数の値:

  • モデル:
    ada002Embedding(

    )
  • テキスト列: text
  • 出力モード: null
text出力
palantir[ -0.019182289, -0.02127992, 0.009529043, -0.008066221, -0.0014429842, 0.019154688, -0.023556953, -0...

詳細を参照。


タイムスタンプに加算

サポート対象:バッチ、高速、ストリーミング

指定された単位でタイムスタンプに値を加算します。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • Timestamp: 2022-02-01T00:00:00Z
  • 単位: MILLISECONDS
  • 加算する値: 2

出力: 2022-02-01T00:00:00.002Z

詳細を参照。


タイムスタンプの差

サポート対象:バッチ、高速、ストリーミング

2つのタイムスタンプの差を指定された時間単位で返します。

式のカテゴリー: 日時

出力タイプ: Long

例

引数の値:

  • 終了: 2022-10-01T10:00:00Z
  • 開始: 2022-10-01T09:00:00Z
  • 単位: HOURS

出力: 1

詳細を参照。


タイムスタンプのシーケンス

サポート対象:バッチ、高速

開始から終了までの範囲のタイムスタンプを含む配列を作成します。

式のカテゴリー: 日時

出力タイプ: Array<Timestamp>

例

引数の値:

  • 終了時間: end_time
  • 開始時間: start_time
  • ステップ単位: DAYS
  • ステップサイズ: 1.0
start_timeend_time出力
2023-01-01T00:00:00Z2023-01-03T00:00:00Z[ 2023-01-01T00:00:00Z, 2023-01-02T00:00:00Z, 2023-01-03T00:00:00Z ]
2023-01-01T01:50:00Z2023-01-03T00:00:00Z[ 2023-01-01T01:50:00Z, 2023-01-02T01:50:00Z ]

詳細を見る。


タイムスタンプから減算

サポート対象:バッチ、高速、ストリーミング

指定した単位でタイムスタンプから値を減算します。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • Timestamp: 2022-02-02T00:00:00Z
  • 単位: MILLISECONDS
  • 減算する値: 2

出力: 2022-02-01T23:59:59.998Z

詳細を見る。


タイムスタンプをエポックミリ秒に変換

サポート対象:バッチ、高速、ストリーミング

UTC のタイムスタンプをエポックミリ秒に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: Long

例

引数の値:

  • Timestamp: 2022-10-01T09:00:00Z

出力: 1664614800000

詳細を見る。


タイムスタンプをエポック秒に変換

サポート対象:バッチ、高速、ストリーミング

UTC のタイムスタンプをエポック秒に変換します。

式のカテゴリー: 型変換、日時

出力タイプ: Long

例

引数の値:

  • Timestamp: 2022-10-01T09:01:13.47Z

出力: 1664614873

詳細を見る。


タイトルケース

サポート対象:バッチ、高速、ストリーミング

各単語の最初の文字を大文字に、残りを小文字に変換します。

式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: hello world

出力: Hello World

詳細を見る。


トークンセット比率

サポート対象:バッチ、ストリーミング

2つの文字列間のトークンセット比率を計算します。トークンセット比率は、2つの文字列がどの程度似ているかを表す指標で、0から1の値を返します。0は2つの文字列間に類似性がないことを意味し、1は同じ文字列であること(または一方が他方の部分文字列であること)を意味します。

式のカテゴリー: 距離測定、文字列

出力タイプ: Double

例

引数の値:

  • 大文字と小文字を区別しない: false
  • 左: left
  • 右: right
leftright出力
hello worldworld hello1.0
Hellohello world0.5
hello hello WorlDhello world0.8181818181818181
hellofarewell0.46153846153846156
空の文字列空の文字列1.0

詳細を見る。


CPU を使用した音声の JSON への文字起こし

サポート対象:バッチ

CPU を使用して音声ファイルを JSON に文字起こしします。

式のカテゴリー: メディア

出力タイプ: String

詳細を見る。


GPU を使用した音声の JSON への文字起こし

サポート対象:バッチ

GPU を使用して音声ファイルを JSON に文字起こしします。

式のカテゴリー: メディア

出力タイプ: String

詳細を見る。


音声のテキストへの文字起こし

サポート対象:バッチ、高速

音声ファイルをテキストに文字起こしします。

式のカテゴリー: メディア

出力タイプ: String | Struct<ok, error>

詳細を見る。


配列要素を変換

サポート対象:バッチ、ストリーミング

式を使用して配列の各要素をマッピングします。配列のインデックスは1から始まることに注意してください。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 配列: flight_number
  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: element,
     ignoreCase: false,
    )
flight_number出力
[ XB-134, MT-111 ][ XB, MT ]

詳細を見る。


マップのキーを変換

サポート対象:バッチ、ストリーミング

すべてのキーと値のペアに式を適用して、マップのキーを変換します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: key,
     ignoreCase: false,
    )
  • マップ: flight_number
flight_number出力
{
 MT-111 -> 2,
 XB-134 -> 1,
}
{
 MT -> 2,
 XB -> 1,
}

詳細を見る。


マップの値を変換

サポート対象:バッチ

すべてのキーと値のペアに式を適用して、マップの値を変換します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 適用する式:
    stringBeforeDelimiter(
     delimiter: -,
     expression: value,
     ignoreCase: false,
    )
  • マップ: flight_number
flight_number出力
{
 1 -> XB-134,
 2 -> MT-111,
}
{
 1 -> XB,
 2 -> MT,
}

詳細を見る。


前後の空白を削除

サポート対象:バッチ、高速、ストリーミング

文字列の先頭と末尾の空白を削除します。空白は、1) Unicode の \p{whitespace} セット、2) Java の String#trim() メソッド、3) Java の Character#isWhitespace() メソッドのいずれかで空白と定義される文字です。

式のカテゴリー: データ準備、文字列

出力タイプ: String

例

引数の値:

  • 式: hello world

出力: hello world

詳細を見る。


日付を切り詰め

サポート対象:バッチ、高速

日、週、月、四半期、年の単位で切り捨てた日付を返します。

式のカテゴリー: 日時

出力タイプ: Date

詳細を見る。


タイムスタンプを切り詰め

サポート対象:バッチ、高速

指定した単位に切り詰めたタイムスタンプを返します。

式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

  • 開始: 2022-02-01T10:10:10.0022Z
  • 単位: MILLISECONDS

出力: 2022-02-01T10:10:10.002Z

詳細を見る。


UUID V5

サポート対象:バッチ、高速、ストリーミング

SHA-1 ハッシュ(RFC 4122)を使用して、名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。同じ名前空間と名前からは、常に同じ UUID が生成されます。名前空間が有効な UUID でない場合は null を返します。

式のカテゴリー: 文字列

出力タイプ: String

例

説明: 名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。

引数の値:

  • 名前: name
  • 名前空間 UUID: namespace
namespacename出力
6ba7b810-9dad-11d1-80b4-00c04fd430c8hello9342d47a-1bab-5709-9869-c840b2eac501
6BA7B810-9DAD-11D1-80B4-00C04FD430C8hello9342d47a-1bab-5709-9869-c840b2eac501
6ba7b811-9dad-11d1-80b4-00c04fd430c8https://example.com4fd35a71-71ef-5a55-a9d9-aa75c889a6d0

詳細を見る。


H3 インデックスの集合を展開

サポート対象:バッチ、高速、ストリーミング

H3 インデックスを指定された解像度に展開します。入力インデックスの解像度はすべて、要求された解像度以下である必要があります。そうでない場合、このデータ加工は null を返します。入力インデックスのいずれかが無効な場合、このデータ加工は null を返します。出力インデックスは昇順に並べ替えられます。

式のカテゴリー: 地理空間

出力タイプ: Array<H3 Index>

詳細を表示。


Unicode 正規化

サポート対象:バッチ、高速、ストリーミング

Unicode 標準付属書 #15 に従って Unicode 正規化を実行します。

式のカテゴリー: データ準備、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
  • 正規化形式: nfkc
string出力
123123
イナゴイナゴ

詳細を表示。


一様乱数

サポート対象:バッチ、高速、ストリーミング

0から1の間から抽出した一様乱数の列を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返したときに同じ結果にはなりません。

式のカテゴリー: 数値

出力タイプ: Double

詳細を表示。


汎用一意識別子 (uuid)(不安定)

サポート対象:バッチ、高速、ストリーミング

UUID の列を返します。これは決定論的ではなく、ビルドを繰り返したときに同じ結果にはなりません。ID 列を作成する方法としては推奨されません。SHA-256 や UUID v5 など、決定論的なほかの方法を検討してください。

式のカテゴリー: 文字列

出力タイプ: 文字列

詳細を表示。


大文字

サポート対象:バッチ、高速、ストリーミング

文字列内のすべての文字を大文字に変換します。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: hello World

出力: HELLO WORLD

詳細を表示。


URL デコード

サポート対象:バッチ、高速、ストリーミング

パーセントエンコードされた文字列をプレーンテキストにデコードします。

式のカテゴリー: 型変換、文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
string出力
raw_string_with_no_special_charactersraw_string_with_no_special_characters
test%2Fapi%3Fstring%3D3test/api?string=3

詳細を表示。


URL エンコード

サポート対象:バッチ、高速、ストリーミング

URL で送信する文字列をパーセントエンコードします。

式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

  • 式: string
string出力
raw_string_with_no_special_charactersraw_string_with_no_special_characters
test/api?string=3test%2Fapi%3Fstring%3D3

詳細を表示。


LLM を使用

サポート対象:バッチ

設定可能なプロンプトで LLM を呼び出します。

式のカテゴリー: 文字列

出力タイプ: Array<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Struct<ok<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Timestamp, error> | Timestamp

例

引数の値:

  • モデル:
    gpt4ChatModel(
     temperature: 0.0,
    )
  • プロンプト: prompt
  • システムプロンプト: [フードデリバリーアプリのコンテキストで、次のユーザープロンプトに記載されたレビューを評価することがあなたの仕事です...]
  • 出力モード: null
  • 出力タイプ: null
prompt出力
食事はとてもおいしかったです!5

詳細を表示。


マップから値を取得

サポート対象:バッチ、高速、ストリーミング

キーを使用してマップから値を取得します。

式のカテゴリー: マップ

型変数の制約: K に指定できる型: ComparableType**V に指定できる型: AnyType

出力タイプ: V

例

引数の値:

  • キー: Foo
  • マップ: {
     Bar -> World,
     Foo -> Hello,
    }

出力: Hello

詳細を表示。


集計式


すべての論理積

サポート対象:バッチ、高速

null 値には SQL ANSI のセマンティクスを使用して、集計のブール論理積(and)を計算します。

式のカテゴリー: 集計

出力タイプ: ブール値

例

引数の値:

  • 式: values

入力テーブル:

values
true
false
true

出力: false

詳細を表示。


いずれかの論理和

サポート対象:バッチ、高速

null 値には SQL ANSI のセマンティクスを使用して、集計のブール論理和(or)を計算します。

式のカテゴリー: 集計

出力タイプ: ブール値

例

引数の値:

  • 式: values

入力テーブル:

values
true
false
true

出力: true

詳細を表示。


近似中央値

サポート対象:バッチ

列内の値の近似中央値を計算します。

式のカテゴリー: 集計

出力タイプ: 数値

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を表示。


近似パーセンタイル

サポート対象:バッチ

式の近似パーセンタイルを返します。これは、式の値を小さい順に並べたときに、その値以下の式の値の割合が指定された割合を超えない最小の値です。

式のカテゴリー: 集計

出力タイプ: Array<Numeric> | Byte | Decimal | Double | Float | Integer | Long | Short

例

引数の値:

  • 式: values
  • パーセンタイル: [0.5]
  • 正確さ: null

入力テーブル:

values
2
4
3

出力: 3

詳細を表示。


配列を収集

サポート対象:バッチ、高速、ストリーミング

各グループ内の値を配列として収集します。null 値は無視されます。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: AnyType

出力タイプ: Array<T>

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
2
3

出力: [ 2, 2, 3 ]

詳細を表示。


重複のない配列を収集

サポート対象:バッチ、高速、ストリーミング

各グループ内の重複を除いた値を配列として収集します。null 値は無視されます。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: ComparableType

出力タイプ: Array<T>

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
2
3

出力: [ 2, 3 ]

詳細を表示。


共分散

サポート対象:バッチ、ストリーミング

2列の値の母共分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -2.0

詳細を表示。


順序付きの Geopoint 行から単純なジオメトリを作成

サポート対象:バッチ

Geopoint の列と順序を指定すると、指定された順序で Geopoint を接続し、ポリゴンまたはラインストリングを返します。この関数は、データが表形式であり、1行がラインストリング内またはポリゴンの外殻上の個々の Geopoint を表し、それらの点の順序を指定する列があることを前提としています。ポリゴンの場合、この順序は外殻を反時計回りにたどる順序で点を指定する必要があります。これらの点の順序とパーティション(グループ化)を指定すると、この関数は順序指定列の昇順で Geopoint を接続し、そのパーティションに必要なジオメトリを構築します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • Geopoint: geo_point
  • 並べ替え基準(昇順): order
  • 出力ジオメトリの種類: LINE_STRING

入力テーブル:

geo_pointorder
{
 latitude -> 0.0,
 longitude -> 0.0,
}
0
{
 latitude -> 1.0,
 longitude -> 0.0,
}
1
{
 latitude -> 1.0,
 longitude -> 1.0,
}
2

出力: {"type":"LineString","coordinates": [[0.0,0.0],[0.0, 1.0],[1.0,1.0]]}

詳細を表示。


密な順位

サポート対象:バッチ、高速

ウィンドウパーティション内の行の順位を、欠番なしで返します。同順位の場合、行には同じ順位が割り当てられます。rank と dense_rank の違いは、同順位がある場合でも dense_rank では順位の連番に欠番が生じないことです。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を表示。


重複を除いた件数

サポート対象:バッチ、高速、ストリーミング

列内の重複を除いた値の件数を計算します。

式のカテゴリー: 集計

出力タイプ: Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を表示。


最初

サポート対象:バッチ、高速、ストリーミング

グループ内の最初の項目です。集計または順序のないウィンドウ内で使用した場合、選択される行は非決定論的になることに注意してください。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 式: values
  • null を無視: false

入力テーブル:

values
null
2
4
3

出力: null

詳細を表示。


グループ化されたジオメトリの包絡矩形

サポート対象:バッチ、高速

指定された列内のすべての有効なジオメトリの包絡矩形を返します。無効なジオメトリは null として扱われ、無視されます。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"LineString","coordinates":[[1,0],[0,8.4]]}
{"type":"Point","coordinates":[125.6, -92.3]}
{"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]}

出力: {"type":"Polygon","coordinates":[[[-6.0,-92.3],[-6.0,8.4],[125.6,8.4],[125.6,-92.3],[-6.0,-92.3]]]}

詳細を表示。


グループ化されたジオメトリの和集合

サポート対象:バッチ

グループ化されたジオメトリを組み合わせて、単一のジオメトリを作成します。

式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}

出力: {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}

詳細を表示。


グループ化された緯度経度の境界ボックス

サポート対象:バッチ

指定された列内のすべての有効なジオメトリを囲む境界ボックス全体を含む構造体を返します。無効なジオメトリは null として扱われ、無視されます。

式のカテゴリー: 地理空間

出力タイプ: LatLonBoundingBox

例

引数の値:

  • 式: geometry

入力テーブル:

geometry
{"type":"LineString","coordinates":[[1,0],[0,8.4]]}
{"type":"Point","coordinates":[125.6, -92.3]}
{"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]}

出力: {
 maxLat -> 8.4,
 maxLon -> 125.6,
 minLat -> -92.3,
 minLon -> -6.0,
}

詳細を表示。


遅延

サポート対象:バッチ、高速

ウィンドウ内の前の行、具体的には現在の行から指定された行数だけ前の行で評価された入力式の値を返します。たとえば、遅延が1の場合は現在の行の直前の行の値を返し、遅延が2の場合は2行前の値を返します。これにより、自己結合を使わずに、現在の行の値と前の行の値を比較できます。

この関数には、順序付けされたウィンドウが必要です。ウィンドウの順序によって現在の行より前の行が決まるため、結果を決定論的にするには順序を指定する必要があります。

現在の行がウィンドウの最初の数行以内にある場合など、指定された行数だけ前の行がウィンドウに存在しない場合、関数はデフォルト値を返します。デフォルトが指定されていない場合は null を返します。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 式: price
  • デフォルトの値: null
  • 遅延: 1
price出力
100null
105100
98105
10298

詳細を表示。


最後

サポート対象:バッチ、高速、ストリーミング

グループ内の最後の項目です。集計または順序付けされていないウィンドウ内で使用した場合、選択される行は非決定論的になることに注意してください。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 式: values
  • null を無視: false

入力テーブル:

values
2
4
3
null

出力: null

詳細を表示。


リード

サポート対象:バッチ、高速

ウィンドウ内で現在の行から指定された行数だけ後の行の入力式の値を返します。行数は「lead」引数で指定します(デフォルトは1で、直後の行です)。ウィンドウの順序によって現在の行より後の行が決まるため、順序付けされたウィンドウが必要です。

式のカテゴリー: 集計

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

例

引数の値:

  • 式: price
  • デフォルトの値: null
  • リード: 1
price出力
100105
10598
98102
102null

詳細を表示。


線形回帰の傾き

サポート対象:バッチ

グループ内の null でないペアに対する線形回帰直線の傾きを返します。null でないペアが不足している場合、または独立変数の分散がゼロの場合は null を返します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -1.0

詳細を表示。


最大値

サポート対象:バッチ、高速、ストリーミング

列内の最大値を計算します。

式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 4

詳細を表示。


指定した式による最大値

サポート対象:ストリーミング

この式は、指定されたフィルター条件を適用した後、最大値を求める列の式に基づいて最大値の行を計算します。最大値の行が存在しない場合は null を返します。

式のカテゴリー: 集計

出力タイプ: AnyType

例

引数の値:

  • 式: salary
  • 出力射影式: salary
  • フィルター条件:
    lessThan(
     left: salary,
     right: 5000,
    )

入力テーブル:

dep_namesalary
develop9900
develop4000
develop3000

出力: 4000

詳細を表示。


平均値

サポート対象:バッチ、高速、ストリーミング

列内の値の平均値を計算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3.0

詳細を表示。


中央値

サポート対象:バッチ、高速

列内の値の中央値を計算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3.0

詳細を表示。


最小値

サポート対象:バッチ、高速、ストリーミング

列内の最小値を計算します。

式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 2

詳細を表示。


指定した式による最小値

サポート対象:ストリーミング

この式は、指定されたフィルター条件を適用した後、最小値を求める列の式に基づいて最小値の行を計算します。最小値の行が存在しない場合は null を返します。

式のカテゴリー: 集計

出力タイプ: AnyType

例

引数の値:

  • 式: salary
  • 出力射影式: salary
  • フィルター条件:
    greaterThan(
     left: salary,
     right: 0,
    )

入力テーブル:

dep_namesalary
develop-999
develop4000
develop3000

出力: 3000

詳細を表示。


最頻値

サポート対象:バッチ、高速

列内の値の最頻値を計算します。

式のカテゴリー: 集計

型変数の制約: Any に指定できる型: Binary | Boolean | Byte | Date | Decimal | Double | Float | Integer | Long | Short | String | Timestamp

出力タイプ: Any

例

引数の値:

  • 式: values

入力テーブル:

values
a
b
b
b
c
c
d

出力: b

詳細を表示。


パーセント順位

サポート対象:バッチ、高速

ウィンドウのパーティション内の行のパーセンタイルを返します。同順位には同じパーセント値が割り当てられます。

式のカテゴリー: 集計

出力タイプ: Double

詳細を表示。


ピボット

サポート対象:ストリーミング

ピボットのコンテキストで集計式を適用します。集計は、ピボット式の異なる値ごとに範囲を限定した個別の集計として実行されます。出力は、ピボット値から集計式の値へのマップです。

式のカテゴリー: 集計

型変数の制約: K に指定できる型: ComparableType**V に指定できる型: AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • 集計式:
    sum(
     expression: value,
    )
  • ピボット式: pivot

入力テーブル:

pivotvalue
a1
b2
a3

出力: {
 a -> 4,
 b -> 2,
}

詳細を参照。


積

サポート対象:バッチ

すべての入力列の積を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: factor

入力テーブル:

factor
2
4
3

出力: 24.0

詳細を参照。


順位

サポート対象:バッチ、高速

ウィンドウパーティション内の行の順位を返します。同順位の場合、それらの行には同じ順位が付けられます。rank と dense_rank の違いは、rank では同順位があると順位の連番に欠番が生じることです。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を参照。


行数

サポート対象:バッチ、高速、ストリーミング

グループ内の null ではない行の件数を数えます。

式のカテゴリー: 集計

出力タイプ: Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 3

詳細を参照。


行番号

サポート対象:バッチ、高速、ストリーミング

各パーティション内で1から始まる連番を返します。

式のカテゴリー: 集計

出力タイプ: Integer

詳細を参照。


標本共分散

サポート対象:バッチ、ストリーミング

2列の値の標本共分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 左: left
  • 右: right

入力テーブル:

leftright
15
24
33
42
51

出力: -2.5

詳細を参照。


標本分散

サポート対象:バッチ、高速、ストリーミング

列の値の標本分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
2
3

出力: 0.33333333333

詳細を参照。


標準偏差

サポート対象:バッチ、高速

列の値の標準偏差を計算します。

式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 0.81649658092773

詳細を参照。


合計

サポート対象:バッチ、高速、ストリーミング

指定された式の合計を計算します。

式のカテゴリー: 数値

出力タイプ: Decimal | Double | Long

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 9

詳細を参照。


分散

サポート対象:バッチ、高速、ストリーミング

列の値の母分散を計算します。

式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

  • 式: values

入力テーブル:

values
2
4
3

出力: 0.66666666667

詳細を参照。


ジェネレーター式


配列を展開

サポート対象:バッチ、高速、ストリーミング

配列を値ごとに1行に展開します。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: T

詳細を参照。


位置付きで配列を展開

サポート対象:バッチ、ストリーミング

配列を値ごとに1行に展開し、配列内の要素の相対位置と要素自体を含む構造体にします。

式のカテゴリー: 配列

型変数の制約: T に指定できる型: AnyType

出力タイプ: Struct<Optional[position], Optional[element]>

例

引数の値:

  • 配列: array
  • 空の配列 / null 配列を保持: null

入力テーブル:

array
[ one, two, three ]
[ four, five ]

期待される出力テーブル: | array | | ----- | | {
 element -> one,
 position -> 1,
} | | {
 element -> two,
 position -> 2,
} | | {
 element -> three,
 position -> 3,
} | | {
 element -> four,
 position -> 1,
} | | {
 element -> five,
 position -> 2,
} |

詳細を参照。


マップを展開

サポート対象:バッチ、ストリーミング

マップをキーと値のペアごとに1行に展開します。

式のカテゴリー: マップ

型変数の制約: TKey に指定できる型: AnyType**TValue に指定できる型: AnyType

出力タイプ: Struct<Optional[key], Optional[value]>

例

引数の値:

  • 式: map

入力テーブル:

map
{
 1 -> val1,
 2 -> val2,
}
{
 3 -> val3,
 4 -> val4,
}

期待される出力テーブル: | map | | ----- | | {
 key -> 1,
 value -> val1,
} | | {
 key -> 2,
 value -> val2,
} | | {
 key -> 3,
 value -> val3,
} | | {
 key -> 4,
 value -> val4,
} |

詳細を参照。


データ加工


集計

サポート対象:バッチ、高速

入力データセットを指定した列でグループ化し、指定した集計を実行します。

データ加工のカテゴリー:集計、よく使う

例

引数の値:

  • 集計: [
    alias(
     alias: factor,
     expression:
    sum(
     expression: factor,
    ),
    )]
  • データセット: ri.foundry.main.dataset.aggregate
  • グループ化する列: [tail_number]

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberfactor
XB-12310
MT-2229
KK-4521

詳細を見る。


条件に基づく集計

サポート対象:バッチ、高速

条件文に基づいて式を集計します。

データ加工のカテゴリー:集計、よく使う

詳細を見る。


ウィンドウ内の集計

サポート対象:ストリーミング

ウィンドウ内のデータに対して指定した集計を実行し、指定したトリガーに従って出力を発行します。

データ加工のカテゴリー:集計

詳細を見る。


アンチ結合

サポート対象:バッチ、高速

左右の入力データセットをアンチ結合し、指定した条件に一致するすべての行を左側のリレーションから除外します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

入力:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairline
PA-452new air

詳細を見る。


式を適用

サポート対象:バッチ、高速、ストリーミング

単一の式を適用して入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 式:
    alias(
     alias: kilometers,
     expression:
    convertDistance(
     amount: miles,
     currentUnit: mile,
     targetUnit: kilometer,
    ),
    )

入力:

airlinemiles
foundry airways2500
new air3000

出力:

kilometersairlinemiles
4023.36foundry airways2500
4828.03new air3000

詳細を見る。


複数の式を適用

サポート対象:バッチ、高速、ストリーミング

列を選択するか、列に関数を適用して入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • 列: [
    alias(
     alias: airline,
     expression: airline,
    )]
  • データセット: ri.foundry.main.dataset.a
  • 残りの列を保持: false

入力:

airlinemiles
foundry airways2500
new air3000

出力:

airline
foundry airways
new air

詳細を見る。


ウィンドウに適用

サポート対象:ストリーミング

ウィンドウで収集された行のバッチに、指定した操作を適用します。この操作は、ウィンドウ内の行を受け取り、出力行を生成します。

データ加工のカテゴリー:その他

詳細を見る。


複数の列に適用

サポート対象:バッチ、高速、ストリーミング

列を選択するか、列に関数を適用して入力データセットを加工します。

データ加工のカテゴリー:よく使う

詳細を見る。


配列の要素を列に変換

サポート対象:バッチ、高速

配列から要素を抽出して列にします。

データ加工のカテゴリー:配列

例

引数の値:

  • 配列: stats
  • 抽出する列: [miles, id]
  • データセット: ri.foundry.main.dataset.a

入力:

stats
[ 1000, 2 ]

出力:

milesidstats
10002[ 1000, 2 ]

詳細を見る。


タイムスタンプとウォーターマークを割り当て

サポート対象:ストリーミング

入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプが null であるレコードを除外します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • タイムスタンプの式: timestamp
  • レコードごとにウォーターマークを発行: null
  • アイドル状態のタイムアウトの単位: null
  • アイドル状態のタイムアウトの値: null

入力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

出力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

詳細を見る。


データをコアレス

サポート対象:バッチ、高速

パーティション数を減らす操作です。1000個のパーティションを100個にコアレスする場合、シャッフルは発生せず、代わりに新しい100個のパーティションそれぞれが、現在のパーティションを10個ずつ引き受けます。現在より多いパーティション数を指定した場合、パーティション数は現在のまま変わりません。

データ加工のカテゴリー:その他

詳細を見る。


式が存在しない場合に計算

サポート対象:バッチ、高速

新しい行に対して式を計算します。特定のキーの値は、ビルドをまたいでも1回だけ計算されます。

データ加工のカテゴリー:その他

詳細を見る。


メディアセットをテーブル行に変換

サポート対象:バッチ

メディアセット内のメディアアイテムの Media Reference と基本メタデータを含むデータセットを生成します。

データ加工のカテゴリー:ファイル操作、メディア

詳細を見る。


クロス結合

サポート対象:バッチ、高速

左側と右側の入力データセットをクロス結合し、それぞれの側のすべての行を、もう一方の側のすべての行と照合します。出力は2つのデータセットの直積です。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
PA-452new air2122

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
XB-123foundry airCPH
XB-123foundry airJFK
XB-123foundry airIAD
MT-222new airlineLHR
MT-222new airlineCPH
MT-222new airlineJFK
MT-222new airlineIAD
PA-452new airLHR
PA-452new airCPH
PA-452new airJFK
PA-452new airIAD

詳細を表示。


日付の分布

サポート対象:バッチ

指定された列の日付またはタイムスタンプの分布を計算します。

データ加工のカテゴリー:日時

詳細を表示。


gzip ファイルを解凍

サポート対象:バッチ

gzip 圧縮されたファイルのデータセット内の各ファイルを解凍します。ファイルのアーカイブを展開するデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を表示。


tar ファイルを解凍

サポート対象:バッチ

tar ファイルのデータセット内の各ファイルを解凍します。tar ファイルを展開するデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を表示。


列を削除

サポート対象:バッチ、高速、ストリーミング

指定された列を削除して入力データセットを加工します。

データ加工のカテゴリー:よく使う

例

引数の値:

  • 削除する列: {miles}
  • データセット: ri.foundry.main.dataset.a

入力:

airlinemilesairports
foundry airways3000[ JFK, SFO ]

出力:

airlineairports
foundry airways[ JFK, SFO ]

詳細を表示。


重複を削除

サポート対象:バッチ、高速

入力から重複する行を削除します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.aggregate
  • 列のサブセット: {tail_number}

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
KK-452new air2221

詳細を表示。


空のファイル

サポート対象:バッチ

空のファイルを作成します。

データ加工のカテゴリー:その他

詳細を表示。


空のメディアセットファイル

サポート対象:バッチ、ストリーミング

指定されたスキーマとスナップショット読み取りモードで、空のメディアセットファイルを作成します。

データ加工のカテゴリー:その他

詳細を表示。


空のテーブル

サポート対象:バッチ、高速、ストリーミング

指定されたスキーマと読み取りモードで、空のテーブルを作成します。

データ加工のカテゴリー:その他

例

引数の値:

  • スキーマ: Struct<flight_code, flight_number, airline>
  • 読み取りモード: null

インプット:

出力:

flight_codeflight_numberairline

詳細を表示。


データセットからファイルメタデータを行として抽出

サポート対象:バッチ、高速

ファイルのデータセットからファイルメタデータを行として読み取ります。

データ加工のカテゴリー:ファイル操作

詳細を表示。


複数の構造体フィールドを抽出

サポート対象:バッチ、高速

構造体から複数のフィールドを抽出します。元の構造体は削除されます。

データ加工のカテゴリー:構造体

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • ロケーター: [(airline.name, airline), (tail_no, tail_number)]
  • 構造体: raw

入力:

raw
{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

出力:

airlinetail_number
new airNA-123
foundry airwaysFA-123

詳細を表示。


CSV ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 CSV ファイルをパースして行に変換します。

データ加工のカテゴリー:ファイル操作

詳細を表示。


GeoJSON ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 GeoJSON ファイルをパースして行に変換します。出力データセットには、_error 列と _file 列に加えて、ジオメトリ列と、ユーザーが指定した各プロパティの列が含まれます。抽出するプロパティをユーザーが指定しない場合は、properties 構造体全体が文字列として properties 列に抽出されます。ファイル内のすべての GeoJSON は、次のいずれかである必要があります。 a) 複数行の FeatureCollection:ファイル全体に FeatureCollection 型の GeoJSON が1つ含まれます。 b) 単一行の Feature:ファイルの各行が、完全に有効な Feature 型の GeoJSON です。

データ加工のカテゴリー:ファイル操作、地理空間

詳細を表示。


JSON ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み取り、各 JSON ファイルをパースして行に変換します。

データ加工のカテゴリー:ファイル操作、文字列、構造体

詳細を表示。


メールファイルのデータセットから行を抽出

サポート対象:バッチ

メールファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。サポートされているファイル拡張子は .eml、.emltpl、および .msg です。

データ加工のカテゴリー:ファイル操作、メディア

詳細を表示。


テキストファイルのデータセットから行を抽出

サポート対象:バッチ

テキストファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。

データ加工のカテゴリー:ファイル操作、文字列

詳細を表示。


Excel ファイルから行を抽出

サポート対象:バッチ

Microsoft Excel ファイルのデータセットを読み込み、各ファイルを行にパースします。サポートされるファイル形式: .xls, .xlt, .xltm, .xltx, .xlsx, .xlsm。

個々の Excel ファイルの処理は複数の Spark エグゼキューターに分散されないため、入力データセットに含まれるファイルがちょうど1個になると想定される場合は、ビルド設定でローカル Spark の使用を有効にすることを推奨します。

特に大きな Excel ファイルの処理には大量のメモリーが必要になることがあるため、メモリー不足エラーによってビルドに失敗する場合は、エグゼキューターのメモリー(ローカル Spark の場合はドライバーのメモリー)を増やしたカスタムビルド設定の使用を検討してください。このような大きなファイルでは、出力をプレビューできない場合がありますが、適切なビルド設定を使用すればデプロイには成功する可能性があります。

データ加工のカテゴリー:ファイル操作

詳細を表示。


XML ファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み込み、各 XML ファイルを行にパースします。

データ加工のカテゴリー:ファイル操作

詳細を表示。


シェープファイルから行を抽出

サポート対象:バッチ

ファイルのデータセットを読み込み、各シェープファイルを行にパースします。.shp、.shx、.dbf ファイル以外のファイルはすべて無視されます。このシェープファイルパーサーは、ポイント、ポリライン、ポリゴン、マルチポイントのジオメトリタイプのみをサポートします。出力データセットには、_error 列と _file 列に加えて、ジオメトリ列と、ユーザーが指定したプロパティごとの列が含まれます。抽出するプロパティをユーザーが指定しない場合は、プロパティの構造体全体が文字列として properties 列に抽出されます。プロパティ名と値のエンコーディングは UTF-8 のみサポートされます(別のエンコーディングを指定する .cpg ファイルが存在しても無視されます)。

データ加工のカテゴリー:ファイル操作、地理空間

詳細を表示。


フィルター

サポート対象:バッチ、高速、ストリーミング

指定されたフィルター条件に基づいて入力データセットを絞り込みます。

データ加工のカテゴリー:データ準備、よく使う

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • フィルター条件: recently_serviced

入力:

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

出力:

recently_servicedtail_number
trueKK-150
trueMT-190

詳細を表示。


ファイルを絞り込む

サポート対象:バッチ

ファイルのデータセットを絞り込みます。

データ加工のカテゴリー:ファイル操作

詳細を表示。


最初のデータセットの列名に基づく和集合

サポート対象:バッチ、高速

最初のデータセットの列に基づいてデータセットの和集合を作成し、列が存在しない場合は null を追加します。最初のデータセットに存在しない列は削除されます。

データ加工のカテゴリー:結合

例

引数の値:

  • 和集合を作成するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

入力:

ri.foundry.main.dataset.a

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

ri.foundry.main.dataset.b

recently_servicedtail_numberhome_country
trueAA-200US
trueBN-435UK
trueBN-111UK

出力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT
trueAA-200null
trueBN-435null
trueBN-111null

詳細を表示。


構造体をフラット化

サポート対象:バッチ、高速、ストリーミング

構造体内のすべてのフィールドを、出力データセットの列に変換します。

データ加工のカテゴリー:構造体

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 式: raw
  • 最大深度: 2
  • 列の接頭辞: new_
  • セパレーター: null

入力:

raw
{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

出力:

new_airline_namenew_airline_idnew_tail_noraw
new airNANA-123{
 airline: {
 id: NA,
 name: new air,
},
 tail_no: NA-123,
}
foundry airwaysFAFA-123{
 airline: {
 id: FA,
 name: foundry airways,
},
 tail_no: FA-123,
}

詳細を表示。


頻出パターン成長法

サポート対象:バッチ

頻出パターン(FP)成長法は、データセット内で頻出するパターンを検出します。

データ加工のカテゴリー:集計、その他

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 項目の列: customer_attributes
  • 最小支持度: 0.6

入力:

customer_attributes
[ age_group: 20-30, country: Germany, gender: Female ]
[ age_group: 20-30, country: Germany, gender: Male ]

出力:

patternpattern_occurrencetotal_count
[ country: Germany, age_group: 20-30 ]22
[ age_group: 20-30 ]22
[ country: Germany ]22

詳細を表示。


地理距離による内部結合

サポート対象:バッチ

入力ジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。内部では、結合前にジオメトリを指定された投影座標系に変換し、その後 WGS84 に戻します。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, arrayCol],
    )
  • 距離: 10.0
  • 結合キー: (geometryColLhs, geometryCol)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: EPSG:4326
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: rhs_

入力:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0
{"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"}44.0

ri.foundry.main.dataset.right

geometryColcol1arrayCol
{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}rhsVal1[ 0.0, 1.0 ]
{"coordinates": [[[21.0, 21.0], [27.0, 21.0], [27.0, 27.0], [21.0, 27.0], [21.0, 21.0]]], "type": "Polygon"}rhsVal2[ 0.0, 1.0 ]

出力:

geometryColLhslhs-1rhs_geometryColrhs_arrayCol
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}[ 0.0, 1.0 ]
{"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"}44.0{"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"}[ 0.0, 1.0 ]

詳細を表示。


地理距離左結合

サポート対象:バッチ

入力ジオメトリ間の距離が指定された距離以下の場合に、データセットを左結合します。内部では、結合の前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColRhs, rhs-1],
    )
  • 距離: 1640.42
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: epsg:2868
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0
null43.0

ri.foundry.main.dataset.right

geometryColRhsrhs-1
{"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"}rhsVal1
{"coordinates": [-112.11796760559083,33.440895931474124], "type":"Point"}rhsVal2

アウトプット:

geometryColLhslhs-1geometryColRhsrhs-1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"}rhsVal1
null43.0nullnull

詳細を参照。


地理積集合内部結合

サポート対象:バッチ、ストリーミング

入力ジオメトリが重なるかどうかに基づいて、左右のデータセットを内部結合します。接しているだけのジオメトリも結果に含まれます。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

アウトプット:

geometryColLhscol1LhsgeometryColRhscol1Rhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9

詳細を参照。


地理積集合左アンチ結合

サポート対象:ストリーミング

入力ジオメトリが重なるかどうかに基づいて、入力データセットをアンチ結合します。左側のデータセットから、右側のデータセットのどのジオメトリとも積集合を持たないジオメトリの行のみを返します。結合キーが null または無効な行は、積集合を持たないものと見なされます。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4

アウトプット:

geometryColLhscol1Lhs
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

詳細を参照。


地理積集合左結合

サポート対象:バッチ、ストリーミング

入力ジオメトリが重なっているかどうかに基づいて、入力データセットを左結合します。接しているだけのジオメトリも結果に含まれます。null または無効なジオメトリは一致を返しません。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 右側で選択する列の条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

アウトプット:

geometryColLhscol1LhsgeometryColRhscol1Rhs
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [55.0, 5.0], "type":"Point"}43.0nullnull

詳細を表示。


Geopoint 間の3次元距離による内部結合

サポート対象:バッチ

ポイントジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。ジオメトリはポイントを表す必要があり、任意で z 座標を含めることができます。内部的には、結合前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。ポイント以外のジオメトリは無視され、右側のデータセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターで、近傍データセット内の最大400万個のポイントを処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, arrayCol],
    )
  • 距離: 2.5
  • 結合キー: (geometryColLhs, geometryCol)
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 投影座標系: EPSG:4326
  • 右側のデータセット: ri.foundry.main.dataset.right
  • z 座標を使用: false
  • 右側の列の接頭辞: rhs_

インプット:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0
{"coordinates": [0.0, 0.0], "type":"Point"}44.0

ri.foundry.main.dataset.right

geometryColcol1arrayCol
{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}rhsVal1[ 0.0, 1.0 ]
{"coordinates": [0.0, 1.0], "type":"Point"}rhsVal2[ 0.0, 1.0 ]

アウトプット:

geometryColLhslhs-1rhs_geometryColrhs_arrayCol
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]

詳細を表示。


ジオメトリの交差結合

サポート対象:バッチ

入力ジオメトリが重なっているかどうかに基づいて、左右のデータセットを内部結合します。結合キーの列ペアに交差するジオメトリがある場合、両方のデータセットのすべての列を含む行を返します。現在、複数の結合キーでの結合には対応していません。結合キーのジオメトリ値が null の場合は、通知せずに除外します。左右のデータセットに同じ列名があってはなりません。結合列の無効な GeoJSON は、通知せずに null に変換します。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 結合キー: [(geometryColLhs, geometryColRhs)]
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

入力:

ri.foundry.main.dataset.left

geometryColLhslhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0

ri.foundry.main.dataset.right

geometryColRhsrhs-1
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

出力:

geometryColLhslhs-1geometryColRhsrhs-1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9

詳細を見る。


ジオメトリの knn 内部結合

サポート対象:バッチ

基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 基本データセット: ri.foundry.main.dataset.left
  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, lhsCol],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, col],
    )
  • 結合キー: (geometryCol, geometryCol)
  • K: 2
  • 近傍データセット: ri.foundry.main.dataset.right
  • 投影座標系: epsg:2868
  • 右側の列の接頭辞: rhs_

入力:

ri.foundry.main.dataset.left

geometryCollhsCol
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0

ri.foundry.main.dataset.right

geometryColcol
{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2
{
 latitude: 33.440895931474124,
 longitude: -112.11796760559083,
}
rhsVal3

出力:

geometryCollhsColrhs_geometryColrhs_col
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2

詳細を見る。


ジオメトリの knn 左結合

サポート対象:バッチ

基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。

データ加工のカテゴリー:地理空間、結合

例

引数の値:

  • 基本データセット: ri.foundry.main.dataset.left
  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, lhsCol],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [geometryCol, col],
    )
  • 結合キー: (geometryCol, geometryCol)
  • K: 2
  • 近傍データセット: ri.foundry.main.dataset.right
  • 投影座標系: epsg:2868
  • 右側の列の接頭辞: rhs_

入力:

ri.foundry.main.dataset.left

geometryCollhsCol
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0

ri.foundry.main.dataset.right

geometryColcol
{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2
{
 latitude: 33.440895931474124,
 longitude: -112.11796760559083,
}
rhsVal3

出力:

geometryCollhsColrhs_geometryColrhs_col
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.440609443703586,
 longitude: -112.14843750000001,
}
rhsVal1
{"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"}42.0{
 latitude: 33.44082430962016,
 longitude: -112.14560508728029,
}
rhsVal2

詳細を見る。


Media Reference を取得(データセット)

サポート対象:バッチ

データセット内のファイルの Media Reference と基本的なメタデータを含むデータセットを生成します。

データ加工のカテゴリー:ファイル操作

詳細を見る。


ハートビート検出

サポート対象:ストリーミング

キーの組み合わせごとに、設定可能な時間にわたってレコードが確認されていないことを検出します。

データ加工のカテゴリー:その他

詳細を見る。


内部結合

サポート対象:バッチ、高速

2個のデータセットを結合し、指定された条件を満たす行のみを各テーブルから保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
XB-123foundry airlineLHR

詳細を見る。


結合

サポート対象:バッチ、高速、ストリーミング

左右の入力データセットを結合します。

データ加工のカテゴリー:結合

詳細を見る。


K-means クラスタリング

サポート対象:バッチ

K-means クラスタリングは、教師なし機械学習アルゴリズムです。データセットのベクトルを k 個のクラスターにグループ化します。k の値は、最小 k 以上、最大 k 以下の指定範囲で最良のシルエットスコアを計算して決定します。k 値の数は、境界値を含むこの範囲内で試す k 値の数を定義します。

データ加工のカテゴリー:その他

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 最大 k: 12
  • 最小 k: 3
  • k 値の数: 4
  • ベクトル列: feature_column

入力:

feature_column
[ 0.05, 3.1, 2.3 ]
[ 1.0, 3.1, 2.3 ]
[ 1.0, 3.5, 2.3 ]
[ 19.0, 12.3, -1.4 ]

出力:

feature_columncluster_id
[ 1.0, 3.1, 2.3 ]0
[ 1.0, 3.5, 2.3 ]0
[ 19.0, 12.3, -1.4 ]1
[ 0.05, 3.1, 2.3 ]2

詳細を見る。


KNN 結合

サポート対象:バッチ

距離尺度に基づき、左側のデータセットの各行に対して、右側のデータセットから最も近い k 行を返します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [fuzzy_airline, home_airport],
    )
  • 距離尺度の式:
    alias(
     alias: distance,
     expression:
    levenshteinDistance(
     ignoreCase: true,
     left: airline,
     right: fuzzy_airline,
    ),
    )
  • 最近傍数 K: 2
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 順位列名: rank
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
PA-452new air2122

ri.foundry.main.dataset.right

fuzzy_airlinehome_airport
airLHR
new airlineCPH
new planeJFK
old airIAD

出力:

rankdistancetail_numberairlinefuzzy_airlinehome_airport
13PA-452new airold airIAD
24PA-452new airairLHR
24PA-452new airnew airlineCPH
24PA-452new airnew planeJFK
10MT-222new airlinenew airlineCPH
24MT-222new airlinenew planeJFK
15XB-123foundry airold airIAD
28XB-123foundry airairLHR

詳細を見る。


重複を保持

サポート対象:バッチ、高速

入力から重複する行を保持します。

データ加工のカテゴリー:その他

例

引数の値:

  • 列のサブセット: {tail_number}
  • データセット: ri.foundry.main.dataset.aggregate

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
XB-123foundry airline11343

詳細を見る。


キーを設定

サポート対象:ストリーミング

指定されたキー列に基づいて入力にキーを設定します。これによってデータが再度並べ替えられるわけではなく、キーを設定した時点以降のキーごとの順序のみが維持されることに注意してください。データのキーを再設定すると、安全でない場合があります。新しいキーが設定されたデータが特定の順序に依存していた場合、その順序が以前のキー設定ですでに維持されていなければ、順序を保証できないためです。また、cdc(変更データキャプチャ)モードが有効な場合は、主キーも設定します。主キーは、現在の状態を表すビューとして読み取る際に、どの行が更新や削除に該当するか、およびその順序を示す列を定義します。

データ加工のカテゴリー:その他

詳細を見る。


左結合

サポート対象:バッチ、高速

2個のデータセットを結合し、左側のテーブルのすべての行と、右側のテーブルの指定された条件を満たす行のみを保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

アウトプット:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR

詳細を参照。


左参照結合

サポート対象:ストリーミング

2個のデータセットを結合し、左側のテーブルのすべての行と、右側のデータセットの一致する行のみを保持します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件: [(tail_number, tail_number)]
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 1行に結合する最大行数: 10
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

アウトプット:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR

詳細を参照。


手動入力テーブル

サポート対象:バッチ、高速、ストリーミング

手動で入力したテーブルデータを使用して出力を作成します。

データ加工のカテゴリー:その他

例

引数の値:

  • 行: [{
     airline: foundry airlines,
     flight_code: 112,
     flight_number: XB-123,
    }, {
     airline: foundry airlines,
     flight_code: 533,
     flight_number: MT-444,
    }, {
     airline: new air,
     flight_code: 934,
     flight_number: KK-123,
    }]
  • スキーマ: Struct<flight_code, flight_number, airline>

インプット:

アウトプット:

flight_codeflight_numberairline
112XB-123foundry airlines
533MT-444foundry airlines
934KK-123new air

詳細を参照。


マッピング結合

サポート対象:バッチ、高速

ソースデータセットの対象列の値を、マッピングデータセットの値に置き換えます。

データ加工のカテゴリー:結合

型変数の制約: T1 に指定できる型: AnyType**T2 に指定できる型: AnyType

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.input
  • マッピング値のキー列: flight_code
  • マッピングデータセット: ri.foundry.main.dataset.mapping
  • 対象の列: [flight_no, next_flight]
  • マッピングに使用する値: flight_number
  • マッピングが一意であると仮定: null
  • デフォルトの値: unknown

インプット:

ri.foundry.main.dataset.input

flight_nonext_flightdeparture_time
5331122022-01-20T10:45:00Z
9345332022-01-20T11:20:00Z
2229342022-01-20T11:20:00Z

ri.foundry.main.dataset.mapping

flight_codeflight_numberairline
112XB-123foundry airlines
533MT-444foundry airlines
934KK-123new air

アウトプット:

flight_nonext_flightdeparture_time
MT-444XB-1232022-01-20T10:45:00Z
KK-123MT-4442022-01-20T11:20:00Z
unknownKK-1232022-01-20T11:20:00Z

詳細を参照。


名前による狭い和集合

サポート対象:バッチ、高速

データセットの列名の積集合に基づいて和集合を作成します。すべての入力データセットに存在するわけではない列は削除されます。

データ加工のカテゴリー:結合

例

引数の値:

  • 和集合を作成するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

インプット:

ri.foundry.main.dataset.a

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

アウトプット:

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190
trueAA-200
trueBN-435
trueBN-111

詳細を参照。


新しいオペレーターチェーン

サポート対象:ストリーミング

Flink の高度な機能で、この位置で新しいオペレーターチェーンを開始します。

データ加工のカテゴリー:その他

詳細を参照。


列名を正規化

サポート対象:バッチ、高速、ストリーミング

列名を正規化して lower_snake_case を使用するようにします。

キャメルケースの各境界にアンダースコアが挿入され、すべての文字が小文字になり、ハイフンと連続する空白はアンダースコアに置き換えられ、ピリオドは削除されます。Foundry で列名に使用できない文字(,;{}()=、タブ、改行文字)は、特殊文字を削除する引数が有効かどうかにかかわらず、常にアンダースコアに置き換えられます。その後、連続するアンダースコアは1個にまとめられ、先頭または末尾のアンダースコアは削除されます。

データ加工のカテゴリー:データ準備

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 特殊文字を削除: null

入力:

recentlyServicedtailNumber_airlineCode
trueKK-150KK
falseXB-120XB
trueMT-190MT

アウトプット:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を参照。


数値分布

サポート対象:バッチ、高速

指定した列の数値の分布を計算します。

データ加工のカテゴリー:数値

詳細を参照。


外部キャッシュ結合

サポート対象:ストリーミング

左側と右側の入力から、すべての一致条件を満たし、キャッシュウィンドウ内にある行を、両方の入力の一致しない行とともに返します。

データ加工のカテゴリー:結合

詳細を表示。


外部キャッシュ結合

サポート対象:ストリーミング

左側と右側のデータセット入力を結合し、後続の結合で使用するために、各側でイベント時刻が最も新しいレコードをキャッシュします。同順位の場合は、レコードの処理時刻を使用して順位を決定します。同時刻の場合、結合対象の値がなければ、結果を楽観的に発行します。

データ加工のカテゴリー:結合

詳細を表示。


外部結合

サポート対象:バッチ、高速

指定されたデータセット入力を外部結合し、両方のデータセットのすべての行を保持します。指定された条件を満たす行がない場合、列は null になります。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右側で選択する列の条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right
  • 右側の列の接頭辞: null

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

アウトプット:

tail_numberairlinehome_airport
XB-123foundry airLHR
MT-222new airlineCPH
XB-123foundry airlineLHR
MT-222new airCPH
KK-452new airJFK
PA-452new airnull
XB-123foundry airlineLHR
JR-201nullIAD

詳細を表示。


KML ファイルをジオメトリリストにパース

サポート対象:バッチ

各生 KML ファイルを、型付きジオメトリのリストにパースします。

データ加工のカテゴリー:ファイル操作

詳細を表示。


ピボット

サポート対象:バッチ、高速

入力データセットを列でグループ化し、指定された集計を実行します。実行前に出力スキーマを把握できるように、ピボットの対象となる一意の値を指定する必要があります。これにより、長期にわたって実行時の安定性が向上します。

データ加工のカテゴリー:集計、よく使う

型変数の制約: T に指定できる型: Boolean | Byte | Integer | Long | Short | String

例

引数の値:

  • 集計: [
    alias(
     alias: miles,
     expression:
    mean(
     expression: miles,
    ),
    )]
  • データセット: ri.foundry.main.dataset.a
  • グループ化する列: [airline]
  • ピボット対象の列: airport
  • ピボット対象の値: [(JFK, new_york), (LHR, london)]
  • 接頭辞または接尾辞のエイリアス: null

入力:

airlineairportmiles
foundry airwaysJFK1002345
foundry airwaysLHR2221324
new airSFO21356673
new airJFK12323456
foundry airwaysLHR12542352
new airJFK12232355

アウトプット:

airlinenew_york_mileslondon_miles
foundry airways1002345.07381838.0
new air1.22779055E7null

詳細を表示。


ウィンドウ全体で射影

サポート対象:バッチ、高速、ストリーミング

ウィンドウ内のデータに対して、指定された集計を実行します。新しい行を受信するたびに、1行を発行します。

データ加工のカテゴリー:集計

詳細を表示。


列名を変更

サポート対象:バッチ、高速、ストリーミング

列の名前を変更します。

データ加工のカテゴリー:データ準備、よく使う

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 名前の変更: [(recently_serviced, does_not_require_service)]

入力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

アウトプット:

does_not_require_servicetail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を表示。


データを再パーティション分割

サポート対象:バッチ、高速

任意で指定されたパーティション分割用の列と分割後のパーティション数に基づいて、データを強制的にシャッフルします。これらが指定されていない場合、パーティション分割は自動的に決定されます。

データ加工のカテゴリー:その他

詳細を表示。


ロールアップ

サポート対象:バッチ、高速

入力データセットに対して異なる粒度で指定された集計を実行し、中間集計と上位集計の両方を生成します。

データ加工のカテゴリー:集計

例

引数の値:

  • 集計: [
    alias(
     alias: mean_price,
     expression:
    mean(
     expression: price,
    ),
    )]
  • データセット: ri.foundry.main.dataset.rollupBaseCase
  • ロールアップする列: [city, model]

入力:

citymodelpricestore
Londonnew phone900.0MegaMart
Londonnew phone850.75AA
Londonnew phone870.75ABC Zone
San Francisconew phone1000.0Prescos
San Francisconew phone950.25XZY Force
San Francisconew phone1105.7Phone Mart
LondonforestX 20750.1MegaMart
LondonforestX 20690.0AA
LondonforestX 20730.0ABC Zone
San FranciscoforestX 20890.4Prescos
San FranciscoforestX 20900.1XZY Force
San FranciscoforestX 201050.75Phone Mart

アウトプット:

citymodelmean_price
Londonnew phone873.8333333333334
LondonforestX 20723.3666666666667
Londonnull798.6
San Francisconew phone1018.65
San FranciscoforestX 20947.0833333333334
San Francisconull982.8666666666667
nullnull890.7333333333335

詳細を表示。


行サイズ

サポート対象:バッチ

JVM 内の1行のサイズを推定します。

データ加工のカテゴリー:その他

詳細を表示。


列を選択

サポート対象:バッチ、高速、ストリーミング

入力データセットから列を選択します。

データ加工のカテゴリー:よく使う

詳細を表示。


セミ結合

サポート対象:バッチ、高速

左側と右側の入力データセットをセミ結合します。結合条件に一致しない行をすべて削除します。

データ加工のカテゴリー:結合

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側のデータセット: ri.foundry.main.dataset.left
  • 右側のデータセット: ri.foundry.main.dataset.right

インプット:

ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

アウトプット:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11342

詳細を表示。


並べ替え

サポート対象:バッチ、高速

列を選択するか、列に関数を適用して、入力データセットを加工します。

データ加工のカテゴリー:その他

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 並べ替えの指定: [(b, DESCENDING)]

入力:

ab
12
34
56

アウトプット:

ab
56
34
12

詳細を表示。


条件で分割

サポート対象:バッチ、高速

選択した条件に基づいて、入力を2つの出力に分割します。

データ加工のカテゴリー:その他

詳細を表示。


テキストブロック

サポート対象:バッチ、高速、ストリーミング

データ加工の間にテキストの説明を挿入します。入力データは一切加工されません。

データ加工のカテゴリー:その他

詳細を表示。


時間制限付き重複削除

サポート対象:ストリーミング

指定した列のサブセットについて、入力から重複行を削除します。確認済みの行は、設定したイベント時間が経過すると期限切れになります。設定したイベント時間を超えて遅れて到着した行は、常に削除されます。指定したキーでパーティション分割します。重複削除は、キー列の値が異なるものごとに個別に計算されます。

データ加工のカテゴリー:その他

詳細を表示。


時間制限付き順序外行削除

サポート対象:ストリーミング

すべてのキー列の値が同じ行のうち、順序が正しくない行を削除します。並べ替えの列と方向に基づいて、同じキー値を持つ受信済みの行より前に来るはずの行は、順序が正しくないと見なされます。2行を比較する際は、最初の並べ替え列と方向を最初に評価し、同値の場合に限り次の並べ替え列と方向に進みます。これを順序が決まるまで繰り返し、すべての並べ替え列が同値の場合は、行は等しいと見なされます。キーごとの現在の最大値は、そのキーの新しい行が確認されないまま、有効期限以上のイベント時間が経過するまで保存されます。キーの新しい行を受信しない期間が有効期限以上になると、そのキーの新しい行は削除されず、常に新しい現在の最大値として保存されます。

データ加工のカテゴリー:その他

詳細を表示。


時間制限付きイベント時間順並べ替え

サポート対象:ストリーミング

キーごとにイベント時間の昇順で行を発行し、少なくとも許容遅延時間までは、遅れて到着するレコードを受け入れます。許容遅延時間に短いバッファー期間を加えた時間を過ぎて到着したレコードは削除されます。

データ加工のカテゴリー:その他

詳細を表示。


先頭行

サポート対象:バッチ、高速

並べ替え済みの各パーティションから先頭行を選択します。

データ加工のカテゴリー:集計

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • パーティション分割に使用する列: {airline}
  • 並べ替えの指定: [(airport, DESCENDING), (miles, ASCENDING)]
  • 行数: null

入力:

airlineairportmiles
foundry airwaysJFK1002345
foundry airwaysLHR2221324
new airSFO21356673
new airJFK12323456
foundry airwaysLHR12542352
new airJFK12232355

アウトプット:

airlineairportmiles
foundry airwaysLHR2221324
new airSFO21356673

詳細を表示。


名前による和集合

サポート対象:バッチ、高速、ストリーミング

一致する列名に基づいてデータセットの和集合を作成します。

データ加工のカテゴリー:結合

例

引数の値:

  • 和集合を作成するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

インプット:

ri.foundry.main.dataset.a

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

アウトプット:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細を表示。


ファイルの和集合

サポート対象:バッチ

ファイルのデータセットの和集合を作成します。

データ加工のカテゴリー:ファイル操作

詳細を表示。


アンピボット

サポート対象:バッチ、高速、ストリーミング

アンピボットは、ピボットの逆の操作です。複数の列を行に変換し、データをワイド形式からロング形式に変換します。このために、元の列名を値として含む列と、対応するデータ値を含む列の2つの新しい列を作成します。アンピボットされないほかの列はすべてそのまま保持されます。

データ加工のカテゴリー:集計、よく使う

型変数の制約: T に指定できる型: AnyType

例

引数の値:

  • アンピボットする列: [new_york_miles, london_miles]
  • データセット: ri.foundry.main.dataset.a
  • 名前列: city
  • 値列: miles

入力:

airlinenew_york_mileslondon_miles
foundry airways10006000
new airnull8000

アウトプット:

citymilesairline
new_york_miles1000foundry airways
london_miles6000foundry airways
new_york_milesnullnew air
london_miles8000new air

詳細を表示。


ファイルを解凍

サポート対象:バッチ

ZIP ファイルのデータセット内の各ファイルを解凍します。ZIP 以外のファイルは無視されます。ファイル解凍のデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。

データ加工のカテゴリー:ファイル操作

詳細を表示。


列名を大文字に変換

サポート対象:バッチ、高速、ストリーミング

データセット内のすべての列名を大文字に変換します。

データ加工のカテゴリー:データ準備

例

引数の値:

  • データセット: ri.foundry.main.dataset.a

入力:

recentlyServicedtailNumberairlineCode
trueKK-150KK
falseXB-120XB
trueMT-190MT

出力:

RECENTLYSERVICEDTAILNUMBERAIRLINECODE
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細を参照。


名前によるワイド和集合

サポート対象:バッチ、高速、ストリーミング

データセットの列名のスーパーセットに基づいてデータセットの和集合を作成し、存在しない列には null を追加します。

データ加工のカテゴリー:結合

例

引数の値:

  • 和集合を作成するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

入力:

ri.foundry.main.dataset.a

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_numberairline_code
trueKK-150null
falseXB-120null
trueMT-190null
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細を参照。


ウィンドウ

サポート対象:バッチ、高速

入力データセットを指定した列でグループ化し、指定した集計を実行します。

データ加工のカテゴリー:集計、よく使う

詳細を参照。