注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Pipeline Builder は、さまざまなレベルで動作する式を提供します。これらは一般に、行レベル、集計、ジェネレーターに分類できます。
行レベルの関数は、単一行の値に対して動作します。ほとんどの式はこのカテゴリーに属します。たとえば、add です。
集計は、複数行の値を1つに集計します。たとえば、「sum」式です。
ジェネレーターは、単一行から複数の値を生成します。たとえば、「explode_array」式です。
データ加工は、テーブル全体または複数のテーブルに対して動作する関数です。たとえば、「drop」データ加工です。このドキュメントでは、利用可能な式とデータ加工の概要を説明します。
サポート対象:バッチ、高速、ストリーミング
絶対値を返します。
式のカテゴリー: 数値
型変数の制約: T に指定できる型: Numeric
出力タイプ: T
引数の値:
numeric_column| numeric_column | 出力 |
|---|---|
| 0.0 | 0.0 |
| 1.1 | 1.1 |
| -1.1 | 1.1 |
サポート対象:バッチ、高速、ストリーミング
すべての入力列の合計を計算します。
式のカテゴリー: 数値
出力タイプ: Numeric
引数の値:
col_a, col_b]| col_a | col_b | 出力 |
|---|---|---|
| 0 | 1 | 1 |
| 3 | -2 | 1 |
サポート対象:バッチ、ストリーミング
マップ内のキーに対応する値を更新するか、新しいキーと値のペアを追加します。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
map_col| map_col | 出力 |
|---|---|
| { a -> 1, b -> 2, k -> 2, } | { a -> 1, b -> 2, k -> 4, } |
| { a -> 1, b -> 2, } | { a -> 1, b -> 2, k -> 4, } |
サポート対象:バッチ、高速、ストリーミング
構造体のフィールドを更新するか、新しいフィールドを追加します。
式のカテゴリー: 構造体
出力タイプ: Struct
引数の値:
valuestruct| struct | value | 出力 |
|---|---|---|
| { airline: { id: NA, }, } | 1 | { airline: { id: 1, }, } |
| { airline: { id: FE, }, } | 2 | { airline: { id: 2, }, } |
サポート対象:バッチ、高速、ストリーミング
「start」から「value」日/週/月/四半期/年後の日付を返します。
式のカテゴリー: 日時
出力タイプ: Date
引数の値:
DAYS出力: 2022-02-03
サポート対象:バッチ、ストリーミング
配列のすべての要素について式が true の場合に true を返します。
式のカテゴリー: 配列
出力タイプ: Boolean
引数の値:
mileselement,| miles | 出力 |
|---|---|
| [ 12300, null ] | false |
| [ null, null ] | true |
サポート対象:バッチ、高速、ストリーミング
指定した条件がすべて true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。
式のカテゴリー: ブール値
出力タイプ: Boolean
引数の値:
left_boolean, right_boolean]| left_boolean | right_boolean | 出力 |
|---|---|---|
| true | true | true |
| true | false | false |
| false | true | false |
| false | false | false |
サポート対象:バッチ、ストリーミング
配列のいずれかの要素について式が true の場合に true を返します。
式のカテゴリー: 配列
出力タイプ: Boolean
引数の値:
mileselement,| miles | 出力 |
|---|---|
| [ 12300, null ] | true |
| [ 12300, 12000 ] | false |
サポート対象:バッチ、高速、ストリーミング
逆余弦関数です。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
radians出力: 0.0
サポート対象:バッチ、高速、ストリーミング
逆正弦関数です。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
radians出力: 0.0
サポート対象:バッチ、高速、ストリーミング
逆正接関数です。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesangle| angle | 出力 |
|---|---|
| -1.0 | -45.0 |
| 0.0 | 0.0 |
| 1.0 | 45.0 |
サポート対象:バッチ、高速、ストリーミング
原点から点 (x, y) に向かう半直線と x 軸の正の方向との間の角度 θ を、−π<θ<=π の範囲で返します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesxy| y | x | 出力 |
|---|---|---|
| 0.0 | 0.0 | 0.0 |
| 1.0 | 0.0 | 90.0 |
| 0.0 | -1.0 | 180.0 |
| -1.0 | 0.0 | -90.0 |
サポート対象:バッチ、ストリーミング
地球を球体として近似し、ジオメトリの面積を平方メートル単位で計算します。ラインストリングまたは点の場合は、0 になります。
式のカテゴリー: 地理空間
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
配列の指定したインデックスに値を追加します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
numbers| numbers | 出力 |
|---|---|
| [ 3, 5 ] | [ 1, 3, 5 ] |
| [ 2 ] | [ 1, 2 ] |
| [ ] | [ 1 ] |
サポート対象:バッチ、ストリーミング
配列の直積を計算します。
式のカテゴリー: 配列
出力タイプ: Array<Struct>
引数の値:
first, second]| first | second | 出力 |
|---|---|---|
| [ 1, 2 ] | [ 3, 4 ] | [ { first: 1, second: 3, }, { first: 1, *second... |
サポート対象:バッチ、高速、ストリーミング
指定した配列を、重複を排除せずに1つの配列に連結します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 1, 2, 3, 4, 5 ]
サポート対象:バッチ、高速、ストリーミング
配列が値を含む場合に true を返します。
式のカテゴリー: 配列、ブール値
出力タイプ: Boolean
引数の値:
part_ids| part_ids | 出力 |
|---|---|
| [ AWE-112, BRR-123 ] | true |
| [ AWE-222, ABC-543 ] | false |
サポート対象:バッチ、高速、ストリーミング
array に null が含まれる場合に true を返します。
式のカテゴリー: 配列、ブール値
出力タイプ: Boolean
引数の値:
part_ids| part_ids | 出力 |
|---|---|
| [ AWE-112, BRR-123, null ] | true |
| [ AWE-222, ABC-543 ] | false |
サポート対象:バッチ、高速、ストリーミング
left 配列の要素のうち、right 配列に含まれない一意の要素をすべて返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 1 ]
サポート対象:バッチ、高速、ストリーミング
重複を削除し、配列から一意の値を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: ComparableType
出力タイプ: Array<T>
引数の値:
出力: [ 1, 2, 3 ]
サポート対象:バッチ、高速、ストリーミング
入力配列の指定された位置にある要素を返します。位置が配列の範囲外の場合は null を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
出力: 10
サポート対象:バッチ、高速、ストリーミング
配列の要素が一意の場合に true を返し、それ以外の場合は false を返します。複数の null は等しいものとして扱われます。
式のカテゴリー: 配列、ブール値
出力タイプ: Boolean
引数の値:
part_ids| part_ids | 出力 |
|---|---|
| [ ABC-123, DCE-123, EFG-123 ] | true |
| [ ABC-123, ABC-123, EFG-123 ] | false |
サポート対象:バッチ、高速、ストリーミング
入力されたネストされた配列のうち、ネストの最初の階層にある要素を結合して、単一の配列を作成します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
array| array | 出力 |
|---|---|
| [ [ 1, 2, 3 ], [ 4, 5, 6 ] ] | [ 1, 2, 3, 4, 5, 6 ] |
サポート対象:バッチ、高速、ストリーミング
重複を削除し、配列のリストの積集合を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 3 ]
サポート対象:バッチ、高速、ストリーミング
配列列の最大値を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: ComparableType
出力タイプ: T
引数の値:
出力: 3
サポート対象:バッチ、高速、ストリーミング
配列列の最小値を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: ComparableType
出力タイプ: T
引数の値:
出力: 1
サポート対象:バッチ、高速、ストリーミング
指定された配列で「value」が最初に出現する位置/インデックスを返します。値が見つからない場合、または引数のいずれかが null の場合は null を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Long
引数の値:
出力: 1
サポート対象:バッチ、高速、ストリーミング
指定された配列から、指定された「value」をすべて削除した配列を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 2, 3 ]
サポート対象:バッチ、高速、ストリーミング
array の内容を value 回連結した配列を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 1, 2, 1, 2 ]
サポート対象:バッチ、高速、ストリーミング
「array」内の要素の順序を反転します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 3, 2, 1 ]
サポート対象:バッチ、高速、ストリーミング
指定された入力配列を並べ替えた配列を返します。すべての null 値は、降順の配列では末尾に、昇順の配列では先頭に配置されます。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: ComparableType
出力タイプ: Array<T>
引数の値:
ASCENDING出力: [ 3, 5, 6 ]
サポート対象:バッチ、ストリーミング
入力された構造体の配列を、指定された構造体キーの値で並べ替えた配列を返します。
式のカテゴリー: 配列
出力タイプ: Array<Struct>
引数の値:
ASCENDING)]出力: [ {
age: 10,
}, {
age: 20,
}, {
age: 30,
} ]
サポート対象:バッチ、高速、ストリーミング
重複を削除し、配列のリストの和集合を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 1, 2, 3, 4 ]
サポート対象:バッチ、高速、ストリーミング
指定された配列に共通の要素が1つ以上あるかどうかを確認します。
式のカテゴリー: 配列、ブール値
型変数の制約: T に指定できる型: AnyType
出力タイプ: Boolean
引数の値:
出力: true
サポート対象: バッチ、高速、ストリーミング
指定された配列のリストを Zip 結合して、構造体の配列にまとめます。n 番目の構造体には、すべての入力配列の n 番目の値が含まれます。
式のカテゴリー: 配列
出力タイプ: Array<Struct>
引数の値:
a1, a2]| a1 | a2 | 出力 |
|---|---|---|
| [ 1, 2, 3 ] | [ 4, 5, 6 ] | [ { a1: 1, a2: 4, }, { a1: 2, a2: 5, }, { a1: 3, a2: 6, } ] |
サポート対象: バッチ、高速、ストリーミング
指定された式を Base64 デコードします。バイナリには UTF-8 エンコーディングを使用します。
式のカテゴリー: バイナリ、型変換、文字列
出力タイプ: 文字列
引数の値:
encoded| encoded | 出力 |
|---|---|
| Zm9v | foo |
| YmFy | bar |
サポート対象: バッチ、高速、ストリーミング
指定された式を Base64 デコードします。
式のカテゴリー: バイナリ、型変換
出力タイプ: バイナリ
引数の値:
city_base64| city_base64 | 出力 |
|---|---|
| TG9uZG9u | TG9uZG9u |
| Q29wZW5oYWdlbg== | Q29wZW5oYWdlbg== |
| TmV3IFlvcms= | TmV3IFlvcms= |
サポート対象: バッチ、高速、ストリーミング
指定された式を Base64 エンコードします。
式のカテゴリー: バイナリ、型変換
出力タイプ: 文字列
引数の値:
city| city | 出力 |
|---|---|
| London | TG9uZG9u |
| Copenhagen | Q29wZW5oYWdlbg== |
| New York | TmV3IFlvcms= |
サポート対象: バッチ、ストリーミング
指定された値を指定ビット数だけ左にシフトします。
式のカテゴリー: バイナリ
型変数の制約: E に指定できる型: Byte | Integer | Long | Short
出力タイプ: E
引数の値:
出力: 2
サポート対象: バッチ、ストリーミング
指定された値を指定ビット数だけ右にシフトします。
式のカテゴリー: バイナリ
型変数の制約: E に指定できる型: Byte | Integer | Long | Short
出力タイプ: E
引数の値:
出力: 0
サポート対象: バッチ、高速、ストリーミング
H3 インデックスの配列から距離 k のバッファーを作成します。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 インデックス>
サポート対象: バッチ、高速、ストリーミング
始点、進路、距離に基づいて、指定された経路上の目的地点を計算します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
coursedistancepoint_aGREAT_CIRCLE| point_a | course | distance | 出力 |
|---|---|---|---|
| { latitude: 48.8567, longitude: 2.3508, } | 225.0 | 32000.0 | { latitude: 48.65279552300661, longitude: 2.0427666779658806, } |
サポート対象: バッチ、高速、ストリーミング
緯度と経度で表される2地点間のハバーサイン距離をメートル単位で計算します。
式のカテゴリー: 地理空間
出力タイプ: Double
引数の値:
point_apoint_b| point_a | point_b | 出力 |
|---|---|---|
| { latitude: 41.507483, longitude: -99.436554, } | { latitude: 38.504048, longitude: -98.315949, } | 347328.82778977347 |
| { latitude: 22.308919, longitude: 113.914603, } | { latitude: -33.946111, longitude: 151.177222, } | 7393894.00134442 |
サポート対象: バッチ、高速、ストリーミング
条件に基づいてブランチを選択します。
式のカテゴリー: よく使う
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
miles,| miles | 出力 |
|---|---|
| 20053 | Yes |
| 10210 | No |
| 34120 | Yes |
サポート対象: バッチ、高速、ストリーミング
式を指定されたデータ型にキャストします。
式のカテゴリー: 型変換、よく使う
型変数の制約: C に指定できる型: AnyType
出力タイプ: C
説明: Long を文字列にキャスト
引数の値:
出力: 1234
サポート対象:
Media Reference を特定のメディアスキーマおよび形式にキャストします。入力メディアのスキーマが汎用的(マルチモーダル)であるものの、実際のコンテンツが特定の種類(PNG 画像など)であることがわかっている場合に役立ちます。キャストによって型のメタデータを絞り込み、特定のスキーマ型を必要とする下流の操作を実行できるようにします。
式のカテゴリー: メディア
出力タイプ: Media Reference
サポート対象: バッチ、高速、ストリーミング
指定された小数値の切り上げ値を返します。
式のカテゴリー: 数値
出力タイプ: Decimal | Long
引数の値:
出力: 11
サポート対象: バッチ、高速
タイムスタンプのタイムゾーンを変更します。
式のカテゴリー: 日時
出力タイプ: タイムスタンプ
引数の値:
出力: 2020-04-28T04:09:00Z
サポート対象: バッチ、高速、ストリーミング
入力列の各文字のうち、一致文字列に含まれる文字を、置換文字列の対応する文字に置き換えます。一致文字列が置換文字列より長い場合、一致文字列の末尾にある文字は削除されます。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: 1a2s3ae
サポート対象: バッチ、ストリーミング
指定したサイズと区切り文字に基づいて、文字列をチャンクに分割します。
式のカテゴリー: 文字列
出力タイプ: Array<String>
引数の値:
string| string | 出力 |
|---|---|
| hello | [ hello ] |
| hello world. the quick brown fox jumps over the fence. | [ hello, world., the quick, brown fox, jumps, over the, fence. ] |
| hello world. the quick brown fox jumps over the fence. | [ hello, world., the quick, brown fox, jumps, over the, fence. ] |
| hello world. the quick brown fox jumps over the fence. | [ hello, world., the quick, brown fox, jumps, over the, fence. ] |
サポート対象: バッチ、高速、ストリーミング
Cipher を使用して式を復号します。
式のカテゴリー: その他
出力タイプ: String
引数の値:
string| string | 出力 |
|---|---|
| CIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHER | bar |
サポート対象: バッチ、高速、ストリーミング
Cipher を使用して式を暗号化します。
式のカテゴリー: その他
出力タイプ: Cipher Text
引数の値:
string| string | 出力 |
|---|---|
| bar | CIPHER::ri.bellaso.main.cipher-channel.1::OCRBIW3iHDltOGa6MEHwb7f/Dw==::CIPHER |
サポート対象: バッチ、高速、ストリーミング
Cipher を使用して式をハッシュ化します。
式のカテゴリー: その他
出力タイプ: Cipher Text
引数の値:
string| string | 出力 |
|---|---|
| bar | CIPHER::ri.bellaso.main.cipher-channel.1::c70a14f5cc57c940e3265045a5554d641bd549ee27a571a05cdbc75c77762eb86b1144c12f1bb7811a0bcec08b2f143989c44022e4664f615d6885ad640332cb::CIPHER |
サポート対象: バッチ、高速、ストリーミング
式にクレンジングアクションを適用します。
式のカテゴリー: データ準備、文字列
出力タイプ: String
引数の値:
trim}出力: hello world
サポート対象: バッチ、高速、ストリーミング
可能な場合、H3 インデックスを、解像度が混在する部分集合にコンパクト化します。入力インデックスがすべて同じ解像度であった場合、逆操作であるコンパクト化の解除を実行すると、コンパクト化前と同じインデックスの集合になることが保証されます。入力インデックスに無効なものがある場合、このデータ加工は null を返します。出力インデックスは昇順で並べ替えられます。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 インデックス>
引数の値:
h3_set| h3_set | 出力 |
|---|---|
| [ 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffffff, 87754a934ffff... | [ 86754e64fffffff, 87754a914ffffff, 87754a916ffffff, 87754a930ffffff, 87754a932ffffff, 87754a933ffff... |
サポート対象: バッチ、高速、ストリーミング
指定した区切り文字を使用して、文字列のリストを連結します。
式のカテゴリー: 文字列
出力タイプ: String
引数の値:
出力: hello_world
サポート対象: バッチ、ストリーミング
構成要素から有効な委任メディアの Gotham 識別子 (GID) を構築する式です。結果が1024文字を超える場合、null 行を生成します。
式のカテゴリー: その他
出力タイプ: 委任メディアの Gotham 識別子 (GID)
引数の値:
locatormediaType| mediaType | locator | 出力 |
|---|---|---|
| testaudiotype | 空の文字列 | null |
サポート対象: バッチ、高速、ストリーミング
ユーザーが指定した書式に従って、度分秒 (DMS) 形式の地理空間座標文字列を Geopoint に変換します。デフォルトの書式は DDD*°MM*'SS*"H と DDD*MMSSssH です。書式は順番に適用され、最初に一致した書式の結果が返されます。ユーザー定義の書式の記述方法については、書式設定ガイドを参照してください。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
coordinates| coordinates | 出力 |
|---|---|
| 078261594N075220923E | { 緯度: 78.43776111111112, 経度: 75.36923055555555, } |
| 046115095S069524119W | { 緯度: -46.19748611111111, 経度: -69.87810833333333, } |
| 023°45'55"N 069°52'11"W | { 緯度: 23.76527777777777, 経度: -69.86972222222222, } |
| -123°55'55"N 069°53'00"W | { 緯度: -123.93194444444445, 経度: -69.88333333333334, } |
| 123456789N23456789E | { 緯度: 123.76885833333333, 経度: 23.768858333333334, } |
サポート対象: バッチ、高速、ストリーミング
ユーザーが選択した書式に従って、Geopoint を度分秒 (DMS) 形式の地理空間座標文字列に変換します。使用できる書式は DDD°MM'SS"H と DDDMMSSssH です。
式のカテゴリー: 地理空間
出力タイプ: String
サポート対象: バッチ、高速、ストリーミング
Geopoint を、その Geopoint を含む、指定した精度の Base32 エンコードされた Geohash に変換します。Geohash の詳細については、https://en.wikipedia.org/wiki/Geohash を参照してください。
式のカテゴリー: 地理空間
出力タイプ: Geohash
サポート対象: バッチ、高速、ストリーミング
WGS84 座標系(EPSG:4326)に従う Geopoint を MGRS(軍用グリッド参照システム)座標に変換します。出力される MGRS は、精度5桁のスペース区切り形式になります。
式のカテゴリー: 地理空間
出力タイプ: MGRS
引数の値:
geoPoint| geoPoint | 出力 |
|---|---|
| { latitude -> 88.99999659707431, longitude -> 0.9996456505181999, } | Z AF 01937 88990 |
サポート対象: バッチ、高速、ストリーミング
Geopoint を Point 型の GeoJSON に変換します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、高速、ストリーミング
H3 インデックスを、対応する H3 六角形の中心を表す Geopoint に変換します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
サポート対象:バッチ、高速、ストリーミング
MGRS(軍用グリッド参照システム)座標を、WGS84 座標系(EPSG:4326)に従う Geopoint に変換します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
mgrs| mgrs | 出力 |
|---|---|
| ZAF0193788990 | { 緯度: 88.99999659707431, 経度: 0.9996456505181999, } |
サポート対象:バッチ、高速、ストリーミング
Java DateTimeFormatter に従って書式設定された文字列から日付を返します。デフォルトの形式は yyyy-MM-dd と yyyy-MM-dd'T'HH:mm:ss.SSSXXX です。形式は順番に適用され、最初に一致した形式の結果が返されます。
式のカテゴリー: 型変換、日時
出力タイプ: 日付
説明: 日付形式は任意です
引数の値:
出力: 2020-04-28
サポート対象:バッチ、高速、ストリーミング
Java DateTimeFormatter に従って書式設定された文字列からタイムスタンプを返します。デフォルトの形式は yyyy-MM-dd'T'HH:mm:ss.SSSXXX と yyyy-MM-dd です。形式は順番に適用され、最初に一致した形式の結果が返されます。
式のカテゴリー: 型変換、日時
出力タイプ: タイムスタンプ
引数の値:
timestamp| timestamp | 出力 |
|---|---|
| 28-2020-04 10:09:00 | 2020-04-28T10:09:00Z |
| 2020-04-28 | 2020-04-28T00:00:00Z |
サポート対象:バッチ、ストリーミング
数値(またはその文字列表現)を、ある基数から別の基数に変換します。
式のカテゴリー: バイナリ、型変換、数値
出力タイプ: 文字列
引数の値:
出力: 305153
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: 地理空間、数値
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: 数値
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: 日時
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: 数値
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
入力を JSON 文字列に変換します。
式のカテゴリー: ファイル操作、文字列
出力タイプ: 文字列
引数の値:
struct| struct | 出力 |
|---|---|
| { airline: { ID: NA, }, } | {"airline":{"id":"NA"}} |
サポート対象:バッチ、高速、ストリーミング
オントロジーの Geopoint を通常の Geopoint に変換します。オントロジーの Geopoint は '{lat},{lon}' 形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 です。通常の Geopoint は {"longitude": {long},"latitude": {lat}} 形式の構造体です。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
geopoint| geopoint | 出力 |
|---|---|
| -20.0000000,80.0000000 | { 緯度: -20.0, 経度: 80.0, } |
| 38.9031000,-77.0599000 | { 緯度: 38.9031, 経度: -77.0599, } |
| 41.9876543,-99.1234568 | { 緯度: 41.9876543, 経度: -99.1234568, } |
サポート対象:バッチ、高速
hex の逆操作です。文字の各ペアを16進数として解釈し、その数値のバイト表現に変換します。
式のカテゴリー: 数値、文字列
出力タイプ: バイナリ
引数の値:
string_hex| string_hex | 出力 |
|---|---|
| 68656C6C6F | aGVsbG8= |
| 3039 | MDk= |
| FFFFFFFFFFFFCFC7 | ////////z8c= |
| 4C6F6E646F6E | TG9uZG9u |
サポート対象:バッチ、高速、ストリーミング
hex の逆操作です。文字の各ペアを16進数として解釈し、その数値のバイト表現を UTF-8 文字列に変換します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
string_hex| string_hex | 出力 |
|---|---|
| 68656C6C6F | hello |
| 4C6F6E646F6E | London |
サポート対象:バッチ、ストリーミング
地心直交座標(地球中心・地球固定座標、または ECEF 座標とも呼ばれます)を測地極座標に変換します。高度は楕円体面からの高さとして定義されます。いずれかの座標が null の場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: 高度付き Geopoint
引数の値:
x_coordinatey_coordinatez_coordinate| x_coordinate | y_coordinate | z_coordinate | 出力 |
|---|---|---|---|
| 0.0 | 6378137.0 | 0.0 | { altitude -> 0.0, geoPoint -> { latitude -> 0.0, longitude -> 90.0, }, } |
| 0.0 | -6378137.0 | 0.0 | { altitude -> 0.0, geoPoint -> { latitude -> 0.0, longitude -> -90.0, }, } |
| -6378137.0 | 0.0 | 0.0 | { altitude -> 0.0, geoPoint -> { latitude -> 0.0, longitude -> 180.0, }, } |
| -6378137.0 | -0.0 | 0.0 | { altitude -> 0.0, geoPoint -> { latitude -> 0.0, longitude -> -180.0, }, } |
| 0.0 | 0.0 | 6356752.314245179 | { altitude -> 0.0, geoPoint -> { latitude -> 90.0, longitude -> 0.0, }, } |
| 0.0 | 0.0 | -6356752.314245179 | { altitude -> 0.0, geoPoint -> { latitude -> -90.0, longitude -> 0.0, }, } |
サポート対象:バッチ
レガシー OffsetDateTime 列を、すべての Foundry パイプラインで使用できるタイムスタンプに変換します。タイムスタンプは UTC で返されます。
式のカテゴリー: 日時
出力タイプ: タイムスタンプ
サポート対象:バッチ、高速、ストリーミング
ラインストリングのジオメトリをポリゴンのジオメトリに変換します。この式は、ラインストリングのジオメトリが閉じていることを前提としています。閉じていない場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
polygon_points| polygon_points | 出力 |
|---|---|
| {"type":"LineString","coordinates":[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]} | {"type":"Polygon","coordinates":[[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]]} |
サポート対象:バッチ、高速、ストリーミング
タイムスタンプを UTC から指定されたタイムゾーンに変換します。
式のカテゴリー: 日時
出力タイプ: タイムスタンプ
引数の値:
出力: 2020-04-28T05:09:00Z
サポート対象:バッチ、高速、ストリーミング
指定されたタイムゾーンに基づいてタイムスタンプを UTC に変換します。
式のカテゴリー: 日時
出力タイプ: タイムスタンプ
引数の値:
出力: 2020-04-28T15:09:00Z
サポート対象:バッチ、高速、ストリーミング
Geopoint を、オントロジーが地理インデックス化済みの列(geohash 型の列)に受け入れられる文字列に変換します。オントロジーの Geopoint は「{lat},{lon}」形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。
式のカテゴリー: 地理空間
出力タイプ: オントロジーの Geopoint
引数の値:
point| point | 出力 |
|---|---|
| { 緯度: -20.0, 経度: 80.0, } | -20.0000000,80.0000000 |
| { 緯度: 38.9031, 経度: -77.0599, } | 38.9031000,-77.0599000 |
| { 緯度: 41.987654321, 経度: -99.123456789, } | 41.9876543,-99.1234568 |
| null | null |
サポート対象:バッチ、高速、ストリーミング
指定された式の16進数値を計算します。
式のカテゴリー: 数値、文字列
出力タイプ: 文字列
引数の値:
city_hex| city_hex | 出力 |
|---|---|
| TG9uZG9u | 4C6F6E646F6E |
サポート対象:バッチ、高速、ストリーミング
指定された式の8進数値を計算します。
式のカテゴリー: 数値
出力タイプ: 文字列
引数の値:
出力: 30071
サポート対象:バッチ、高速、ストリーミング
角度のコサインを求めます。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesangle| angle | 出力 |
|---|---|
| 0.0 | 1.0 |
| 90.0 | 0.0 |
| 180.0 | -1.0 |
サポート対象:バッチ、高速、ストリーミング
緯度列と経度列から Geopoint 列を作成します。緯度パラメーターが -90以上90以下であり、経度パラメーターが -180以上180以下であることを検証し、そうでない場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
サポート対象:バッチ、高速、ストリーミング
ソース座標系の座標ペアを受け取り、WGS 84 の緯度/経度の値に変換します。座標系(座標参照系または空間参照系とも呼ばれます)は、地球上の点の位置を特定するためのさまざまな体系を表し、多くの場合、EPSG などの標準化されたデータベースのキーで識別されます。指定された投影法に対応していない場合、またはいずれかの座標が null の場合は null を返します。この式は上級ユーザー向けです。座標系を扱う必要がない場合は、「Geopoint を作成」式の使用を推奨します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
x_coordinatey_coordinate| x_coordinate | y_coordinate | 出力 |
|---|---|---|
| 322190.2233952965 | 4306505.703879281 | { latitude -> 38.88944258, longitude -> -77.05014581, } |
| 323243.1361536059 | 4318298.06539618 | { latitude -> 38.99585379643137, longitude -> -77.04105678275415, } |
| 407063.63465300016 | 4764873.719585404 | { latitude -> 43.03086518778498, longitude -> -76.14077251822197, } |
サポート対象:バッチ、高速、ストリーミング
指定されたデータ型の空の配列を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ ]
サポート対象:バッチ、高速、ストリーミング
指定された列から配列を作成します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
出力: [ 1, 2, 3 ]
サポート対象:バッチ、高速、ストリーミング
指定された地理座標を中心とするポリゴンとして楕円を近似します。点間の距離は、地表を近似する WGS84 楕円体の表面に沿って計算されます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、ストリーミング
2点間の測地線を作成します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、高速、ストリーミング
地理時系列参照のオブジェクトのプロパティタイプに必要な値を生成します。このプロパティタイプは、一連の地理時系列観測への参照と、その時系列を含む地理時系列統合の RID で構成されます。
式のカテゴリー: 地理空間、その他、文字列
出力タイプ: 地理時系列参照
サポート対象:バッチ、ストリーミング
指定されたポイントから GeoJSON ラインストリングジオメトリを作成します。
式のカテゴリー: 地理空間
型変数の制約: T に指定できる型: Struct<longitude, latitude>
出力タイプ: ジオメトリ
引数の値:
points| points | 出力 |
|---|---|
| [ { latitude: 10.0, longitude: 0.0, }, { latitude: 10.0, longitude: 10.0, } ] | {"type":"LineString","coordinates":[[0.0,10.0],[10.0,10.0]]} |
| [ { latitude: 10.0, longitude: 10.0, }, { latitude: 20.0,<... | {"type":"LineString","coordinates":[[10.0,10.0],[20.0,20.0],[30.0,30.0]]} |
| [ { latitude: 0.0, longitude: 179.0, }, { latitude: 0.0, longitude: 181.0, } ] | {"type":"MultiLineString","coordinates":[[[179.0,0.0],[180.0,0.0]],[[-180.0,0.0],[-179.0,0.0]]]} |
| [ { latitude: 0.0, longitude: -179.0, }, { latitude: 0.0, longitude: -181.0, } ] | {"type":"MultiLineString","coordinates":[[[180.0,0.0],[179.0,0.0]],[[-179.0,0.0],[-180.0,0.0]]]} |
サポート対象:バッチ、高速、ストリーミング
配列を zip 結合したキーと値のペアを使用してマップを返します。キーに null 値は使用できず、使用すると実行時エラーが発生します。
式のカテゴリー: 配列、マップ
型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
出力: {
1 -> 4,
2 -> 5,
3 -> 6,
}
サポート対象:バッチ、高速、ストリーミング
指定されたデータ型の null 値を返します。
式のカテゴリー: データ準備
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
出力: null
サポート対象:バッチ、ストリーミング
扇形範囲をポリゴンとして近似します。このポリゴンは、原点からのハバーサイン距離が最小半径と最大半径の間にあり、原点からの方位が、指定された方位パラメーターを中心とする角度範囲内にあるすべてのポイントの領域を指定します。扇形範囲の左辺と右辺は、地球の表面を近似する WGS84 楕円体の表面に沿って計算された測地線として描画されます。範囲が180度を超え、かつ反子午線を横切る場合、または最大半径が地球の円周の半分を超える場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、高速、ストリーミング
複数の列を1つの構造化された列に結合します。
式のカテゴリー: 構造体
出力タイプ: 構造体
引数の値:
tail_number, id]| tail_number | id | 出力 |
|---|---|---|
| MT-112 | 1 | { id: 1, tail_number: MT-112, } |
| XB-123 | 2 | { id: 2, tail_number: XB-123, } |
| PA-654 | 3 | { id: 3, tail_number: PA-654, } |
サポート対象:バッチ、ストリーミング
時系列参照値を作成します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
seriesId| seriesId | 出力 |
|---|---|
| seriesOne | {"seriesId":"seriesOne","syncRid":"ri.time-series-catalog.main.sync.11111111"} |
サポート対象:バッチ、高速、ストリーミング
計算を開始した時点の現在の日付を返します。
式のカテゴリー: 日時
出力タイプ: 日付
サポート対象:バッチ、高速、ストリーミング
計算を開始した時点の現在のタイムスタンプを返します。
式のカテゴリー: 日時
出力タイプ: タイムスタンプ
サポート対象:バッチ、高速
開始日から終了日までの範囲の日付を含む配列を作成します。
式のカテゴリー: 日時
出力タイプ: Array<Date>
引数の値:
last_planned_flightfirst_planned_flightDAYS| first_planned_flight | last_planned_flight | 出力 |
|---|---|---|
| 2023-01-01 | 2023-01-03 | [ 2023-01-01, 2023-01-02, 2023-01-03 ] |
| 2023-01-31 | 2023-02-02 | [ 2023-01-31, 2023-02-01, 2023-02-02 ] |
| 2023-02-28 | 2023-03-01 | [ 2023-02-28, 2023-03-01 ] |
サポート対象:バッチ、高速、ストリーミング
指定された文字セットを使用して、指定された式をデコードします。
式のカテゴリー: バイナリ、型変換
出力タイプ: 文字列
引数の値:
UTF_16city| city | 出力 |
|---|---|
| /v8ATABvAG4AZABvAG4= | London |
| /v8AQwBvAHAAZQBuAGgAYQBnAGUAbg== | Copenhagen |
| /v8ATgBlAHcAIABZAG8AcgBr | New York |
サポート対象:バッチ、ストリーミング
Geobuf ジオメトリを GeoJSON としてデコードします。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、高速、ストリーミング
ある数値を別の数値で除算します。
式のカテゴリー: 数値
出力タイプ: Decimal | Double
引数の値:
col_acol_b| col_a | col_b | 出力 |
|---|---|---|
| 4 | 2 | 2.0 |
| 11 | 2 | 5.5 |
サポート対象:バッチ、高速、ストリーミング
2つの文字列間の編集距離を計算します。レーベンシュタイン距離、indel 距離、ダメラウ・レーベンシュタイン距離をサポートします。
式のカテゴリー: 距離測定、文字列
出力タイプ: Double | Integer
説明: レーベンシュタイン距離を使用して計算した文字列の編集距離
引数の値:
levenshteinleftright| left | right | 出力 |
|---|---|---|
| hello | hello | 0 |
| hallo | hello | 1 |
| hlelo | hello | 2 |
| hello | hEllO | 2 |
| hello | hello, world! | 8 |
| hello | farewell | 6 |
サポート対象:バッチ、高速、ストリーミング
GeoJSON ジオメトリを Geobuf としてエンコードします。
式のカテゴリー: 地理空間
出力タイプ: Geobuf
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: ブール値、文字列
出力タイプ: ブール値
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
エポックミリ秒を UTC の日付に変換します。
式のカテゴリー: 型変換、日時
出力タイプ: 日付
説明: ミリ秒単位のエポックタイムスタンプを日付型に変換できます
引数の値:
出力: 2023-01-17
サポート対象:バッチ、高速、ストリーミング
エポックミリ秒を UTC のタイムスタンプに変換します。
式のカテゴリー: 型変換、日時
出力タイプ: タイムスタンプ
説明: ミリ秒単位のエポックタイムスタンプをタイムスタンプ型に変換できます
引数の値:
出力: 2023-01-17T14:01:51Z
サポート対象:バッチ、高速、ストリーミング
エポック秒を UTC の日付に変換します。
式のカテゴリー: 型変換、日時
出力タイプ: 日付
説明: エポックタイムスタンプを日付型に変換できます
引数の値:
出力: 2023-01-17
サポート対象:バッチ、高速、ストリーミング
エポック秒を UTC のタイムスタンプに変換します。
式のカテゴリー: 型変換、日時
出力タイプ: タイムスタンプ
説明: エポックタイムスタンプをタイムスタンプ型に変換できます
引数の値:
出力: 2023-01-17T14:01:51Z
サポート対象:バッチ、高速、ストリーミング
左右が等しい場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
ab| a | b | 出力 |
|---|---|---|
| 1 | 1 | true |
| 1 | 0 | false |
サポート対象:バッチ、高速、ストリーミング
列の指数関数 e^x を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
出力: 7.38905609893
サポート対象:バッチ、高速、ストリーミング
正規表現に一致するすべての箇所を配列に抽出します。
式のカテゴリー: 正規表現、文字列
出力タイプ: Array<String>
説明: 各コードの先頭2文字を抽出します。
引数の値:
出力: [ MT, XB ]
サポート対象:バッチ
音声ファイルからメタデータフィールドを抽出します。
式のカテゴリー: メディア
出力タイプ: 構造体
引数の値:
Media Reference| Media Reference | 出力 |
|---|---|
| {"mimeType":"audio","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}} | { bytes: 156700, format: audio, specification: { **b... |
サポート対象:バッチ
スプレッドシートのすべてのシートからコンテンツを JSON 形式で抽出します。
式のカテゴリー: メディア
出力タイプ: Map<String, Struct>
サポート対象:バッチ、高速、ストリーミング
年や曜日など、日付の一部を抽出します。
式のカテゴリー: 日時
出力タイプ: Integer
サポート対象:バッチ、高速
ドキュメントからメタデータフィールドを抽出します。
式のカテゴリー: メディア
出力タイプ: 構造体
引数の値:
Media Reference| Media Reference | 出力 |
|---|---|
| {"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}} | { author: Jane Doe, page_count: 23, title: Document Title, } |
サポート対象:バッチ
メールのメディアアイテムからメール本文をプレーンテキストまたは HTML として抽出します。
式のカテゴリー: メディア
出力タイプ: 文字列
サポート対象:バッチ、ストリーミング
画像からメタデータフィールドを抽出します。
式のカテゴリー: メディア
出力タイプ: 構造体
引数の値:
Media Reference| Media Reference | 出力 |
|---|---|
| {"mimeType":"image/tiff","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}} | { attributes: { outer_key1 -> { inner_key1 -> inner_value1, }, ... |
サポート対象:バッチ、高速
PDF ページからレイアウトを考慮したコンテンツを抽出します。境界ボックス、テキストコンテンツ、ブロックの種類を含む構造化ブロックを返します。OCR モードと出力形式の設定をサポートします。
式のカテゴリー: メディア
出力タイプ: Array<Array<Struct<block_index, block_id, page, block_type, content, bounding_box, languages<String>, confidence>>>
引数の値:
ENG}mediaReferenceEnd PageFAIL_FASTAUTOTEXTStart Page| mediaReference | 出力 |
|---|---|
| {"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}} | [ [ { block_id: block-0, block_index: 0, block_type: Text, &... ] |
サポート対象:バッチ、高速
画像からレイアウトを考慮したコンテンツを抽出します。境界ボックス、テキストコンテンツ、ブロックタイプを含む構造化ブロックを返します。出力形式を設定できます。
式のカテゴリー: メディア
出力タイプ: Array<Struct<block_index, block_id, block_type, content, bounding_box, languages<String>, confidence>>
引数の値:
ENG}mediaReferenceFAIL_FASTTEXT| mediaReference | 出力 |
|---|---|
| {"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}} | [ { block_id: block-0, block_index: 0, block_type: Text, &... |
サポート対象:バッチ、高速、ストリーミング
マップのキーを配列として返します。配列要素の順序は決定論的ではない点に注意してください。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: AnyType
出力タイプ: Array<K>
引数の値:
flight_number| flight_number | 出力 |
|---|---|
| { MT-111 -> 2, XB-134 -> 1, } | [ XB-134, MT-111 ] |
サポート対象:バッチ、高速、ストリーミング
マップの値を配列として返します。配列要素の順序は決定論的ではない点に注意してください。
式のカテゴリー: マップ
型変数の制約: V に指定できる型: AnyType
出力タイプ: Array<V>
引数の値:
flight_number| flight_number | 出力 |
|---|---|
| { MT-111 -> 2, XB-134 -> 1, } | [ 1, 2 ] |
サポート対象:バッチ
レガシー OffsetDateTime 列からオフセットを抽出します。これは、タイムスタンプの元のタイムゾーンと UTC タイムゾーンとの差を秒単位で表したものです。
式のカテゴリー: 日時
出力タイプ: Integer
引数の値:
col_a| col_a | 出力 |
|---|---|
| { offset: 0, timestamp: 2024-09-09T09:00:00.001Z, } | 0 |
| { offset: 19800, timestamp: 2024-09-09T09:00:00.001Z, } | 19800 |
| { offset: -3600, timestamp: 2024-09-09T09:00:00.001Z, } | -3600 |
サポート対象:バッチ、高速
PDF 内で使用されている見出しに基づいて目次を生成します。
式のカテゴリー: メディア
出力タイプ: Array<Struct<level, title, page>>
引数の値:
Media Reference| Media Reference | 出力 |
|---|---|
| {"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}} | [ { level: 0, page: 2, title: 第1章, }, { **l... |
サポート対象:バッチ、高速
PDF のページから生のテキストを抽出します。出力形式を設定できます。
式のカテゴリー: メディア
出力タイプ: Array<String>
引数の値:
Media ReferenceEnd PageFAIL_FASTTEXTStart Page| Media Reference | Start Page | End Page | 出力 |
|---|---|---|---|
| {"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.test.media-set.1","mediaItemRid":"ri.mio.test.media-item.1"}}} | 1 | 2 | [ 最初のページ, 2番目のページ ] |
サポート対象:バッチ、高速
PDF ファイルのページからテキストを抽出します。OCR モードと出力形式を設定できます。
式のカテゴリー: メディア
出力タイプ: Array<String>
引数の値:
ENG}mediaReferenceEnd PageFAIL_FASTAUTOTEXTStart Page| mediaReference | 出力 |
|---|---|
| {"mimeType":"application/pdf","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}} | [ 最初のページ, 2番目のページ ] |
サポート対象:バッチ、高速
画像からテキストを抽出します。出力形式を設定できます。
式のカテゴリー: メディア
出力タイプ: String
引数の値:
ENG}mediaReferenceFAIL_FASTTEXT| mediaReference | 出力 |
|---|---|
| {"mimeType":"image/png","reference":{"type":"mediaSetItem","mediaSetItem":{"mediaSetRid":"ri.mio.main.media-set.a", "mediaItemRid":"ri.mio.main.media-item.a"}}} | このテキストはメディアセット内の画像から抽出されました。 |
サポート対象:バッチ、高速、ストリーミング
年や曜日など、タイムスタンプの一部を抽出します。
式のカテゴリー: 日時
出力タイプ: Integer
サポート対象:バッチ、ストリーミング
フィルター式に基づいて配列を絞り込みます。配列のインデックスは1から始まる点に注意してください。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
arrayelement,| array | 出力 |
|---|---|
| [ 2, 5, null, 11 ] | [ 2, 5, 11 ] |
サポート対象:バッチ、高速、ストリーミング
ジオメトリ列の値のうち、指定されたジオメトリの種類に該当しないものを null にします。
式のカテゴリー: 地理空間
出力タイプ: Geometry
サポート対象:バッチ、高速、ストリーミング
入力のうち、最初の null 以外の値を選択します。SQL では coalesce と呼ばれます。
式のカテゴリー: データ準備
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
tail_number, airline]| tail_number | airline | 出力 |
|---|---|---|
| XB-123 | null | XB-123 |
| null | MT | MT |
サポート対象:バッチ、高速、ストリーミング
指定された小数値を切り下げた値を返します。
式のカテゴリー: 数値
出力タイプ: Decimal | Long
引数の値:
出力: 10
サポート対象:バッチ、高速、ストリーミング
Java DateTimeFormatter に従って書式設定された文字列として日付を返します。デフォルトの書式は ISO8601 です。
式のカテゴリー: 型変換、文字列
出力タイプ: 文字列
引数の値:
出力: 22-12-20
サポート対象:バッチ、高速、ストリーミング
指定された小数点以下の桁数で数値を書式設定します。
式のカテゴリー: 型変換、数値、文字列
出力タイプ: 文字列
説明: 小数点以下2桁で数値を書式設定します。
引数の値:
出力: 1,234.57
サポート対象:バッチ、ストリーミング
printf スタイルで文字列を書式設定します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
argument1, argument2]| argument1 | argument2 | 出力 |
|---|---|---|
| Alice | Bob | Hello Alice, my name is Bob |
| Jane | John | Hello Jane, my name is John |
サポート対象:バッチ、高速、ストリーミング
書式設定された文字列(デフォルトは ISO8601)としてタイムスタンプを返します。
式のカテゴリー: 型変換、日時、文字列
出力タイプ: 文字列
引数の値:
出力: 2022-10-01
サポート対象:バッチ、高速、ストリーミング
2つのジオメトリが交差するかどうかを判定します。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [... | {"coordinates":[[[-103.78627755867336,33.162750522563925],[-103.78627755867336,28.29724741894266],[-... | true |
| {"coordinates":[[[0.3651446504365481,15.159518507965103],[0.3651446504365481,13.427462911044273],[3.... | {"coordinates":[[[5.656394524666183,13.405417496831944],[5.656394524666183,11.29869961209053],[8.551... | false |
サポート対象:バッチ、高速、ストリーミング
入力ジオメトリに3次元アフィン変換を適用します。この変換はユーザーが指定した投影座標系で行われ、結果は WGS84 に再投影されます。2次元ジオメトリの場合、アフィン変換が適用される前に z 座標が0に設定されます。返されるジオメトリは3次元で、各座標 [x,y,z] に対して行列の乗算 [[x0, x1, x2, x-offset], [y0, y1, y2, y-offset], [z0, z1, z2, z-offset], [0, 0, 0, 1]] * [x, y, z, 1] を行った結果の、最初の3つの座標値が返されます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]]]} | {"type":"Polygon","coordinates":[[[0.0, 0.0, 0.0],[0.0, 1.0, 0.0],[-1.0, 1.0, 0.0],[-1.0, 0.0, 0.0],[0.0, 0.0, 0.0]]]} |
サポート対象:バッチ、高速、ストリーミング
指定されたジオメトリ配列を、重複がないようにマージして単一のジオメトリに結合します。
式のカテゴリー: 地理空間
型変数の制約: T に指定できる型: Geometry
出力タイプ: T
引数の値:
geometries| geometries | 出力 |
|---|---|
| [ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} ] | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]} |
| [ ] | null |
| null | null |
サポート対象:バッチ、高速、ストリーミング
指定されたジオメトリ配列を、線形ジオメトリに結合します。ディゾルブは、不要なノードを削除し、結合可能なラインストリングを連結することで、入力されたラインストリングの集合を単純化します。ディゾルブ操作では z 座標は無視されますが、結果のジオメトリの頂点には、入力内の対応する点と同じ z 座標が設定されます。
式のカテゴリー: 地理空間
型変数の制約: T に指定できる型: Geometry
出力タイプ: T
引数の値:
geometries| geometries | 出力 |
|---|---|
| [ {"type":"LineString","coordinates":[[0,0],[0,1],[1,1]]}, {"type":"LineString","coordinates":[[1,1]... | {"type":"MultiLineString","coordinates":[[[5.0, 5.0],[4.0, 4.0],[3.0, 3.0],[2.0, 2.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]],[[7.0, 7.0], [6.0, 7.0], [6.0, 6.0]]]} |
| [ {"type":"LineString","coordinates":[[0,0,1],[0,1,1],[1,1,1]]}, {"type":"LineString","coordinates":[[1,1,1],[2,2,2]]}, {"type":"LineString","coordinates":[[1,1,2],[2,2,2],[3,3,3]]} ] | {"type":"LineString","coordinates":[[0.0, 0.0, 1.0],[0.0, 1.0, 1.0],[1.0, 1.0, 1.0],[2.0, 2.0, 2.0],[3.0, 3.0, 3.0]]} |
サポート対象:バッチ、ストリーミング
正と負の両方のバッファー距離に対して、ジオメトリのバッファーを計算します。この幾何オブジェクトから指定された距離内にあるすべての点の近似表現を返します(負のバッファーの場合は、すべての点から、境界からの距離がバッファー距離内にある点を除いたものです)。バッファー処理では z 座標が削除され、線と点の距離が0または負のバッファーは null を返します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
distancegeometryROUNDROUNDDOUBLE_SIDED| geometry | distance | 出力 |
|---|---|---|
| {"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]} | 10.0 | {"type":"Polygon","coordinates":[[[-77.07356558299462, 38.83041048767274],[-77.07356728534256, 38.83... |
| {"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83042888342659, 1]]} | 10.0 | {"type":"Polygon","coordinates":[[[-77.07253198637027, 38.83051894052714],[-77.07250947453703, 38.83... |
| {"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83... | 10.0 | {"type":"Polygon","coordinates":[[[-77.07379585155829, 38.83040639848026],[-77.07382199292853, 38.83... |
サポート対象:バッチ、ストリーミング
地球を球体で近似し、ジオメトリの重心、つまり「質量中心」を返します。ジオメトリに異なる次元の要素が混在している場合、最も高い次元の要素のみが重心の計算に使用されます(たとえば、点、線、ポリゴンが混在している場合、点と線は無視されます)。この処理では、ジオメトリ内の座標が32ビット浮動小数点精度に丸められます。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
サポート対象:バッチ、高速、ストリーミング
ジオメトリ a がジオメトリ b を含むかどうかを判定します。ポリゴンの境界上にある点や線は、別のジオメトリに含まれるとはみなされません。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [... | {"type":"Point","coordinates":[-100.0,32.0]} | true |
| {"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [... | {"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]} | false |
| {"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]} | {"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]} | false |
| {"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]} | {"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]} | true |
| {"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [... | {"coordinates":[[[-111.94377956164206,33.81725414459382],[-111.94377956164206,31.006795384733323], [... | true |
サポート対象:バッチ、高速、ストリーミング
ジオメトリ a のうち、ジオメトリ b と交差しない部分を計算します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"LineString","coordinates":[[0.0,0.0],[0.0,1.0]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
サポート対象:バッチ、高速、ストリーミング
ジオメトリを、それを構成する単純なジオメトリの配列に変換します。
式のカテゴリー: 地理空間
出力タイプ: Array<Geometry>
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | [ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} ] |
| {"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]} | [ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} ] |
サポート対象:バッチ、高速、ストリーミング
ジオメトリ a のうち、ジオメトリ b と交差する部分を計算します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} | {"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} | {"type":"Polygon","coordinates":[[]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]} | {"type":"LineString","coordinates":[[1.0,1.0],[1.0,0.0]]} |
| {"type":"Point","coordinates":[0.0,0.0]} | {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} | {"type":"Point","coordinates":[0.0,0.0]} |
| {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} | {"type":"Polygon","coordinates":[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]} | {"type":"LineString","coordinates":[]} |
サポート対象:バッチ、ストリーミング
ジオメトリ内のラインストリングとマルチラインストリングの長さをメートル単位で取得します。地球を球体で近似して計算します。線状ではないジオメトリ(ポリゴンと点)は0として扱われます。
式のカテゴリー: 地理空間
出力タイプ: Double
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"LineString","coordinates":[[-73.778128,40.641195],[-118.408535,33.941563]]} | 3974344.7433354934 |
| {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0],[1.0,1.0],[1.0,2.0]]} | 333585.2407005987 |
| {"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0],[1.0,1.0]], [[1.0,2.0],[2.0,2.0]]]} | 333517.50194413937 |
サポート対象:ストリーミング
指定された Geopoint を中心として、指定されたジオメトリに時計回りの2次元回転を適用します。この回転は指定された座標参照系で行われ、その後 WGS84 に再投影されます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ、高速、ストリーミング
ジオメトリの z 座標を設定します。ジオメトリに既存の z 座標がある場合は、上書きされます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometryzCoordinate| geometry | zCoordinate | 出力 |
|---|---|---|
| {"type":"Point","coordinates":[1.0, 2.0]} | 1.0 | {"type":"Point","coordinates":[1.0, 2.0, 1.0]} |
| {"type":"Point","coordinates":[1.0, 2.0, 3.0]} | 1.0 | {"type":"Point","coordinates":[1.0, 2.0, 1.0]} |
サポート対象:バッチ、ストリーミング
2つの有効なジオメトリ間の最短距離(大円距離)をメートル単位で計算します。地球を球体として近似します。ジオメトリが重なっている場合、距離は0になります。
式のカテゴリー: 地理空間
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
有効なジオメトリを受け取り、GeoJSON の規約である右手の法則を入力に適用して標準化します。これにより、同等のジオメトリ間で等価比較ができるようになります。この式はラインストリングの向きを反転する場合があります。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[32.26868,-26.53253],[32.26465,-26.45873],[32.25262,-26.38563],[32.26868,-26.53253]]]} | {"type":"Polygon","coordinates":[[[32.25262, -26.38563],[32.26868, -26.53253],[32.26465, -26.45873],[32.25262, -26.38563]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.25,0.5]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]], [[0.25,0.25],[0.25,0.5],[0.5,0.25],[0.25,0.25]]]} |
| {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} |
| {"coordinates": [[[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]]], "type":"MultiPolygon"} | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | {"coordinates": [[5.0, 5.0],[-1.0, -1.0]], "type":"LineString"} |
| {"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"} | {"coordinates": [[[0.0, 0.0, 0.0], [10.0, 0.0, 0.0], [10.0, 10.0, 0.0], [10.0, 10.0, 10.0], [0.0, 10.0, 10.0], [0.0, 0.0, 10.0], [0.0, 0.0, 0.0]]], "type": "Polygon"} |
サポート対象:バッチ、高速、ストリーミング
いずれかのジオメトリに含まれ、その積集合には含まれない部分を計算します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[2.0,1.0],[2.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[3.0,1.0],[3.0,0.0],[1.0,0.0]]]} | {"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} | {"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]} |
| {"type":"Point","coordinates":[0.0,0.0]} | {"type":"Point","coordinates":[1.0,1.0]} | {"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]} |
| {"type":"LineString","coordinates":[[0.0,0.0],[2.0,0.0]]} | {"type":"LineString","coordinates":[[1.0,0.0],[3.0,0.0]]} | {"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[2.0,0.0],[3.0,0.0]]]} |
サポート対象:バッチ、高速、ストリーミング
ジオメトリに平行移動を適用します。2次元ジオメトリは、z オフセットが指定された場合にのみ3次元ジオメトリに変換されます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Point","coordinates":[0.0, 0.0]} | {"type":"Point","coordinates":[1.0, -1.0]} |
| {"type":"LineString","coordinates":[[0.0, 0.0], [1.0, 1.0]]} | {"type":"LineString","coordinates":[[1.0, -1.0], [2.0, 0.0]]} |
| {"type":"Polygon","coordinates":[[[0.0, 0.0],[1.0, 0.0],[1.0, 1.0],[0.0, 1.0], [0.0, 0.0]]]} | {"type":"Polygon","coordinates":[[[1.0, -1.0],[2.0, -1.0],[2.0, 0.0],[1.0, 0.0],[1.0, -1.0]]]} |
サポート対象:バッチ、高速、ストリーミング
2つのジオメトリを結合して、1つのジオメトリを作成します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry_ageometry_b| geometry_a | geometry_b | 出力 |
|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} | {"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} | {"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]} | {"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]},{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}]} |
サポート対象:バッチ、高速、ストリーミング
Geopoint を指定された解像度の H3 インデックスに変換します。解像度が 0 未満または 15 を超える場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: H3 インデックス
サポート対象:バッチ、高速、ストリーミング
ジオメトリを特定の解像度の H3 インデックスに変換します。解像度は 0 以上 15 以下である必要があります。ポリゴンでは、次の3つの変換がサポートされています。a)ポリゴンを完全に覆う H3 インデックス、b)ポリゴンに完全に含まれる H3 インデックス、c)重心がポリゴン内に含まれる H3 インデックス。期待される H3 インデックスの数が700万を超える場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 インデックス>
サポート対象:
Media Reference の IANA MIME タイプを返します。
式のカテゴリー: メディア
出力タイプ: 文字列
サポート対象:バッチ、高速
PDF の各ページの寸法をポイント単位で取得します。
式のカテゴリー: メディア
出力タイプ: Array<Struct<height, width>>
サポート対象:バッチ、ストリーミング
エンベロープを XZ 曲線でエンコードします。
式のカテゴリー: 地理空間
出力タイプ: Long
引数の値:
LON_LAT_10KMenvelope| envelope | 出力 |
|---|---|
| { maxLat -> 2.0, maxLon -> 3.0, minLat -> 0.0, minLon -> 1.0, } | 16777222 |
| { maxLat -> 2.0, maxLon -> 3.0, minLat -> null, minLon -> 1.0, } | null |
サポート対象:バッチ、高速、ストリーミング
地球を球体として近似し、最初の点から2番目の点への絶対真方位(地理的な北を基準とした時計回りの角度)を度単位で計算します。
式のカテゴリー: 地理空間
出力タイプ: Double
引数の値:
end_pointstart_point| start_point | end_point | 出力 |
|---|---|---|
| { 緯度: 40.69325025929194, 経度: -74.00522662934995, } | { 緯度: 51.4988509390695, 経度: -0.1238396067697046, } | 51.20964213763489 |
サポート対象:バッチ、ストリーミング
有効なジオメトリまたはジオメトリの配列を指定すると、入力のエンベロープを表すジオメトリを返します。エンベロープは、ジオメトリの x および y の最小値と最大値を含む、軸に平行な最小の長方形領域です。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
サポート対象:バッチ、高速、ストリーミング
有効なジオメトリまたはジオメトリの配列を指定すると、そのジオメトリまたはジオメトリ群の境界を含む構造体を返します。
式のカテゴリー: 地理空間
出力タイプ: LatLonBoundingBox
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0]]]} | { maxLat -> 1.0, maxLon -> 1.0, minLat -> 0.0, minLon -> 0.0, } |
サポート対象:バッチ、高速、ストリーミング
H3 インデックスのすべての近傍を取得します。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 インデックス>
サポート対象:バッチ、高速、ストリーミング
構造体からフィールドを抽出します。
式のカテゴリー: 構造体
出力タイプ: AnyType
引数の値:
struct| struct | 出力 |
|---|---|
| { airline: { id: NA, }, } | NA |
| { airline: { id: FE, }, } | FE |
サポート対象:バッチ、高速、ストリーミング
有効な GeoJSON 入力文字列を指定すると、ジオメトリの凸包を表す GeoJSON 文字列を返します。凸包は、ジオメトリを含む最小の凸多角形です。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[2.0,0.0],[2.0,1.0],[1.0,1.0],[1.0,2.0],[0.0,2.0],[0.0,0.0]]]} | {"type":"Polygon", "coordinates":[[[0.0, 0.0], [0.0, 2.0], [1.0, 2.0], [2.0, 1.0], [2.0, 0.0], [0.0, 0.0]]]} |
| null | null |
サポート対象:バッチ
動画内で検出されたシーンフレームの切り替わりのタイムスタンプとシーンスコアを取得します。
式のカテゴリー: メディア
出力タイプ: Array<Struct<timestamp, scene_score>>
サポート対象:バッチ、高速、ストリーミング
左が右より大きい場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
ab| a | b | 出力 |
|---|---|---|
| 1 | 0 | true |
| 1 | 1 | false |
| 0 | 1 | false |
サポート対象:バッチ、高速、ストリーミング
左が右以上の場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
ab| a | b | 出力 |
|---|---|---|
| 1 | 0 | true |
| 1 | 1 | true |
| 0 | 1 | false |
サポート対象:バッチ、高速、ストリーミング
null 値をスキップして、すべての入力列の中で最大の値を計算します。
式のカテゴリー: 数値
型変数の制約: T に指定できる型: ComparableType
出力タイプ: T
引数の値:
a, b, c]| a | b | c | 出力 |
|---|---|---|---|
| 1 | 2 | 3 | 3 |
| 1 | 3 | 2 | 3 |
| 3 | 2 | 1 | 3 |
サポート対象:バッチ、高速、ストリーミング
gzip 圧縮されたバイナリを解凍して文字列にします。
式のカテゴリー: ファイル操作
出力タイプ: 文字列
引数の値:
gzip| gzip | 出力 |
|---|---|
| H4sIAAAAAAAA//NIzcnJ11Eozy/KSVEEAObG5usNAAAA | Hello, world! |
サポート対象:バッチ、高速、ストリーミング
子セルの粗さを指定する解像度で、H3 インデックスの子セルを取得します。解像度が0未満または15より大きい場合、あるいは子セルの解像度が指定された H3 インデックスの解像度より低い場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 インデックス>
サポート対象:バッチ、高速、ストリーミング
親セルの粗さを指定する解像度で、H3 インデックスの親セルを取得します。解像度が0未満または15より大きい場合、あるいは解像度が指定されたインデックスの解像度より高い場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: H3 インデックス
サポート対象:バッチ、高速、ストリーミング
H3 インデックスをポリゴンに変換します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
サポート対象:バッチ
Media Reference が特定のスキーマの種類と形式を持つかどうかを確認します。この式をフィルター条件として使用すると、メディアの種類でメディアセットを絞り込み、下流でスキーマ固有のデータ加工を行えます。
式のカテゴリー: メディア
出力タイプ: ブール値
サポート対象:バッチ、高速、ストリーミング
sha256 ハッシュアルゴリズムを使用して入力をハッシュ化します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: 7f83b1657ff1fc53b92dc18148a1d65dfc2d4b1fa3d677284addd200126d9069
サポート対象:バッチ
IPv6 アドレスを正規形式の IPv6 アドレスに変換します。RFC 5952 に IPv6 の正規表現形式が記載されています。
式のカテゴリー: サイバー
出力タイプ: IPv6
引数の値:
ip| ip | 出力 |
|---|---|
| 001:0db8:85a3:0000:0000:8a2e:0370:7334 | 1:db8:85a3::8a2e:370:7334 |
| ::1 | ::1 |
| 2001:db8:0:1:1:1:1:1 | 2001:db8:0:1:1:1:1:1 |
| 2001:1:0:0:10:0:10:10 | 2001:1::10:0:10:10 |
| 2001:0:0:1:0:0:0:1 | 2001:0:0:1::1 |
| 2001:db8:0:0:1:0:0:1 | 2001:db8::1:0:0:1 |
| 2001:DB8:AAAA:BBBB:CCCC:DDDD:EEEE | 2001:db8:aaaa:bbbb:cccc:dddd:eeee |
| 0:0:0:0:0:0:0:0 | :: |
| :: | :: |
| 0:0:0:1:2:3:4:5 | ::1:2:3:4:5 |
| 1:2:3:4:5:0:0:0 | 1:2:3:4:5:: |
| 1:2:3:4:5:6:7:8 | 1:2:3:4:5:6:7:8 |
| null | null |
サポート対象:バッチ
指定されたモデルを使用して、画像を埋め込みに変換します。
式のカテゴリー: メディア
出力タイプ: 埋め込みベクトル
説明: 画像の埋め込みの例です。
引数の値:
mediaRef| mediaRef | 出力 |
|---|---|
| { "mimeType": "image/jpeg", "reference": { "type": "mediaSetViewItem", "... | embeddings-result |
サポート対象:バッチ、ストリーミング
線に沿って補間された点を返します。この実装では、地球を球体で近似し、線を最短経路として解釈します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
fractionlinestring| linestring | fraction | 出力 |
|---|---|---|
| {"type":"LineString","coordinates":[[0.0,2.0],[30.0,0.0]]} | 0.5 | { latitude: 1.0352686301676643, longitude: 15.004677545504547, } |
| {"type":"LineString","coordinates":[[30.0,2.0],[50.0,3.0]]} | 0.8 | { latitude: 2.8256098405656185, longitude: 45.99752305664789, } |
| {"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0]]} | 0.2 | { latitude: 8.363732883448177, longitude: 54.073497456494955, } |
サポート対象:バッチ、高速、ストリーミング
入力が nan の場合に true を返し、それ以外の場合は false を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
出力: true
サポート対象:バッチ、ストリーミング
内部の配列と構造体を再帰的に確認し、入力が空の構造体の場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
struct| struct | 出力 |
|---|---|
| { airline: { id: null, name: null, }, tail_no: null, } | true |
| { airline: { id: NA, name: null, }, tail_no: null, } | false |
サポート対象:バッチ、高速、ストリーミング
リストに値が含まれる場合に true を返します。
式のカテゴリー: ブール値
型変数の制約: T に指定できる型: ComparableType
出力タイプ: ブール値
説明: リストに値が含まれるかどうかを確認できます。
引数の値:
value| value | 出力 |
|---|---|
| BRR-123 | true |
| ABC-543 | false |
サポート対象:バッチ、高速、ストリーミング
入力が null ではない場合に true を返します。オプションで空の文字列を null として扱うことができます。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
入力が null の場合に true を返します。オプションで空の文字列を null として扱うことができます。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
入力が有効な GeoJSON 入力文字列の場合に true を返します。すべての GeoJSON 文字列がオントロジーでインデックス化できるわけではありません。オントロジーで使用する前に、「ジオメトリを準備」式を使用してジオメトリを準備します。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
geoJson| geoJson | 出力 |
|---|---|
| {"type":"Point","coordinates":[3.0, 5.0, 2.0]} | true |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]} | true |
| {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} | true |
| not a GeoJSON string | false |
サポート対象:バッチ、高速、ストリーミング
入力が有効な Geohash 入力文字列の場合に true を返します。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
geohash| geohash | 出力 |
|---|---|
| sk4d | true |
| dt9zy9cg36j7 | true |
| not a Geohash string | false |
| null | false |
サポート対象:バッチ、高速、ストリーミング
入力が有効な H3 インデックス文字列の場合に true を返します。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
h3| h3 | 出力 |
|---|---|
| 862a1072fffffff | true |
| not an h3 value | false |
サポート対象:バッチ
入力が有効な IPv4 アドレスの場合に true を返します。
式のカテゴリー: サイバー
出力タイプ: ブール値
引数の値:
ip| ip | 出力 |
|---|---|
| 192.168.1.1 | true |
| 10.0.0.1 | true |
| 172.16.0.1 | true |
| 255.255.255.255 | true |
| 0.0.0.0 | true |
| 127.0.0.1 | true |
| 1.2.3.4 | true |
| 256.1.1.1 | false |
| 192.168.1.256 | false |
| 192.168.1 | false |
| 192.168.1.1.1 | false |
| abc.def.ghi.jkl | false |
| 192.168.1.a | false |
| -1.2.3.4 | false |
| 空の文字列 | false |
| false | |
| 192.168.1.0/24 | false |
| 10.0.0.0/8 | false |
| 192 | false |
| a.b.c.d/255.0.0.0 | false |
| ::1 | false |
| 2001:db8::1 | false |
| null | false |
サポート対象:バッチ
入力が有効な IPv6 アドレスの場合に true を返します。
式のカテゴリー: サイバー
出力タイプ: ブール値
引数の値:
ip| ip | 出力 |
|---|---|
| 001:0db8:85a3:0000:0000:8a2e:0370:7334 | true |
| 2001:db8:85a3:0:0:8A2E:0370:7334 | true |
| 2001:db8:85a3::8a2e:370:7334 | true |
| ::1 | true |
| fe80:: | true |
| :: | true |
| 0:0:0:0:0:0:0:1 | true |
| 2001:db8:: | true |
| ::ffff:192.0.2.128 | true |
| 2001:db8:0:0:1:0:0:1 | true |
| 1234:5678:9abc:def0:1234:5678:9abc | true |
| abcd:ef01:2345:6789:abcd:ef01:2345:6789 | true |
| 2001:db8:1234:0000:0000:0000:0000:0001 | true |
| 2001:db8:1234::1 | true |
| 2001:db8:85a3::8a2e:37023:7334 | false |
| 2001:db8:85a3::8a2e::7334 | false |
| 2001:db8:85a3:0:0:8A2E:0370:7334:1234 | false |
| 2001:db8:85a3 | false |
| 2001:db8:85a3::8a2e:370g:7334 | false |
| ::ffff:192.0.2.999 | false |
| 2001:db8:85a3:0:0:8A2E:0370:7334: | false |
| :2001:db8:85a3:0:0:8A2E:0370:7334 | false |
| 2001:db8:85a3:0:0:8A2E:0370:7334:: | false |
| GGGG:db8:85a3:0:0:8A2E:0370:7334 | false |
| 2001-db8-85a3-0-0-8A2E-0370-7334 | false |
| 2001:db8:85a3:0:0:8A2E:0370:7334/64 | false |
| 2001:db8::/32 | false |
| 空の文字列 | false |
| false | |
| 192.168.1.1 | false |
| null | false |
サポート対象:バッチ、高速、ストリーミング
入力が有効な MGRS(軍用グリッド参照システム)文字列の場合に true を返します。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
mgrs| mgrs | 出力 |
|---|---|
| 4Q FJ 1 6 | true |
| 4Q FJ 12345 67890 | true |
サポート対象:バッチ、高速、ストリーミング
入力が有効な MIME タイプの場合に true を返します。
式のカテゴリー: ブール値、その他
出力タイプ: ブール値
サポート対象:バッチ、高速、ストリーミング
入力が有効なオントロジーの Geopoint の場合に true を返します。オントロジーの Geopoint は '{lat},{lon}' 形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 を満たします。
式のカテゴリー: 地理空間
出力タイプ: ブール値
引数の値:
geopoint| geopoint | 出力 |
|---|---|
| -35.307428203,149.122686883 | true |
| 149.122686883,-35.307428203 | false |
| 10.0, 20.0 | true |
| 10.0, 20.0 | true |
| not a GeoPoint | false |
| null | false |
| (10.0,20.0) | false |
サポート対象:バッチ、高速、ストリーミング
入力が有効な Gotham 委任メディア gid の場合に true を返します。詳細については、Gotham の委任メディアの rtfm を確認してください。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
入力が構造上 Foundry の Media Reference であり、その MIME タイプを解析できる場合に true を返します。これは形式のチェックのみです。レガシーの Media Reference 形式でも true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
サポート対象:バッチ、高速、ストリーミング
入力が有効な Foundry リソース識別子の場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
サポート対象:バッチ、高速、ストリーミング
入力が有効な UUID の場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
サポート対象:バッチ、高速、ストリーミング
指定した区切り文字で配列を連結します。
式のカテゴリー: 配列
出力タイプ: 文字列
引数の値:
出力: hello-world
サポート対象:バッチ、高速
週/月/四半期/年の最終日を返します。
式のカテゴリー: 日時
出力タイプ: Date
サポート対象:バッチ、高速、ストリーミング
null 値をスキップして、すべての入力列の最小値を計算します。
式のカテゴリー: ブール値、数値
型変数の制約: T に指定できる型: ComparableType
出力タイプ: T
引数の値:
a, b, c]| a | b | c | 出力 |
|---|---|---|---|
| 1 | 2 | 3 | 1 |
| 1 | 3 | 2 | 1 |
| 3 | 2 | 1 | 1 |
サポート対象:バッチ、高速、ストリーミング
インデックスに基づいて文字列の左側を抽出します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: Hello
サポート対象:バッチ、高速、ストリーミング
指定した長さになるまで、文字列列の左側を指定した埋め込み文字で埋めます。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: ***Hello world!
サポート対象:バッチ、高速、ストリーミング
文字列列または配列列の各値の長さを返します。
式のカテゴリー: 配列、数値
出力タイプ: Integer
引数の値:
string| string | 出力 |
|---|---|
| hello | 5 |
| bye | 3 |
サポート対象:バッチ、高速、ストリーミング
左の値が右の値より小さい場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
leftright| left | right | 出力 |
|---|---|---|
| 1.0 | 10 | true |
| 10.0 | 1 | false |
サポート対象:バッチ、高速、ストリーミング
左の値が右の値以下の場合に true を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
leftright| left | right | 出力 |
|---|---|---|
| 1.0 | 10 | true |
| 10.0 | 1 | false |
サポート対象:バッチ、高速、ストリーミング
列の自然対数 ln(x) を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
出力: 2.3148100626166146
サポート対象:バッチ、高速、ストリーミング
指定した底の対数を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
出力: 3.0
サポート対象:バッチ、高速、ストリーミング
式を指定した論理型にキャストします。通常のキャスト式とは異なり、この式はデータの基になる表現を変更せず、指定した論理型に関連する制約を適用します。これにより、その論理型のインスタンスを明示的に要求する下流の式への入力として、出力を使用できます。
式のカテゴリー: 型変換
型変数の制約: C に指定できる型: AnyType
出力タイプ: C
説明: 自然数へのキャストが成功する例
引数の値:
出力: 1234
サポート対象:バッチ、高速、ストリーミング
文字列内のすべての文字を小文字に変換します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: hello world
サポート対象:バッチ、高速、ストリーミング
キーと値のペアのマップに基づいて、入力列の値を新しい値に変更します。入力値がマップ内に見つからない場合は、デフォルト値が使用されます。
式のカテゴリー: データ準備
型変数の制約: T1 に指定できる型: ComparableType**T2 に指定できる型: AnyType
出力タイプ: T2
引数の値:
country| country | 出力 |
|---|---|
| United Kingdom | UK |
| Denmark | DNK |
| United States of America | null |
サポート対象:バッチ、高速、ストリーミング
式の剰余を返します。
式のカテゴリー: 数値
出力タイプ: DefiniteNumeric
引数の値:
出力: 2.123
サポート対象:バッチ、高速、ストリーミング
すべての入力列の積を計算します。
式のカテゴリー: 数値
出力タイプ: Numeric
引数の値:
col_a, col_b, col_c]| col_a | col_b | col_c | 出力 |
|---|---|---|---|
| 10 | 2 | 3 | 60 |
サポート対象:バッチ、高速、ストリーミング
ランダムな自然数を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返すと同じ結果にはなりません。
式のカテゴリー: 数値
出力タイプ: Long
説明: 10以上11未満の自然数は10のみです。
引数の値:
出力: 10
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: 数値
出力タイプ: Numeric
サポート対象:バッチ
曜日の引数に基づいて、日付列の値より後の最初の日付を返します。
式のカテゴリー: 日時
出力タイプ: Date
説明: 2024年1月10日水曜日の次の月曜日
引数の値:
MONDAY出力: 2024-01-15
サポート対象:バッチ、高速、ストリーミング
平均0、分散1の正規分布に従う乱数の列を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返すと同じ結果にはなりません。
式のカテゴリー: 数値
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
ブール式のブール値を否定した値を返します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
boolean| boolean | 出力 |
|---|---|
| true | false |
| false | true |
サポート対象:バッチ、ストリーミング
どの条件も満たされない場合にのみ true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
left_boolean, right_boolean]| left_boolean | right_boolean | 出力 |
|---|---|---|
| true | true | false |
| true | false | false |
| false | true | false |
| false | false | true |
サポート対象:バッチ、高速、ストリーミング
ジオメトリ内の単一のポリゴンの n 番目のリングを返します。インデックスは1から始まり、インデックス0は範囲外です。インデックスが1の場合は外周リングを返します。インデックスが1より大きい場合は内周リングを返します。ジオメトリが単一のポリゴンでない、フィーチャーコレクションまたはジオメトリコレクションが指定されている、インデックスが範囲外である、引数の1つ以上が null である、のいずれかの場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
npolygon| polygon | n | 出力 |
|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 1 | {"coordinates": [[0.0, 0.0], [0.0, 10.0], [10.0, 10.0], [10.0, 0.0], [0.0, 0.0]], "type": "LineString"} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 2 | null |
| {"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"} | 1 | {"coordinates": [[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]], "type": "LineString"} |
| {"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"} | 2 | {"coordinates": [[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]], "type": "LineString"} |
サポート対象:バッチ、高速、ストリーミング
ジオメトリ内の単一のラインストリングの n 番目の点を返します。インデックスは1から始まり、インデックス0は範囲外です。負のインデックスはラインストリングの末尾から逆順に数えるため、-1は最後の点を表します。ジオメトリが単一のラインストリングでない、フィーチャーコレクションまたはジオメトリコレクションが指定されている、インデックスが範囲外である、引数の1つ以上が null である、のいずれかの場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: Geopoint
引数の値:
linestringn| linestring | n | 出力 |
|---|---|---|
| {"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]} | 1 | { 緯度: 2.0, 経度: 30.0, } |
| {"type":"LineString","coordinates":[[30.0,2.0],[35.0,0.0],[50.0,3.0]]} | 3 | { 緯度: 3.0, 経度: 50.0, } |
| {"type":"LineString","coordinates":[[45.0,9.0],[90.0,4.0],[40.0,0.0]]} | -1 | { 緯度: 0.0, 経度: 40.0, } |
サポート対象:バッチ、高速、ストリーミング
空の文字列を null に変換します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: null
サポート対象:バッチ、高速、ストリーミング
指定された条件のいずれかが true の場合に true を返します。ANSI モードがオフの場合は null を false として扱い、それ以外の場合は null を伝播します。
式のカテゴリー: ブール値
出力タイプ: ブール値
引数の値:
left_boolean, right_boolean]| left_boolean | right_boolean | 出力 |
|---|---|---|
| true | true | true |
| true | false | true |
| false | true | true |
| false | false | false |
サポート対象:バッチ、高速、ストリーミング
WGS 84 以外の座標系の GeoJSON 文字列を WGS 84 のジオメトリに変換します。すでに WGS 84(経度、緯度)の GeoJSON には、「論理型キャスト」式を使用すると、より少ないオーバーヘッドで直接変換できます。パースまたは変換に失敗した文字列の場合は null を返します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geojson_string| geojson_string | 出力 |
|---|---|
| {"type":"Point","coordinates":[320000.0,4300000.0]} | {"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]} |
| {"type":"LineString","coordinates":[[320000.0,4300000.0],[320100.0,4300000.0]]} | {"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659]]} |
| {"type":"Polygon","coordinates":[[[320000.0,4300000.0],[320100.0,4300000.0],[320000.0,4300100.0],[320000.0,4300000.0]]]} | {"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318],[-77.0725293738795,38.83042888342659],[-77.07370685720375,38.83130901341597],[-77.07368071728229,38.83040844313318]]]} |
サポート対象:バッチ、高速、ストリーミング
指定されたスキーマ定義に従って JSON 文字列をパースし、スキーマに含まれないフィールドは無視します。
式のカテゴリー: データ準備、よく使う、文字列、構造体
出力タイプ: Array<AnyType> | Map<String, String> | Struct
引数の値:
json| json | 出力 |
|---|---|
| { "airline": "XB-112", "airport": { "id": "JFK", "miles": 2000 } } | { airline: XB-112, airport: { id: JFK, miles: 2000, }, } |
サポート対象:バッチ、ストリーミング
KML のジオメトリ定義を GeoJSON としてパースします。すべての属性を無視します。この式はすでに抽出されたテキストに対して動作します。この式を使用する前に、ファイルからテキストを抽出してください。
式のカテゴリー: 地理空間
出力タイプ: String | Struct<ok, error>
説明: 基本的なポリゴン。
引数の値:
col| col | 出力 |
|---|---|
| <LineString> <coordinates> -71.1663,42.2614 -71.1667,42.2616 </coordinates> </LineString> | {"type":"LineString","coordinates":[[-71.1663,42.2614],[-71.1667,42.2616]]} |
| <Polygon> <extrude>1</extrude> <altitudeMode>relativeToGround</altitudeMode> <ou... | {"type":"Polygon","coordinates":[[[-122.0848938459612,37.42257124044786,17.0],[-122.0847882750515,37... |
| <Polygon> <extrude>1</extrude> <altitudeMode>relativeToGround</altitudeMode> <ou... | {"type":"Polygon","coordinates":[[[-77.05465973756702,38.87291016281703,100.0],[-77.0531553685479,38... |
| <Point> <coordinates> -71.1663,42.2614 </coordinates> </Point> | {"type":"Point","coordinates":[-71.1663,42.2614]} |
| <MultiGeometry> <Polygon> <outerBoundaryIs> <coordinates> -71.1663,42.2614 -71.1... | {"type":"MultiPolygon","coordinates":[[[[-81.1679,32.2614],[-81.1679,32.28],[-81.1663,32.28],[-81.16... |
サポート対象:バッチ、ストリーミング
KML 文字列を GeoJSON のリストとしてパースし、すべての KML 属性を無視します。
式のカテゴリー: 地理空間
出力タイプ: Array<Geometry> | Struct<ok<Struct<ok, error>>, error>
引数の値:
colsimple| col | 出力 |
|---|---|
| <?xml version="1.0" encoding="utf-8"?> <kml xmlns="http://www.opengis.net/kml/2.2"> <Do... | [ {"coordinates":[[-122.43193945401, 37.801983684521], [-122.431564131101, 37.8020327731402], [-122.43... ] |
サポート対象:バッチ、ストリーミング
指定されたスキーマ定義に従って XML 文字列をパースし、スキーマに含まれないフィールドを無視します。
式のカテゴリー: ファイル操作、構造体
出力タイプ: 構造体
引数の値:
xmlSIMPLE| xml | 出力 |
|---|---|
| <airline> <id>XB-112</id> <airport> <id>JFK</id> <miles>2000</miles> </airport> </airline> | { airport: { id: JFK, miles: 2000, }, id: XB-112, } |
サポート対象:バッチ、ストリーミング
指定された機密情報区分の文字列からパースしたマーキングを返します。この出力は構造体として整形され、構造体の最初の要素は、入力を表す機密情報区分のマーキングで構成される配列です。このリストは、機密情報区分の文字列が無効な場合、またはマーキングのパース中にほかのエラーが発生した場合は null になります。構造体の2番目の要素は、エラーメッセージの文字列です。エラーがない場合、エラーフィールドは null になります。この式は、パフォーマンスのために非同期で呼び出されます。
式のカテゴリー: その他
出力タイプ: Struct<markingIds<Classification>, errors>
サポート対象:バッチ
ISO8601 形式の期間文字列と開始時刻をパースし、指定した時間単位での長さに変換します。
式のカテゴリー: 日時、文字列
出力タイプ: Long
引数の値:
SECONDS出力: 90
サポート対象:バッチ、高速、ストリーミング
さまざまな地域および形式の電話番号をパースし、共通の形式に正規化します。+ 記号の後に地域コードが続く電話番号は、地域が設定されていなくても正しくパースされます。それ以外のすべての番号形式を正しくパースするには、用意されている選択肢から地域を選択する必要があります。パースできない電話番号の場合は null を返します。
式のカテゴリー: 文字列
出力タイプ: 電話番号
説明: 整形された米国の電話番号を返します
引数の値:
phoneNumberE164US| phoneNumber | 出力 |
|---|---|
| (234) 235-5678 | +12342355678 |
| +1 415 5552671 | +14155552671 |
| (415) 5552671 | +14155552671 |
| Whatsapp@14155552671 | +14155552671 |
サポート対象:バッチ、ストリーミング
セマンティックバージョンの文字列を論理型にパースします。リリースバージョン(例:"0.987.0")とプレリリースメタデータを含むバージョン(例:"0.987.0-16-gb3fb285")の両方をサポートします。文字列が期待される形式に一致しない場合は null を返します。
式のカテゴリー: 文字列
出力タイプ: セマンティックバージョン
引数の値:
version| version | 出力 |
|---|---|
| 0.987.0-16-gb3fb285 | { major -> 0, minor -> 987, patch -> 0, prerelease -> [ 16-gb3fb285 ], } |
| 1.0.0-0-g0000000 | { major -> 1, minor -> 0, patch -> 0, prerelease -> [ 0-g0000000 ], } |
| 2.5.3-42-gabc1234 | { major -> 2, minor -> 5, patch -> 3, prerelease -> [ 42-gabc1234 ], } |
| 0.987.0-SNAPSHOT | { major -> 0, minor -> 987, patch -> 0, prerelease -> [ SNAPSHOT ], } |
サポート対象:バッチ、高速、ストリーミング
Well-known binary (WKB) をジオメトリ論理型に変換します。無効な WKB 入力の場合は null を返します。WKB がまだ WGS 84 でない場合は、必要に応じてソース座標系の識別子を指定することで、ソース座標系から WGS 84 に変換できます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
wkb| wkb | 出力 |
|---|---|
| AAAAAAFACAAAAAAAAEAUAAAAAAAA | {"type":"Point","coordinates":[3.0, 5.0]} |
| AIAAAAFACAAAAAAAAEAUAAAAAAAAQAAAAAAAAAA= | {"type":"Point","coordinates":[3.0, 5.0, 2.0]} |
| AAAAAAMAAAABAAAABAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA/8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAA= | {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]} |
| AAAAAAIAAAACAAAAAAAAAAAAAAAAAAAAAD/wAAAAAAAAAAAAAAAAAAA= | {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} |
サポート対象:バッチ、高速、ストリーミング
Well-known text (WKT) 文字列をジオメトリ論理型に変換します。無効な WKT 入力は null として返されます。WKT がまだ WGS 84 でない場合は、任意でソース座標系の識別子を指定し、ソース座標系から WGS 84 に変換できます。
式のカテゴリー: 地理空間
出力タイプ: Geometry
引数の値:
wkt| wkt | 出力 |
|---|---|
| POINT (3.0 5.0 2.0) | {"type":"Point","coordinates":[3.0, 5.0, 2.0]} |
| POLYGON ((0.0 0.0, 1.0 0.0, 0.0 1.0, 0.0 0.0)) | {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0],[0.0,1.0],[0.0,0.0]]]} |
| LINESTRING (0.0 0.0, 1.0 0.0) | {"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]} |
サポート対象:バッチ、ストリーミング
要素の順序を維持しながら、配列を指定されたサイズ以下の連続した配列に分割します。サイズは正の整数である必要があります。配列またはサイズが null の場合、またはサイズが無効な場合は null を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<Array<T>>
引数の値:
出力: [ [ a, b ], [ c, d ], [ e ] ]
サポート対象:バッチ、ストリーミング
地球を球体として近似し、ジオメトリの周長をメートル単位で計算します。ラインストリングまたは点の場合、この値は0になります。
式のカテゴリー: 地理空間
出力タイプ: Double
サポート対象:バッチ、高速
式の正の剰余を返します。
式のカテゴリー: 数値
型変数の制約: T1 に指定できる型: Byte | Integer | Long | Short**T2 に指定できる型: Byte | Integer | Long | Short
出力タイプ: T1
引数の値:
出力: 1
サポート対象:バッチ、高速、ストリーミング
式を指定された指数でべき乗します。いずれかの値が null の場合は null を返します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
出力: 1000.0
サポート対象:バッチ、ストリーミング
ジオメトリ文字列を有効な GeoJSON に変換し、オントロジーへのインデックス化など、下流での使用に向けてジオメトリを準備します。ポリゴンは閉じられ、重複が除去されます。反子午線をまたぐジオメトリ(幅が180度を超えることで判定)は、反子午線の両側にある複数のフィーチャーに分割されます。デフォルトでは、この操作は変換されたジオメトリを返し、文字列を変換できない場合は null を返します。一方、「エラーを表示」出力モードでは、正常にパースされた出力またはエラーの詳細メッセージのいずれかを含む構造体を出力します。
式のカテゴリー: 地理空間
出力タイプ: Geometry | Struct<ok, error>
引数の値:
geometry| geometry | 出力 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[10.0,0.0],[10.0,10.0],[0.0,10.0],[0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[1.0,0.0,1.0],[0.0,1.0,1.0],[0.0,0.0,1.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0,1.0],[0.0,1.0,1.0],[1.0,0.0,1.0],[0.0,0.0,1.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [0.0,1.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[1.0,0.0], [1.0,0.0], [0.0,1.0], [0.0,0.0]]]} | {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[179.0,-30.0],[-179.0,-30.0],[-179.0,30.0],[179.0,30.0],[179.0,-30]]]} | {"type":"MultiPolygon","coordinates":[[[[-180.0,-30.0],[-180.0,30.0],[-179.0,30.0],[-179.0,-30.0],[-180.0,-30.0]]],[[[180.0,30.0],[180.0,-30.0],[179.0,-30.0],[179.0,30.0],[180.0,30.0]]]]} |
| {"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]} | {"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]} |
| {"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]... | {"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[40.0,10.0],[0.0,1.0]... |
| {"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"LineString","coordinates":[[179.0,30.0],[-179.0,30.0]]}]} | {"type":"GeometryCollection","geometries":[{"type":"Point","coordinates":[1.0,0.0]},{"type":"MultiLineString","coordinates":[[[179.0,30.0],[180.0,30.0]],[[-180.0,30.0],[-179.0,30.0]]]}]} |
| {"type":"GeometryCollection","geometries":[{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}... | {"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]]} |
| {"type":"GeometryCollection","geometries":[{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0]],[],[[1.0,1.0],[2.0,1.0]]]},{"type":"MultiPoint","coordinates":[[0.0,0.0],[1.0,1.0]]}]} | {"geometries":[{"coordinates":[[[0.0,0.0],[1.0,0.0]],[[1.0,1.0],[2.0,1.0]]],"type":"MultiLineString"},{"coordinates":[[0.0,0.0],[1.0,1.0]],"type":"MultiPoint"}],"type":"GeometryCollection"} |
| {"type":"MultiPolygon","coordinates":[[[[1.0,1.0],[2.0,1.0],[2.0,2.0],[1.0,2.0],[1.0,1.0]]],[[]],[[[10.0,10.0],[20.0,10.0],[20.0,20.0],[10.0,20.0],[10.0,10.0]]]]} | {"type":"MultiPolygon","coordinates":[[[[1.0,2.0],[2.0,2.0],[2.0,1.0],[1.0,1.0],[1.0,2.0]]],[[[10.0,20.0],[20.0,20.0],[20.0,10.0],[10.0,10.0],[10.0,20.0]]]]} |
サポート対象:バッチ
予測テキストと対象テキストの ROUGE 適合率、再現率、F 値を計算します。テキストは小文字に変換され、ASCII の英字と数字のみが比較されます。それ以外のすべての文字は単語の区切りとして扱われます。いずれかの入力が null の場合、またはスコアラーのサイズ制限を超える場合など、テキストを採点できない場合は null を返します。
式のカテゴリー: 距離測定、文字列
出力タイプ: Struct<precision, recall, fmeasure>
引数の値:
predictionrouge1target| prediction | target | 出力 |
|---|---|---|
| the cat sat | the cat sat | { fmeasure: 1.0, precision: 1.0, recall: 1.0, } |
サポート対象:バッチ、ストリーミング
式を使用して配列要素をリデュースします。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: Array<Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp> | Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp
出力タイプ: T
引数の値:
milesaccumulator, element],| miles | 出力 |
|---|---|
| [ 12300, 12342 ] | 24642 |
サポート対象:バッチ、高速、ストリーミング
正規表現から指定されたグループを抽出します。一致するものが見つからない場合は、空の文字列を返します。
式のカテゴリー: 正規表現、文字列
出力タイプ: 文字列
説明: 最初の一致から先頭の2文字を抽出します。
引数の値:
出力: MT
サポート対象:バッチ、高速、ストリーミング
式が正規表現に一致するかを判定します。正規表現は文字列のどの部分に一致してもかまいません。
式のカテゴリー: 正規表現、文字列
出力タイプ: ブール値
説明: 正規表現パターンを検索できます。
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
指定された式内で正規表現パターンが見つかった位置のインデックス(Unicode コードポイント単位でカウント)の配列を返します。
式のカテゴリー: 正規表現、文字列
出力タイプ: Array<Integer>
説明: 正規表現パターンとそのインデックスを検索できます。
引数の値:
出力: [ 0, 2, 4 ]
サポート対象:バッチ、高速、ストリーミング
式が正規表現に一致するかを判定します。正規表現は文字列全体に一致する必要があります。
式のカテゴリー: 正規表現、文字列
出力タイプ: ブール値
説明: 正規表現パターンとの一致を判定できます
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
正規表現パターンを使用して文字列を置換します。
式のカテゴリー: 正規表現、文字列
出力タイプ: 文字列
引数の値:
tail_number| tail_number | 出力 |
|---|---|
| MT-123 | **-123 |
| XB-434 | **-434 |
| MT-123, XB-434 | **-123, **-434 |
サポート対象:バッチ、ストリーミング
指定されたキーでマップエントリーを削除します。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
map_col| map_col | 出力 |
|---|---|
| { a -> 1, k -> 2, } | { a -> 1, } |
サポート対象:バッチ、高速、ストリーミング
構造体内のフィールドの名前を変更します。
式のカテゴリー: データ準備、構造体
出力タイプ: 構造体
引数の値:
struct| struct | 出力 |
|---|---|
| { airline: { id: NA, }, } | { airline: { identifier: NA, }, } |
| { airline: { id: FE, }, } | { airline: { identifier: FE, }, } |
サポート対象:バッチ、高速、ストリーミング
インデックスに基づいて文字列の右側を抽出します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: world!
サポート対象:バッチ、高速、ストリーミング
文字列列の右側をパディング文字で埋めて、指定された長さにします。文字列の長さが指定された長さより大きい場合は、切り詰められます。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: Hello world!***
サポート対象:バッチ、高速、ストリーミング
数値を「スケール」で指定された小数点以下の桁数に丸めます。
式のカテゴリー: 数値
出力タイプ: Decimal | Double | Float
引数の値:
出力: 10.12
サポート対象:バッチ、高速、ストリーミング
角度の正割を求めます。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesangle| angle | 出力 |
|---|---|
| 0.0 | 1.0 |
| 90.0 | 1.633123935319537E16 |
| 180.0 | -1.0 |
サポート対象:バッチ、高速、ストリーミング
最初の単語の先頭文字を大文字に変換します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: Hello world
サポート対象:バッチ、高速、ストリーミング
開始から終了までの範囲の数値を含む配列を作成します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: Byte | Integer | Long | Short
出力タイプ: Array<T>
説明: 特に指定がない限り、数列は1ずつ増加します。
引数の値:
出力: [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 ]
サポート対象:バッチ
2つの埋め込みベクトルの類似度スコアを返します。
式のカテゴリー: 距離測定、数値
型変数の制約: T に指定できる型: Array<Float>
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
この式は、地球の球体モデルを使用して、指定された許容距離内の点を削除することで GeoJSON ジオメトリを簡略化します。許容距離より小さいループは完全に削除される場合があります。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
GeometryTolerance| Geometry | Tolerance | 出力 |
|---|---|---|
| {"type":"LineString","coordinates":[[30.0,0.0],[35.0,0.0],[40.0,0.0]]} | 1000 | {"type":"LineString","coordinates":[[30.0,0.0],[40.0,0.0]]} |
| {"type":"Polygon","coordinates":[[[-1.0,-1.0],[1.0,-1.0],[1.0,1.0],[0.0,1.0],[-1.0,1.0],[-1.0,-1.0]]]} | 12000 | {"type":"Polygon","coordinates":[[[-1.0,1.0],[1.0,1.0],[1.0,-1.0],[-1.0,-1.0],[-1.0,1.0]]]} |
| {"type":"MultiLineString","coordinates":[[[0.0,0.0],[5.0,0.1],[10.0,0.0]], [[0.0,-5.0],[5.0,0.1],[10.0,5.0]]]} | 12000 | {"type":"MultiLineString","coordinates":[[[0.0,0.0],[10.0,0.0]],[[0.0,-5.0],[10.0,5.0]]]} |
| {"type":"MultiPolygon","coordinates":[[[[-2.0,-2.0],[2.0,-2.0],[2.0,2.0],[0.0,2.1],[-2.0,2.0],[-2.0,... | 12000 | {"type":"MultiPolygon","coordinates":[[[[-2.0,2.0],[2.0,2.0],[2.0,-2.0],[-2.0,-2.0],[-2.0,2.0]], [[1... |
サポート対象:バッチ、高速、ストリーミング
角度の正弦を求めます。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesangle| angle | 出力 |
|---|---|
| 0.0 | 0.0 |
| 90.0 | 1.0 |
| 180.0 | 0.0 |
サポート対象:バッチ、高速、ストリーミング
バイナリ列で指定されたバイト数をスキップします。
式のカテゴリー: バイナリ
出力タイプ: Binary
引数の値:
出力: aQ==
サポート対象:バッチ、高速、ストリーミング
最初の位置から2番目の位置までを切り出した配列を返します。最初の位置は1以上である必要があります。2番目の位置が配列の長さを超える場合は、配列の残りの部分全体を返します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
サポート対象:バッチ、高速
単語の Soundex エンコーディング(発音の表現)を計算します。
式のカテゴリー: 文字列
出力タイプ: String
引数の値:
input_string| input_string | 出力 |
|---|---|
| cat | C300 |
| caat | C300 |
| two | T000 |
| too | T000 |
| to | T000 |
| four | F600 |
| for | F600 |
| fore | F600 |
| fur | F600 |
| meow | M000 |
| me ow | M000 |
サポート対象:バッチ、高速、ストリーミング
指定された正規表現パターンで文字列を分割します。
式のカテゴリー: 文字列
出力タイプ: Array<String>
引数の値:
string| string | 出力 |
|---|---|
| hello | [ hello ] |
| hello world | [ hello, world ] |
| hello there world | [ hello, there world ] |
サポート対象:バッチ、高速、ストリーミング
列の平方根を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
出力: 3.0
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: ブール値、文字列
出力タイプ: Boolean
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
最初の区切り文字の後の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。
式のカテゴリー: 文字列
出力タイプ: String
引数の値:
出力: world
サポート対象:バッチ、高速、ストリーミング
最初の区切り文字の前の文字列を抽出します。一致するものが見つからない場合は、文字列全体を返します。
式のカテゴリー: 文字列
出力タイプ: String
引数の値:
出力: ...
サポート対象:バッチ、高速、ストリーミング
式のカテゴリー: ブール値、文字列
出力タイプ: Boolean
引数の値:
出力: true
サポート対象:バッチ、高速、ストリーミング
部分文字列を抽出します。
式のカテゴリー: 数値
出力タイプ: String
引数の値:
stringstartlength| string | start | length | 出力 |
|---|---|---|---|
| hello, world | 1 | 5 | hello |
| hello, world | 8 | 5 | world |
| hello, world | -5 | 5 | world |
サポート対象:バッチ、高速、ストリーミング
数値とすべての入力列との差を計算します。
式のカテゴリー: 数値
出力タイプ: Numeric
引数の値:
col_b, col_c]col_a| col_a | col_b | col_c | 出力 |
|---|---|---|---|
| 5 | 3 | 2 | 0 |
| 2 | 4 | 0 | -2 |
| -2 | -4 | -2 | 4 |
サポート対象:バッチ、高速、ストリーミング
ある数値から別の数値を減算します。
式のカテゴリー: 数値
出力タイプ: Numeric
引数の値:
col_acol_b| col_a | col_b | 出力 |
|---|---|---|
| 32 | 4 | 28 |
| -5 | -3 | -2 |
サポート対象:バッチ、高速、ストリーミング
「start」より「value」日/週/月/四半期/年前の日付を返します。
式のカテゴリー: 日時
出力タイプ: Date
引数の値:
DAYS出力: 2022-04-03
サポート対象:バッチ、高速、ストリーミング
配列に含まれる要素を合計します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: DefiniteNumeric
出力タイプ: T
引数の値:
出力: 6
サポート対象:バッチ、高速、ストリーミング
角度の正接を求めます。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
degreesangle| angle | 出力 |
|---|---|
| 0.0 | 0.0 |
| 90.0 | 1.633123935319537E16 |
| 180.0 | 0.0 |
サポート対象:バッチ、高速、ストリーミング
スライディングウィンドウによる分割を使用して、一連のテキストセグメントを抽出します。
式のカテゴリー: 文字列
出力タイプ: Array<String>
サポート対象:バッチ
テキストを埋め込みに変換します。
式のカテゴリー: 文字列
出力タイプ: 埋め込みベクトル
説明: 単語「palantir」の埋め込みの例です。
引数の値:
text| text | 出力 |
|---|---|
| palantir | [ -0.019182289, -0.02127992, 0.009529043, -0.008066221, -0.0014429842, 0.019154688, -0.023556953, -0... |
サポート対象:バッチ、高速、ストリーミング
指定された単位でタイムスタンプに値を加算します。
式のカテゴリー: 日時
出力タイプ: Timestamp
引数の値:
MILLISECONDS出力: 2022-02-01T00:00:00.002Z
サポート対象:バッチ、高速、ストリーミング
2つのタイムスタンプの差を指定された時間単位で返します。
式のカテゴリー: 日時
出力タイプ: Long
引数の値:
HOURS出力: 1
サポート対象:バッチ、高速
開始から終了までの範囲のタイムスタンプを含む配列を作成します。
式のカテゴリー: 日時
出力タイプ: Array<Timestamp>
引数の値:
end_timestart_timeDAYS| start_time | end_time | 出力 |
|---|---|---|
| 2023-01-01T00:00:00Z | 2023-01-03T00:00:00Z | [ 2023-01-01T00:00:00Z, 2023-01-02T00:00:00Z, 2023-01-03T00:00:00Z ] |
| 2023-01-01T01:50:00Z | 2023-01-03T00:00:00Z | [ 2023-01-01T01:50:00Z, 2023-01-02T01:50:00Z ] |
サポート対象:バッチ、高速、ストリーミング
指定した単位でタイムスタンプから値を減算します。
式のカテゴリー: 日時
出力タイプ: Timestamp
引数の値:
MILLISECONDS出力: 2022-02-01T23:59:59.998Z
サポート対象:バッチ、高速、ストリーミング
UTC のタイムスタンプをエポックミリ秒に変換します。
式のカテゴリー: 型変換、日時
出力タイプ: Long
引数の値:
出力: 1664614800000
サポート対象:バッチ、高速、ストリーミング
UTC のタイムスタンプをエポック秒に変換します。
式のカテゴリー: 型変換、日時
出力タイプ: Long
引数の値:
出力: 1664614873
サポート対象:バッチ、高速、ストリーミング
各単語の最初の文字を大文字に、残りを小文字に変換します。
式のカテゴリー: 文字列
出力タイプ: String
引数の値:
出力: Hello World
サポート対象:バッチ、ストリーミング
2つの文字列間のトークンセット比率を計算します。トークンセット比率は、2つの文字列がどの程度似ているかを表す指標で、0から1の値を返します。0は2つの文字列間に類似性がないことを意味し、1は同じ文字列であること(または一方が他方の部分文字列であること)を意味します。
式のカテゴリー: 距離測定、文字列
出力タイプ: Double
引数の値:
leftright| left | right | 出力 |
|---|---|---|
| hello world | world hello | 1.0 |
| Hello | hello world | 0.5 |
| hello hello WorlD | hello world | 0.8181818181818181 |
| hello | farewell | 0.46153846153846156 |
| 空の文字列 | 空の文字列 | 1.0 |
サポート対象:バッチ
CPU を使用して音声ファイルを JSON に文字起こしします。
式のカテゴリー: メディア
出力タイプ: String
サポート対象:バッチ
GPU を使用して音声ファイルを JSON に文字起こしします。
式のカテゴリー: メディア
出力タイプ: String
サポート対象:バッチ、高速
音声ファイルをテキストに文字起こしします。
式のカテゴリー: メディア
出力タイプ: String | Struct<ok, error>
サポート対象:バッチ、ストリーミング
式を使用して配列の各要素をマッピングします。配列のインデックスは1から始まることに注意してください。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
flight_numberelement,| flight_number | 出力 |
|---|---|
| [ XB-134, MT-111 ] | [ XB, MT ] |
サポート対象:バッチ、ストリーミング
すべてのキーと値のペアに式を適用して、マップのキーを変換します。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
key,flight_number| flight_number | 出力 |
|---|---|
| { MT-111 -> 2, XB-134 -> 1, } | { MT -> 2, XB -> 1, } |
サポート対象:バッチ
すべてのキーと値のペアに式を適用して、マップの値を変換します。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: AnyType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
value,flight_number| flight_number | 出力 |
|---|---|
| { 1 -> XB-134, 2 -> MT-111, } | { 1 -> XB, 2 -> MT, } |
サポート対象:バッチ、高速、ストリーミング
文字列の先頭と末尾の空白を削除します。空白は、1) Unicode の \p{whitespace} セット、2) Java の String#trim() メソッド、3) Java の Character#isWhitespace() メソッドのいずれかで空白と定義される文字です。
式のカテゴリー: データ準備、文字列
出力タイプ: String
引数の値:
出力: hello world
サポート対象:バッチ、高速
日、週、月、四半期、年の単位で切り捨てた日付を返します。
式のカテゴリー: 日時
出力タイプ: Date
サポート対象:バッチ、高速
指定した単位に切り詰めたタイムスタンプを返します。
式のカテゴリー: 日時
出力タイプ: Timestamp
引数の値:
MILLISECONDS出力: 2022-02-01T10:10:10.002Z
サポート対象:バッチ、高速、ストリーミング
SHA-1 ハッシュ(RFC 4122)を使用して、名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。同じ名前空間と名前からは、常に同じ UUID が生成されます。名前空間が有効な UUID でない場合は null を返します。
式のカテゴリー: 文字列
出力タイプ: String
説明: 名前空間 UUID と名前文字列から決定論的な UUID v5 を生成します。
引数の値:
namenamespace| namespace | name | 出力 |
|---|---|---|
| 6ba7b810-9dad-11d1-80b4-00c04fd430c8 | hello | 9342d47a-1bab-5709-9869-c840b2eac501 |
| 6BA7B810-9DAD-11D1-80B4-00C04FD430C8 | hello | 9342d47a-1bab-5709-9869-c840b2eac501 |
| 6ba7b811-9dad-11d1-80b4-00c04fd430c8 | https://example.com | 4fd35a71-71ef-5a55-a9d9-aa75c889a6d0 |
サポート対象:バッチ、高速、ストリーミング
H3 インデックスを指定された解像度に展開します。入力インデックスの解像度はすべて、要求された解像度以下である必要があります。そうでない場合、このデータ加工は null を返します。入力インデックスのいずれかが無効な場合、このデータ加工は null を返します。出力インデックスは昇順に並べ替えられます。
式のカテゴリー: 地理空間
出力タイプ: Array<H3 Index>
サポート対象:バッチ、高速、ストリーミング
Unicode 標準付属書 #15 に従って Unicode 正規化を実行します。
式のカテゴリー: データ準備、文字列
出力タイプ: 文字列
引数の値:
stringnfkc| string | 出力 |
|---|---|
| 123 | 123 |
| イナゴ | イナゴ |
サポート対象:バッチ、高速、ストリーミング
0から1の間から抽出した一様乱数の列を返します。これは決定論的ではなく、シードを使用しても、ビルドを繰り返したときに同じ結果にはなりません。
式のカテゴリー: 数値
出力タイプ: Double
サポート対象:バッチ、高速、ストリーミング
UUID の列を返します。これは決定論的ではなく、ビルドを繰り返したときに同じ結果にはなりません。ID 列を作成する方法としては推奨されません。SHA-256 や UUID v5 など、決定論的なほかの方法を検討してください。
式のカテゴリー: 文字列
出力タイプ: 文字列
サポート対象:バッチ、高速、ストリーミング
文字列内のすべての文字を大文字に変換します。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
出力: HELLO WORLD
サポート対象:バッチ、高速、ストリーミング
パーセントエンコードされた文字列をプレーンテキストにデコードします。
式のカテゴリー: 型変換、文字列
出力タイプ: 文字列
引数の値:
string| string | 出力 |
|---|---|
| raw_string_with_no_special_characters | raw_string_with_no_special_characters |
| test%2Fapi%3Fstring%3D3 | test/api?string=3 |
サポート対象:バッチ、高速、ストリーミング
URL で送信する文字列をパーセントエンコードします。
式のカテゴリー: 文字列
出力タイプ: 文字列
引数の値:
string| string | 出力 |
|---|---|
| raw_string_with_no_special_characters | raw_string_with_no_special_characters |
| test/api?string=3 | test%2Fapi%3Fstring%3D3 |
サポート対象:バッチ
設定可能なプロンプトで LLM を呼び出します。
式のカテゴリー: 文字列
出力タイプ: Array<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Struct<ok<AnyType> | Boolean | Date | Decimal | Double | Float | Integer | Long | Short | String | Struct | Timestamp, error> | Timestamp
引数の値:
prompt| prompt | 出力 |
|---|---|
| 食事はとてもおいしかったです! | 5 |
サポート対象:バッチ、高速、ストリーミング
キーを使用してマップから値を取得します。
式のカテゴリー: マップ
型変数の制約: K に指定できる型: ComparableType**V に指定できる型: AnyType
出力タイプ: V
引数の値:
出力: Hello
サポート対象:バッチ、高速
null 値には SQL ANSI のセマンティクスを使用して、集計のブール論理積(and)を計算します。
式のカテゴリー: 集計
出力タイプ: ブール値
引数の値:
values入力テーブル:
| values |
|---|
| true |
| false |
| true |
出力: false
サポート対象:バッチ、高速
null 値には SQL ANSI のセマンティクスを使用して、集計のブール論理和(or)を計算します。
式のカテゴリー: 集計
出力タイプ: ブール値
引数の値:
values入力テーブル:
| values |
|---|
| true |
| false |
| true |
出力: true
サポート対象:バッチ
列内の値の近似中央値を計算します。
式のカテゴリー: 集計
出力タイプ: 数値
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3
サポート対象:バッチ
式の近似パーセンタイルを返します。これは、式の値を小さい順に並べたときに、その値以下の式の値の割合が指定された割合を超えない最小の値です。
式のカテゴリー: 集計
出力タイプ: Array<Numeric> | Byte | Decimal | Double | Float | Integer | Long | Short
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3
サポート対象:バッチ、高速、ストリーミング
各グループ内の値を配列として収集します。null 値は無視されます。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: AnyType
出力タイプ: Array<T>
引数の値:
factor入力テーブル:
| factor |
|---|
| 2 |
| 2 |
| 3 |
出力: [ 2, 2, 3 ]
サポート対象:バッチ、高速、ストリーミング
各グループ内の重複を除いた値を配列として収集します。null 値は無視されます。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: ComparableType
出力タイプ: Array<T>
引数の値:
factor入力テーブル:
| factor |
|---|
| 2 |
| 2 |
| 3 |
出力: [ 2, 3 ]
サポート対象:バッチ、ストリーミング
2列の値の母共分散を計算します。
式のカテゴリー: 集計
出力タイプ: Double
引数の値:
leftright入力テーブル:
| left | right |
|---|---|
| 1 | 5 |
| 2 | 4 |
| 3 | 3 |
| 4 | 2 |
| 5 | 1 |
出力: -2.0
サポート対象:バッチ
Geopoint の列と順序を指定すると、指定された順序で Geopoint を接続し、ポリゴンまたはラインストリングを返します。この関数は、データが表形式であり、1行がラインストリング内またはポリゴンの外殻上の個々の Geopoint を表し、それらの点の順序を指定する列があることを前提としています。ポリゴンの場合、この順序は外殻を反時計回りにたどる順序で点を指定する必要があります。これらの点の順序とパーティション(グループ化)を指定すると、この関数は順序指定列の昇順で Geopoint を接続し、そのパーティションに必要なジオメトリを構築します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geo_pointorderLINE_STRING入力テーブル:
| geo_point | order |
|---|---|
| { latitude -> 0.0, longitude -> 0.0, } | 0 |
| { latitude -> 1.0, longitude -> 0.0, } | 1 |
| { latitude -> 1.0, longitude -> 1.0, } | 2 |
出力: {"type":"LineString","coordinates": [[0.0,0.0],[0.0, 1.0],[1.0,1.0]]}
サポート対象:バッチ、高速
ウィンドウパーティション内の行の順位を、欠番なしで返します。同順位の場合、行には同じ順位が割り当てられます。rank と dense_rank の違いは、同順位がある場合でも dense_rank では順位の連番に欠番が生じないことです。
式のカテゴリー: 集計
出力タイプ: Integer
サポート対象:バッチ、高速、ストリーミング
列内の重複を除いた値の件数を計算します。
式のカテゴリー: 集計
出力タイプ: Long
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3
サポート対象:バッチ、高速、ストリーミング
グループ内の最初の項目です。集計または順序のないウィンドウ内で使用した場合、選択される行は非決定論的になることに注意してください。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
values入力テーブル:
| values |
|---|
| null |
| 2 |
| 4 |
| 3 |
出力: null
サポート対象:バッチ、高速
指定された列内のすべての有効なジオメトリの包絡矩形を返します。無効なジオメトリは null として扱われ、無視されます。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry入力テーブル:
| geometry |
|---|
| {"type":"LineString","coordinates":[[1,0],[0,8.4]]} |
| {"type":"Point","coordinates":[125.6, -92.3]} |
| {"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]} |
出力: {"type":"Polygon","coordinates":[[[-6.0,-92.3],[-6.0,8.4],[125.6,8.4],[125.6,-92.3],[-6.0,-92.3]]]}
サポート対象:バッチ
グループ化されたジオメトリを組み合わせて、単一のジオメトリを作成します。
式のカテゴリー: 地理空間
出力タイプ: ジオメトリ
引数の値:
geometry入力テーブル:
| geometry |
|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} |
| {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} |
出力: {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
サポート対象:バッチ
指定された列内のすべての有効なジオメトリを囲む境界ボックス全体を含む構造体を返します。無効なジオメトリは null として扱われ、無視されます。
式のカテゴリー: 地理空間
出力タイプ: LatLonBoundingBox
引数の値:
geometry入力テーブル:
| geometry |
|---|
| {"type":"LineString","coordinates":[[1,0],[0,8.4]]} |
| {"type":"Point","coordinates":[125.6, -92.3]} |
| {"type":"Polygon","coordinates":[[[0,0],[1,6.3],[-6,1],[0,0]]]} |
出力: {
maxLat -> 8.4,
maxLon -> 125.6,
minLat -> -92.3,
minLon -> -6.0,
}
サポート対象:バッチ、高速
ウィンドウ内の前の行、具体的には現在の行から指定された行数だけ前の行で評価された入力式の値を返します。たとえば、遅延が1の場合は現在の行の直前の行の値を返し、遅延が2の場合は2行前の値を返します。これにより、自己結合を使わずに、現在の行の値と前の行の値を比較できます。
この関数には、順序付けされたウィンドウが必要です。ウィンドウの順序によって現在の行より前の行が決まるため、結果を決定論的にするには順序を指定する必要があります。
現在の行がウィンドウの最初の数行以内にある場合など、指定された行数だけ前の行がウィンドウに存在しない場合、関数はデフォルト値を返します。デフォルトが指定されていない場合は null を返します。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
price| price | 出力 |
|---|---|
| 100 | null |
| 105 | 100 |
| 98 | 105 |
| 102 | 98 |
サポート対象:バッチ、高速、ストリーミング
グループ内の最後の項目です。集計または順序付けされていないウィンドウ内で使用した場合、選択される行は非決定論的になることに注意してください。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
| null |
出力: null
サポート対象:バッチ、高速
ウィンドウ内で現在の行から指定された行数だけ後の行の入力式の値を返します。行数は「lead」引数で指定します(デフォルトは1で、直後の行です)。ウィンドウの順序によって現在の行より後の行が決まるため、順序付けされたウィンドウが必要です。
式のカテゴリー: 集計
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
引数の値:
price| price | 出力 |
|---|---|
| 100 | 105 |
| 105 | 98 |
| 98 | 102 |
| 102 | null |
サポート対象:バッチ
グループ内の null でないペアに対する線形回帰直線の傾きを返します。null でないペアが不足している場合、または独立変数の分散がゼロの場合は null を返します。
式のカテゴリー: 集計
出力タイプ: Double
引数の値:
leftright入力テーブル:
| left | right |
|---|---|
| 1 | 5 |
| 2 | 4 |
| 3 | 3 |
| 4 | 2 |
| 5 | 1 |
出力: -1.0
サポート対象:バッチ、高速、ストリーミング
列内の最大値を計算します。
式のカテゴリー: 数値
出力タイプ: ComparableType
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 4
サポート対象:ストリーミング
この式は、指定されたフィルター条件を適用した後、最大値を求める列の式に基づいて最大値の行を計算します。最大値の行が存在しない場合は null を返します。
式のカテゴリー: 集計
出力タイプ: AnyType
引数の値:
salarysalarysalary,入力テーブル:
| dep_name | salary |
|---|---|
| develop | 9900 |
| develop | 4000 |
| develop | 3000 |
出力: 4000
サポート対象:バッチ、高速、ストリーミング
列内の値の平均値を計算します。
式のカテゴリー: 数値
出力タイプ: Decimal | Double
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3.0
サポート対象:バッチ、高速
列内の値の中央値を計算します。
式のカテゴリー: 数値
出力タイプ: Decimal | Double
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3.0
サポート対象:バッチ、高速、ストリーミング
列内の最小値を計算します。
式のカテゴリー: 数値
出力タイプ: ComparableType
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 2
サポート対象:ストリーミング
この式は、指定されたフィルター条件を適用した後、最小値を求める列の式に基づいて最小値の行を計算します。最小値の行が存在しない場合は null を返します。
式のカテゴリー: 集計
出力タイプ: AnyType
引数の値:
salarysalarysalary,入力テーブル:
| dep_name | salary |
|---|---|
| develop | -999 |
| develop | 4000 |
| develop | 3000 |
出力: 3000
サポート対象:バッチ、高速
列内の値の最頻値を計算します。
式のカテゴリー: 集計
型変数の制約: Any に指定できる型: Binary | Boolean | Byte | Date | Decimal | Double | Float | Integer | Long | Short | String | Timestamp
出力タイプ: Any
引数の値:
values入力テーブル:
| values |
|---|
| a |
| b |
| b |
| b |
| c |
| c |
| d |
出力: b
サポート対象:バッチ、高速
ウィンドウのパーティション内の行のパーセンタイルを返します。同順位には同じパーセント値が割り当てられます。
式のカテゴリー: 集計
出力タイプ: Double
サポート対象:ストリーミング
ピボットのコンテキストで集計式を適用します。集計は、ピボット式の異なる値ごとに範囲を限定した個別の集計として実行されます。出力は、ピボット値から集計式の値へのマップです。
式のカテゴリー: 集計
型変数の制約: K に指定できる型: ComparableType**V に指定できる型: AnyType
出力タイプ: Map<K, V>
引数の値:
value,pivot入力テーブル:
| pivot | value |
|---|---|
| a | 1 |
| b | 2 |
| a | 3 |
出力: {
a -> 4,
b -> 2,
}
サポート対象:バッチ
すべての入力列の積を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
factor入力テーブル:
| factor |
|---|
| 2 |
| 4 |
| 3 |
出力: 24.0
サポート対象:バッチ、高速
ウィンドウパーティション内の行の順位を返します。同順位の場合、それらの行には同じ順位が付けられます。rank と dense_rank の違いは、rank では同順位があると順位の連番に欠番が生じることです。
式のカテゴリー: 集計
出力タイプ: Integer
サポート対象:バッチ、高速、ストリーミング
グループ内の null ではない行の件数を数えます。
式のカテゴリー: 集計
出力タイプ: Long
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 3
サポート対象:バッチ、高速、ストリーミング
各パーティション内で1から始まる連番を返します。
式のカテゴリー: 集計
出力タイプ: Integer
サポート対象:バッチ、ストリーミング
2列の値の標本共分散を計算します。
式のカテゴリー: 集計
出力タイプ: Double
引数の値:
leftright入力テーブル:
| left | right |
|---|---|
| 1 | 5 |
| 2 | 4 |
| 3 | 3 |
| 4 | 2 |
| 5 | 1 |
出力: -2.5
サポート対象:バッチ、高速、ストリーミング
列の値の標本分散を計算します。
式のカテゴリー: 集計
出力タイプ: Double
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 2 |
| 3 |
出力: 0.33333333333
サポート対象:バッチ、高速
列の値の標準偏差を計算します。
式のカテゴリー: 数値
出力タイプ: Double
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 0.81649658092773
サポート対象:バッチ、高速、ストリーミング
指定された式の合計を計算します。
式のカテゴリー: 数値
出力タイプ: Decimal | Double | Long
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 9
サポート対象:バッチ、高速、ストリーミング
列の値の母分散を計算します。
式のカテゴリー: 集計
出力タイプ: Double
引数の値:
values入力テーブル:
| values |
|---|
| 2 |
| 4 |
| 3 |
出力: 0.66666666667
サポート対象:バッチ、高速、ストリーミング
配列を値ごとに1行に展開します。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: T
サポート対象:バッチ、ストリーミング
配列を値ごとに1行に展開し、配列内の要素の相対位置と要素自体を含む構造体にします。
式のカテゴリー: 配列
型変数の制約: T に指定できる型: AnyType
出力タイプ: Struct<Optional[position], Optional[element]>
引数の値:
array入力テーブル:
| array |
|---|
| [ one, two, three ] |
| [ four, five ] |
期待される出力テーブル: | array |
| ----- |
| {
element -> one,
position -> 1,
} |
| {
element -> two,
position -> 2,
} |
| {
element -> three,
position -> 3,
} |
| {
element -> four,
position -> 1,
} |
| {
element -> five,
position -> 2,
} |
サポート対象:バッチ、ストリーミング
マップをキーと値のペアごとに1行に展開します。
式のカテゴリー: マップ
型変数の制約: TKey に指定できる型: AnyType**TValue に指定できる型: AnyType
出力タイプ: Struct<Optional[key], Optional[value]>
引数の値:
map入力テーブル:
| map |
|---|
| { 1 -> val1, 2 -> val2, } |
| { 3 -> val3, 4 -> val4, } |
期待される出力テーブル: | map |
| ----- |
| {
key -> 1,
value -> val1,
} |
| {
key -> 2,
value -> val2,
} |
| {
key -> 3,
value -> val3,
} |
| {
key -> 4,
value -> val4,
} |
サポート対象:バッチ、高速
入力データセットを指定した列でグループ化し、指定した集計を実行します。
データ加工のカテゴリー:集計、よく使う
引数の値:
factor,tail_number]入力:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| XB-123 | foundry airline | 1134 | 3 |
出力:
| tail_number | factor |
|---|---|
| XB-123 | 10 |
| MT-222 | 9 |
| KK-452 | 1 |
サポート対象:バッチ、高速
条件文に基づいて式を集計します。
データ加工のカテゴリー:集計、よく使う
サポート対象:ストリーミング
ウィンドウ内のデータに対して指定した集計を実行し、指定したトリガーに従って出力を発行します。
データ加工のカテゴリー:集計
サポート対象:バッチ、高速
左右の入力データセットをアンチ結合し、指定した条件に一致するすべての行を左側のリレーションから除外します。
データ加工のカテゴリー:結合
引数の値:
tail_number,tail_number,入力:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
出力:
| tail_number | airline |
|---|---|
| PA-452 | new air |
サポート対象:バッチ、高速、ストリーミング
単一の式を適用して入力データセットを加工します。
データ加工のカテゴリー:よく使う
引数の値:
miles,mile,kilometer,入力:
| airline | miles |
|---|---|
| foundry airways | 2500 |
| new air | 3000 |
出力:
| kilometers | airline | miles |
|---|---|---|
| 4023.36 | foundry airways | 2500 |
| 4828.03 | new air | 3000 |
サポート対象:バッチ、高速、ストリーミング
列を選択するか、列に関数を適用して入力データセットを加工します。
データ加工のカテゴリー:よく使う
引数の値:
airline,入力:
| airline | miles |
|---|---|
| foundry airways | 2500 |
| new air | 3000 |
出力:
| airline |
|---|
| foundry airways |
| new air |
サポート対象:ストリーミング
ウィンドウで収集された行のバッチに、指定した操作を適用します。この操作は、ウィンドウ内の行を受け取り、出力行を生成します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速、ストリーミング
列を選択するか、列に関数を適用して入力データセットを加工します。
データ加工のカテゴリー:よく使う
サポート対象:バッチ、高速
配列から要素を抽出して列にします。
データ加工のカテゴリー:配列
引数の値:
stats入力:
| stats |
|---|
| [ 1000, 2 ] |
出力:
| miles | id | stats |
|---|---|---|
| 1000 | 2 | [ 1000, 2 ] |
サポート対象:ストリーミング
入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプが null であるレコードを除外します。
データ加工のカテゴリー:その他
引数の値:
timestamp入力:
| timestamp | temperature | sensor_id |
|---|---|---|
| 1969-12-31T23:59:50Z | 28 | sensor_1 |
| 1969-12-31T23:59:40Z | 30 | sensor_2 |
| 1969-12-31T23:59:35Z | 29 | sensor_1 |
出力:
| timestamp | temperature | sensor_id |
|---|---|---|
| 1969-12-31T23:59:50Z | 28 | sensor_1 |
| 1969-12-31T23:59:40Z | 30 | sensor_2 |
| 1969-12-31T23:59:35Z | 29 | sensor_1 |
サポート対象:バッチ、高速
パーティション数を減らす操作です。1000個のパーティションを100個にコアレスする場合、シャッフルは発生せず、代わりに新しい100個のパーティションそれぞれが、現在のパーティションを10個ずつ引き受けます。現在より多いパーティション数を指定した場合、パーティション数は現在のまま変わりません。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速
新しい行に対して式を計算します。特定のキーの値は、ビルドをまたいでも1回だけ計算されます。
データ加工のカテゴリー:その他
サポート対象:バッチ
メディアセット内のメディアアイテムの Media Reference と基本メタデータを含むデータセットを生成します。
データ加工のカテゴリー:ファイル操作、メディア
サポート対象:バッチ、高速
左側と右側の入力データセットをクロス結合し、それぞれの側のすべての行を、もう一方の側のすべての行と照合します。出力は2つのデータセットの直積です。
データ加工のカテゴリー:結合
引数の値:
インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| PA-452 | new air | 212 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
出力:
| tail_number | airline | home_airport |
|---|---|---|
| XB-123 | foundry air | LHR |
| XB-123 | foundry air | CPH |
| XB-123 | foundry air | JFK |
| XB-123 | foundry air | IAD |
| MT-222 | new airline | LHR |
| MT-222 | new airline | CPH |
| MT-222 | new airline | JFK |
| MT-222 | new airline | IAD |
| PA-452 | new air | LHR |
| PA-452 | new air | CPH |
| PA-452 | new air | JFK |
| PA-452 | new air | IAD |
サポート対象:バッチ
指定された列の日付またはタイムスタンプの分布を計算します。
データ加工のカテゴリー:日時
サポート対象:バッチ
gzip 圧縮されたファイルのデータセット内の各ファイルを解凍します。ファイルのアーカイブを展開するデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ
tar ファイルのデータセット内の各ファイルを解凍します。tar ファイルを展開するデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速、ストリーミング
指定された列を削除して入力データセットを加工します。
データ加工のカテゴリー:よく使う
引数の値:
miles}入力:
| airline | miles | airports |
|---|---|---|
| foundry airways | 3000 | [ JFK, SFO ] |
出力:
| airline | airports |
|---|---|
| foundry airways | [ JFK, SFO ] |
サポート対象:バッチ、高速
入力から重複する行を削除します。
データ加工のカテゴリー:その他
引数の値:
tail_number}入力:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| XB-123 | foundry airline | 1134 | 3 |
出力:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| KK-452 | new air | 222 | 1 |
サポート対象:バッチ
空のファイルを作成します。
データ加工のカテゴリー:その他
サポート対象:バッチ、ストリーミング
指定されたスキーマとスナップショット読み取りモードで、空のメディアセットファイルを作成します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速、ストリーミング
指定されたスキーマと読み取りモードで、空のテーブルを作成します。
データ加工のカテゴリー:その他
引数の値:
インプット:
出力:
| flight_code | flight_number | airline |
|---|
サポート対象:バッチ、高速
ファイルのデータセットからファイルメタデータを行として読み取ります。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速
構造体から複数のフィールドを抽出します。元の構造体は削除されます。
データ加工のカテゴリー:構造体
引数の値:
raw入力:
| raw |
|---|
| { airline: { id: NA, name: new air, }, tail_no: NA-123, } |
| { airline: { id: FA, name: foundry airways, }, tail_no: FA-123, } |
出力:
| airline | tail_number |
|---|---|
| new air | NA-123 |
| foundry airways | FA-123 |
サポート対象:バッチ
ファイルのデータセットを読み取り、各 CSV ファイルをパースして行に変換します。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ
ファイルのデータセットを読み取り、各 GeoJSON ファイルをパースして行に変換します。出力データセットには、_error 列と _file 列に加えて、ジオメトリ列と、ユーザーが指定した各プロパティの列が含まれます。抽出するプロパティをユーザーが指定しない場合は、properties 構造体全体が文字列として properties 列に抽出されます。ファイル内のすべての GeoJSON は、次のいずれかである必要があります。 a) 複数行の FeatureCollection:ファイル全体に FeatureCollection 型の GeoJSON が1つ含まれます。 b) 単一行の Feature:ファイルの各行が、完全に有効な Feature 型の GeoJSON です。
データ加工のカテゴリー:ファイル操作、地理空間
サポート対象:バッチ
ファイルのデータセットを読み取り、各 JSON ファイルをパースして行に変換します。
データ加工のカテゴリー:ファイル操作、文字列、構造体
サポート対象:バッチ
メールファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。サポートされているファイル拡張子は .eml、.emltpl、および .msg です。
データ加工のカテゴリー:ファイル操作、メディア
サポート対象:バッチ
テキストファイルのデータセットを読み取り、各ファイルをパースして1行に変換します。
データ加工のカテゴリー:ファイル操作、文字列
サポート対象:バッチ
Microsoft Excel ファイルのデータセットを読み込み、各ファイルを行にパースします。サポートされるファイル形式: .xls, .xlt, .xltm, .xltx, .xlsx, .xlsm。
個々の Excel ファイルの処理は複数の Spark エグゼキューターに分散されないため、入力データセットに含まれるファイルがちょうど1個になると想定される場合は、ビルド設定でローカル Spark の使用を有効にすることを推奨します。
特に大きな Excel ファイルの処理には大量のメモリーが必要になることがあるため、メモリー不足エラーによってビルドに失敗する場合は、エグゼキューターのメモリー(ローカル Spark の場合はドライバーのメモリー)を増やしたカスタムビルド設定の使用を検討してください。このような大きなファイルでは、出力をプレビューできない場合がありますが、適切なビルド設定を使用すればデプロイには成功する可能性があります。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ
ファイルのデータセットを読み込み、各 XML ファイルを行にパースします。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ
ファイルのデータセットを読み込み、各シェープファイルを行にパースします。.shp、.shx、.dbf ファイル以外のファイルはすべて無視されます。このシェープファイルパーサーは、ポイント、ポリライン、ポリゴン、マルチポイントのジオメトリタイプのみをサポートします。出力データセットには、_error 列と _file 列に加えて、ジオメトリ列と、ユーザーが指定したプロパティごとの列が含まれます。抽出するプロパティをユーザーが指定しない場合は、プロパティの構造体全体が文字列として properties 列に抽出されます。プロパティ名と値のエンコーディングは UTF-8 のみサポートされます(別のエンコーディングを指定する .cpg ファイルが存在しても無視されます)。
データ加工のカテゴリー:ファイル操作、地理空間
サポート対象:バッチ、高速、ストリーミング
指定されたフィルター条件に基づいて入力データセットを絞り込みます。
データ加工のカテゴリー:データ準備、よく使う
引数の値:
recently_serviced入力:
| recently_serviced | tail_number |
|---|---|
| true | KK-150 |
| false | XB-120 |
| true | MT-190 |
出力:
| recently_serviced | tail_number |
|---|---|
| true | KK-150 |
| true | MT-190 |
サポート対象:バッチ
ファイルのデータセットを絞り込みます。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速
最初のデータセットの列に基づいてデータセットの和集合を作成し、列が存在しない場合は null を追加します。最初のデータセットに存在しない列は削除されます。
データ加工のカテゴリー:結合
引数の値:
入力:
ri.foundry.main.dataset.a
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
ri.foundry.main.dataset.b
| recently_serviced | tail_number | home_country |
|---|---|---|
| true | AA-200 | US |
| true | BN-435 | UK |
| true | BN-111 | UK |
出力:
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
| true | AA-200 | null |
| true | BN-435 | null |
| true | BN-111 | null |
サポート対象:バッチ、高速、ストリーミング
構造体内のすべてのフィールドを、出力データセットの列に変換します。
データ加工のカテゴリー:構造体
引数の値:
raw入力:
| raw |
|---|
| { airline: { id: NA, name: new air, }, tail_no: NA-123, } |
| { airline: { id: FA, name: foundry airways, }, tail_no: FA-123, } |
出力:
| new_airline_name | new_airline_id | new_tail_no | raw |
|---|---|---|---|
| new air | NA | NA-123 | { airline: { id: NA, name: new air, }, tail_no: NA-123, } |
| foundry airways | FA | FA-123 | { airline: { id: FA, name: foundry airways, }, tail_no: FA-123, } |
サポート対象:バッチ
頻出パターン(FP)成長法は、データセット内で頻出するパターンを検出します。
データ加工のカテゴリー:集計、その他
引数の値:
customer_attributes入力:
| customer_attributes |
|---|
| [ age_group: 20-30, country: Germany, gender: Female ] |
| [ age_group: 20-30, country: Germany, gender: Male ] |
出力:
| pattern | pattern_occurrence | total_count |
|---|---|---|
| [ country: Germany, age_group: 20-30 ] | 2 | 2 |
| [ age_group: 20-30 ] | 2 | 2 |
| [ country: Germany ] | 2 | 2 |
サポート対象:バッチ
入力ジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。内部では、結合前にジオメトリを指定された投影座標系に変換し、その後 WGS84 に戻します。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryCol)入力:
ri.foundry.main.dataset.left
| geometryColLhs | lhs-1 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 |
| {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 |
| {"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"} | 44.0 |
ri.foundry.main.dataset.right
| geometryCol | col1 | arrayCol |
|---|---|---|
| {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | rhsVal1 | [ 0.0, 1.0 ] |
| {"coordinates": [[[21.0, 21.0], [27.0, 21.0], [27.0, 27.0], [21.0, 27.0], [21.0, 21.0]]], "type": "Polygon"} | rhsVal2 | [ 0.0, 1.0 ] |
出力:
| geometryColLhs | lhs-1 | rhs_geometryCol | rhs_arrayCol |
|---|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | [ 0.0, 1.0 ] |
| {"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"} | 44.0 | {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | [ 0.0, 1.0 ] |
サポート対象:バッチ
入力ジオメトリ間の距離が指定された距離以下の場合に、データセットを左結合します。内部では、結合の前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryColRhs)インプット:
ri.foundry.main.dataset.left
| geometryColLhs | lhs-1 |
|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 |
| null | 43.0 |
ri.foundry.main.dataset.right
| geometryColRhs | rhs-1 |
|---|---|
| {"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"} | rhsVal1 |
| {"coordinates": [-112.11796760559083,33.440895931474124], "type":"Point"} | rhsVal2 |
アウトプット:
| geometryColLhs | lhs-1 | geometryColRhs | rhs-1 |
|---|---|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"} | rhsVal1 |
| null | 43.0 | null | null |
サポート対象:バッチ、ストリーミング
入力ジオメトリが重なるかどうかに基づいて、左右のデータセットを内部結合します。接しているだけのジオメトリも結果に含まれます。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryColRhs)インプット:
ri.foundry.main.dataset.left
| geometryColLhs | col1Lhs |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 |
ri.foundry.main.dataset.right
| geometryColRhs | col1Rhs |
|---|---|
| {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"} | rhsVal2 |
| {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"coordinates": [15.0, 15.0], "type":"Point"} | rhsVal4 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal6 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal8 |
| {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
| {"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal10 |
アウトプット:
| geometryColLhs | col1Lhs | geometryColRhs | col1Rhs |
|---|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
サポート対象:ストリーミング
入力ジオメトリが重なるかどうかに基づいて、入力データセットをアンチ結合します。左側のデータセットから、右側のデータセットのどのジオメトリとも積集合を持たないジオメトリの行のみを返します。結合キーが null または無効な行は、積集合を持たないものと見なされます。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryColRhs)インプット:
ri.foundry.main.dataset.left
| geometryColLhs | col1Lhs |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 |
| {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 |
ri.foundry.main.dataset.right
| geometryColRhs | col1Rhs |
|---|---|
| {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"} | rhsVal2 |
| {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"coordinates": [15.0, 15.0], "type":"Point"} | rhsVal4 |
アウトプット:
| geometryColLhs | col1Lhs |
|---|---|
| {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 |
サポート対象:バッチ、ストリーミング
入力ジオメトリが重なっているかどうかに基づいて、入力データセットを左結合します。接しているだけのジオメトリも結果に含まれます。null または無効なジオメトリは一致を返しません。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryColRhs)インプット:
ri.foundry.main.dataset.left
| geometryColLhs | col1Lhs |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 |
| {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 |
ri.foundry.main.dataset.right
| geometryColRhs | col1Rhs |
|---|---|
| {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"} | rhsVal2 |
| {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"coordinates": [15.0, 15.0], "type":"Point"} | rhsVal4 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal6 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal8 |
| {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
| {"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal10 |
アウトプット:
| geometryColLhs | col1Lhs | geometryColRhs | col1Rhs |
|---|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
| {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 | null | null |
サポート対象:バッチ
ポイントジオメトリ間の距離に基づいて、左側と右側のデータセットを内部結合します。ジオメトリはポイントを表す必要があり、任意で z 座標を含めることができます。内部的には、結合前にジオメトリを指定された投影座標系に変換し、結合後に WGS84 に戻します。ポイント以外のジオメトリは無視され、右側のデータセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターで、近傍データセット内の最大400万個のポイントを処理できるはずです。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryCol)インプット:
ri.foundry.main.dataset.left
| geometryColLhs | lhs-1 |
|---|---|
| {"coordinates": [0.0, 0.0, 0.0], "type":"Point"} | 42.0 |
| {"coordinates": [0.0, 0.0, 5.0], "type":"Point"} | 43.0 |
| {"coordinates": [0.0, 0.0], "type":"Point"} | 44.0 |
ri.foundry.main.dataset.right
| geometryCol | col1 | arrayCol |
|---|---|---|
| {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | rhsVal1 | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 1.0], "type":"Point"} | rhsVal2 | [ 0.0, 1.0 ] |
アウトプット:
| geometryColLhs | lhs-1 | rhs_geometryCol | rhs_arrayCol |
|---|---|---|---|
| {"coordinates": [0.0, 0.0, 0.0], "type":"Point"} | 42.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 0.0, 0.0], "type":"Point"} | 42.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 0.0, 5.0], "type":"Point"} | 43.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 0.0, 5.0], "type":"Point"} | 43.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 0.0], "type":"Point"} | 44.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] |
| {"coordinates": [0.0, 0.0], "type":"Point"} | 44.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] |
サポート対象:バッチ
入力ジオメトリが重なっているかどうかに基づいて、左右のデータセットを内部結合します。結合キーの列ペアに交差するジオメトリがある場合、両方のデータセットのすべての列を含む行を返します。現在、複数の結合キーでの結合には対応していません。結合キーのジオメトリ値が null の場合は、通知せずに除外します。左右のデータセットに同じ列名があってはなりません。結合列の無効な GeoJSON は、通知せずに null に変換します。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryColLhs, geometryColRhs)]入力:
ri.foundry.main.dataset.left
| geometryColLhs | lhs-1 |
|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 |
ri.foundry.main.dataset.right
| geometryColRhs | rhs-1 |
|---|---|
| {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"} | rhsVal2 |
| {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"coordinates": [15.0, 15.0], "type":"Point"} | rhsVal4 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal6 |
| {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"} | rhsVal8 |
| {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
| {"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal10 |
出力:
| geometryColLhs | lhs-1 | geometryColRhs | rhs-1 |
|---|---|---|---|
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 |
| {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,10.0],[10.0,10.0],[10.0,0.0],[0.0,0.0]]]} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |
サポート対象:バッチ
基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryCol, geometryCol)入力:
ri.foundry.main.dataset.left
| geometryCol | lhsCol |
|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 |
ri.foundry.main.dataset.right
| geometryCol | col |
|---|---|
| { latitude: 33.440609443703586, longitude: -112.14843750000001, } | rhsVal1 |
| { latitude: 33.44082430962016, longitude: -112.14560508728029, } | rhsVal2 |
| { latitude: 33.440895931474124, longitude: -112.11796760559083, } | rhsVal3 |
出力:
| geometryCol | lhsCol | rhs_geometryCol | rhs_col |
|---|---|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | { latitude: 33.440609443703586, longitude: -112.14843750000001, } | rhsVal1 |
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | { latitude: 33.44082430962016, longitude: -112.14560508728029, } | rhsVal2 |
サポート対象:バッチ
基本データセットの有効な入力ジオメトリごとに、近傍データセットから最も近い k 個の点を選択します。内部で入力データセットを指定された座標参照系に変換し、その後 WGS84 に戻します。近傍データセット全体がドライバーとエグゼキューターのメモリーに収まる必要があります。3 GB のエグゼキューターであれば、近傍データセット内の最大100万個の点を処理できるはずです。
データ加工のカテゴリー:地理空間、結合
引数の値:
geometryCol, geometryCol)入力:
ri.foundry.main.dataset.left
| geometryCol | lhsCol |
|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 |
ri.foundry.main.dataset.right
| geometryCol | col |
|---|---|
| { latitude: 33.440609443703586, longitude: -112.14843750000001, } | rhsVal1 |
| { latitude: 33.44082430962016, longitude: -112.14560508728029, } | rhsVal2 |
| { latitude: 33.440895931474124, longitude: -112.11796760559083, } | rhsVal3 |
出力:
| geometryCol | lhsCol | rhs_geometryCol | rhs_col |
|---|---|---|---|
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | { latitude: 33.440609443703586, longitude: -112.14843750000001, } | rhsVal1 |
| {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | { latitude: 33.44082430962016, longitude: -112.14560508728029, } | rhsVal2 |
サポート対象:バッチ
データセット内のファイルの Media Reference と基本的なメタデータを含むデータセットを生成します。
データ加工のカテゴリー:ファイル操作
サポート対象:ストリーミング
キーの組み合わせごとに、設定可能な時間にわたってレコードが確認されていないことを検出します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速
2個のデータセットを結合し、指定された条件を満たす行のみを各テーブルから保持します。
データ加工のカテゴリー:結合
引数の値:
tail_number,tail_number,インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
出力:
| tail_number | airline | home_airport |
|---|---|---|
| XB-123 | foundry air | LHR |
| MT-222 | new airline | CPH |
| XB-123 | foundry airline | LHR |
| MT-222 | new air | CPH |
| KK-452 | new air | JFK |
| XB-123 | foundry airline | LHR |
サポート対象:バッチ、高速、ストリーミング
左右の入力データセットを結合します。
データ加工のカテゴリー:結合
サポート対象:バッチ
K-means クラスタリングは、教師なし機械学習アルゴリズムです。データセットのベクトルを k 個のクラスターにグループ化します。k の値は、最小 k 以上、最大 k 以下の指定範囲で最良のシルエットスコアを計算して決定します。k 値の数は、境界値を含むこの範囲内で試す k 値の数を定義します。
データ加工のカテゴリー:その他
引数の値:
feature_column入力:
| feature_column |
|---|
| [ 0.05, 3.1, 2.3 ] |
| [ 1.0, 3.1, 2.3 ] |
| [ 1.0, 3.5, 2.3 ] |
| [ 19.0, 12.3, -1.4 ] |
出力:
| feature_column | cluster_id |
|---|---|
| [ 1.0, 3.1, 2.3 ] | 0 |
| [ 1.0, 3.5, 2.3 ] | 0 |
| [ 19.0, 12.3, -1.4 ] | 1 |
| [ 0.05, 3.1, 2.3 ] | 2 |
サポート対象:バッチ
距離尺度に基づき、左側のデータセットの各行に対して、右側のデータセットから最も近い k 行を返します。
データ加工のカテゴリー:結合
引数の値:
airline,fuzzy_airline,インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| PA-452 | new air | 212 | 2 |
ri.foundry.main.dataset.right
| fuzzy_airline | home_airport |
|---|---|
| air | LHR |
| new airline | CPH |
| new plane | JFK |
| old air | IAD |
出力:
| rank | distance | tail_number | airline | fuzzy_airline | home_airport |
|---|---|---|---|---|---|
| 1 | 3 | PA-452 | new air | old air | IAD |
| 2 | 4 | PA-452 | new air | air | LHR |
| 2 | 4 | PA-452 | new air | new airline | CPH |
| 2 | 4 | PA-452 | new air | new plane | JFK |
| 1 | 0 | MT-222 | new airline | new airline | CPH |
| 2 | 4 | MT-222 | new airline | new plane | JFK |
| 1 | 5 | XB-123 | foundry air | old air | IAD |
| 2 | 8 | XB-123 | foundry air | air | LHR |
サポート対象:バッチ、高速
入力から重複する行を保持します。
データ加工のカテゴリー:その他
引数の値:
tail_number}入力:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| XB-123 | foundry airline | 1134 | 3 |
出力:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| XB-123 | foundry airline | 1134 | 3 |
サポート対象:ストリーミング
指定されたキー列に基づいて入力にキーを設定します。これによってデータが再度並べ替えられるわけではなく、キーを設定した時点以降のキーごとの順序のみが維持されることに注意してください。データのキーを再設定すると、安全でない場合があります。新しいキーが設定されたデータが特定の順序に依存していた場合、その順序が以前のキー設定ですでに維持されていなければ、順序を保証できないためです。また、cdc(変更データキャプチャ)モードが有効な場合は、主キーも設定します。主キーは、現在の状態を表すビューとして読み取る際に、どの行が更新や削除に該当するか、およびその順序を示す列を定義します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速
2個のデータセットを結合し、左側のテーブルのすべての行と、右側のテーブルの指定された条件を満たす行のみを保持します。
データ加工のカテゴリー:結合
引数の値:
tail_number,tail_number,インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
アウトプット:
| tail_number | airline | home_airport |
|---|---|---|
| XB-123 | foundry air | LHR |
| MT-222 | new airline | CPH |
| XB-123 | foundry airline | LHR |
| MT-222 | new air | CPH |
| KK-452 | new air | JFK |
| PA-452 | new air | null |
| XB-123 | foundry airline | LHR |
サポート対象:ストリーミング
2個のデータセットを結合し、左側のテーブルのすべての行と、右側のデータセットの一致する行のみを保持します。
データ加工のカテゴリー:結合
引数の値:
tail_number, tail_number)]インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
アウトプット:
| tail_number | airline | home_airport |
|---|---|---|
| XB-123 | foundry air | LHR |
| MT-222 | new airline | CPH |
| XB-123 | foundry airline | LHR |
| MT-222 | new air | CPH |
| KK-452 | new air | JFK |
| PA-452 | new air | null |
| XB-123 | foundry airline | LHR |
サポート対象:バッチ、高速、ストリーミング
手動で入力したテーブルデータを使用して出力を作成します。
データ加工のカテゴリー:その他
引数の値:
インプット:
アウトプット:
| flight_code | flight_number | airline |
|---|---|---|
| 112 | XB-123 | foundry airlines |
| 533 | MT-444 | foundry airlines |
| 934 | KK-123 | new air |
サポート対象:バッチ、高速
ソースデータセットの対象列の値を、マッピングデータセットの値に置き換えます。
データ加工のカテゴリー:結合
型変数の制約: T1 に指定できる型: AnyType**T2 に指定できる型: AnyType
引数の値:
flight_codeflight_no, next_flight]flight_numberインプット:
ri.foundry.main.dataset.input
| flight_no | next_flight | departure_time |
|---|---|---|
| 533 | 112 | 2022-01-20T10:45:00Z |
| 934 | 533 | 2022-01-20T11:20:00Z |
| 222 | 934 | 2022-01-20T11:20:00Z |
ri.foundry.main.dataset.mapping
| flight_code | flight_number | airline |
|---|---|---|
| 112 | XB-123 | foundry airlines |
| 533 | MT-444 | foundry airlines |
| 934 | KK-123 | new air |
アウトプット:
| flight_no | next_flight | departure_time |
|---|---|---|
| MT-444 | XB-123 | 2022-01-20T10:45:00Z |
| KK-123 | MT-444 | 2022-01-20T11:20:00Z |
| unknown | KK-123 | 2022-01-20T11:20:00Z |
サポート対象:バッチ、高速
データセットの列名の積集合に基づいて和集合を作成します。すべての入力データセットに存在するわけではない列は削除されます。
データ加工のカテゴリー:結合
引数の値:
インプット:
ri.foundry.main.dataset.a
| recently_serviced | tail_number |
|---|---|
| true | KK-150 |
| false | XB-120 |
| true | MT-190 |
ri.foundry.main.dataset.b
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | AA-200 | AA |
| true | BN-435 | BN |
| true | BN-111 | BN |
アウトプット:
| recently_serviced | tail_number |
|---|---|
| true | KK-150 |
| false | XB-120 |
| true | MT-190 |
| true | AA-200 |
| true | BN-435 |
| true | BN-111 |
サポート対象:ストリーミング
Flink の高度な機能で、この位置で新しいオペレーターチェーンを開始します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速、ストリーミング
列名を正規化して lower_snake_case を使用するようにします。
キャメルケースの各境界にアンダースコアが挿入され、すべての文字が小文字になり、ハイフンと連続する空白はアンダースコアに置き換えられ、ピリオドは削除されます。Foundry で列名に使用できない文字(,;{}()=、タブ、改行文字)は、特殊文字を削除する引数が有効かどうかにかかわらず、常にアンダースコアに置き換えられます。その後、連続するアンダースコアは1個にまとめられ、先頭または末尾のアンダースコアは削除されます。
データ加工のカテゴリー:データ準備
引数の値:
入力:
| recentlyServiced | tailNumber | _airlineCode |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
アウトプット:
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
サポート対象:バッチ、高速
指定した列の数値の分布を計算します。
データ加工のカテゴリー:数値
サポート対象:ストリーミング
左側と右側の入力から、すべての一致条件を満たし、キャッシュウィンドウ内にある行を、両方の入力の一致しない行とともに返します。
データ加工のカテゴリー:結合
サポート対象:ストリーミング
左側と右側のデータセット入力を結合し、後続の結合で使用するために、各側でイベント時刻が最も新しいレコードをキャッシュします。同順位の場合は、レコードの処理時刻を使用して順位を決定します。同時刻の場合、結合対象の値がなければ、結果を楽観的に発行します。
データ加工のカテゴリー:結合
サポート対象:バッチ、高速
指定されたデータセット入力を外部結合し、両方のデータセットのすべての行を保持します。指定された条件を満たす行がない場合、列は null になります。
データ加工のカテゴリー:結合
引数の値:
tail_number,tail_number,インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
アウトプット:
| tail_number | airline | home_airport |
|---|---|---|
| XB-123 | foundry air | LHR |
| MT-222 | new airline | CPH |
| XB-123 | foundry airline | LHR |
| MT-222 | new air | CPH |
| KK-452 | new air | JFK |
| PA-452 | new air | null |
| XB-123 | foundry airline | LHR |
| JR-201 | null | IAD |
サポート対象:バッチ
各生 KML ファイルを、型付きジオメトリのリストにパースします。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速
入力データセットを列でグループ化し、指定された集計を実行します。実行前に出力スキーマを把握できるように、ピボットの対象となる一意の値を指定する必要があります。これにより、長期にわたって実行時の安定性が向上します。
データ加工のカテゴリー:集計、よく使う
型変数の制約: T に指定できる型: Boolean | Byte | Integer | Long | Short | String
引数の値:
miles,airline]airport入力:
| airline | airport | miles |
|---|---|---|
| foundry airways | JFK | 1002345 |
| foundry airways | LHR | 2221324 |
| new air | SFO | 21356673 |
| new air | JFK | 12323456 |
| foundry airways | LHR | 12542352 |
| new air | JFK | 12232355 |
アウトプット:
| airline | new_york_miles | london_miles |
|---|---|---|
| foundry airways | 1002345.0 | 7381838.0 |
| new air | 1.22779055E7 | null |
サポート対象:バッチ、高速、ストリーミング
ウィンドウ内のデータに対して、指定された集計を実行します。新しい行を受信するたびに、1行を発行します。
データ加工のカテゴリー:集計
サポート対象:バッチ、高速、ストリーミング
列の名前を変更します。
データ加工のカテゴリー:データ準備、よく使う
引数の値:
recently_serviced, does_not_require_service)]入力:
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
アウトプット:
| does_not_require_service | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
サポート対象:バッチ、高速
任意で指定されたパーティション分割用の列と分割後のパーティション数に基づいて、データを強制的にシャッフルします。これらが指定されていない場合、パーティション分割は自動的に決定されます。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速
入力データセットに対して異なる粒度で指定された集計を実行し、中間集計と上位集計の両方を生成します。
データ加工のカテゴリー:集計
引数の値:
price,city, model]入力:
| city | model | price | store |
|---|---|---|---|
| London | new phone | 900.0 | MegaMart |
| London | new phone | 850.75 | AA |
| London | new phone | 870.75 | ABC Zone |
| San Francisco | new phone | 1000.0 | Prescos |
| San Francisco | new phone | 950.25 | XZY Force |
| San Francisco | new phone | 1105.7 | Phone Mart |
| London | forestX 20 | 750.1 | MegaMart |
| London | forestX 20 | 690.0 | AA |
| London | forestX 20 | 730.0 | ABC Zone |
| San Francisco | forestX 20 | 890.4 | Prescos |
| San Francisco | forestX 20 | 900.1 | XZY Force |
| San Francisco | forestX 20 | 1050.75 | Phone Mart |
アウトプット:
| city | model | mean_price |
|---|---|---|
| London | new phone | 873.8333333333334 |
| London | forestX 20 | 723.3666666666667 |
| London | null | 798.6 |
| San Francisco | new phone | 1018.65 |
| San Francisco | forestX 20 | 947.0833333333334 |
| San Francisco | null | 982.8666666666667 |
| null | null | 890.7333333333335 |
サポート対象:バッチ
JVM 内の1行のサイズを推定します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速、ストリーミング
入力データセットから列を選択します。
データ加工のカテゴリー:よく使う
サポート対象:バッチ、高速
左側と右側の入力データセットをセミ結合します。結合条件に一致しない行をすべて削除します。
データ加工のカテゴリー:結合
引数の値:
tail_number,tail_number,インプット:
ri.foundry.main.dataset.left
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| PA-452 | new air | 212 | 2 |
| XB-123 | foundry airline | 1134 | 2 |
ri.foundry.main.dataset.right
| tail_number | home_airport |
|---|---|
| XB-123 | LHR |
| MT-222 | CPH |
| KK-452 | JFK |
| JR-201 | IAD |
アウトプット:
| tail_number | airline | miles | factor |
|---|---|---|---|
| XB-123 | foundry air | 124 | 2 |
| MT-222 | new airline | 1123 | 5 |
| XB-123 | foundry airline | 335 | 5 |
| MT-222 | new air | 565 | 4 |
| KK-452 | new air | 222 | 1 |
| XB-123 | foundry airline | 1134 | 2 |
サポート対象:バッチ、高速
列を選択するか、列に関数を適用して、入力データセットを加工します。
データ加工のカテゴリー:その他
引数の値:
b, DESCENDING)]入力:
| a | b |
|---|---|
| 1 | 2 |
| 3 | 4 |
| 5 | 6 |
アウトプット:
| a | b |
|---|---|
| 5 | 6 |
| 3 | 4 |
| 1 | 2 |
サポート対象:バッチ、高速
選択した条件に基づいて、入力を2つの出力に分割します。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速、ストリーミング
データ加工の間にテキストの説明を挿入します。入力データは一切加工されません。
データ加工のカテゴリー:その他
サポート対象:ストリーミング
指定した列のサブセットについて、入力から重複行を削除します。確認済みの行は、設定したイベント時間が経過すると期限切れになります。設定したイベント時間を超えて遅れて到着した行は、常に削除されます。指定したキーでパーティション分割します。重複削除は、キー列の値が異なるものごとに個別に計算されます。
データ加工のカテゴリー:その他
サポート対象:ストリーミング
すべてのキー列の値が同じ行のうち、順序が正しくない行を削除します。並べ替えの列と方向に基づいて、同じキー値を持つ受信済みの行より前に来るはずの行は、順序が正しくないと見なされます。2行を比較する際は、最初の並べ替え列と方向を最初に評価し、同値の場合に限り次の並べ替え列と方向に進みます。これを順序が決まるまで繰り返し、すべての並べ替え列が同値の場合は、行は等しいと見なされます。キーごとの現在の最大値は、そのキーの新しい行が確認されないまま、有効期限以上のイベント時間が経過するまで保存されます。キーの新しい行を受信しない期間が有効期限以上になると、そのキーの新しい行は削除されず、常に新しい現在の最大値として保存されます。
データ加工のカテゴリー:その他
サポート対象:ストリーミング
キーごとにイベント時間の昇順で行を発行し、少なくとも許容遅延時間までは、遅れて到着するレコードを受け入れます。許容遅延時間に短いバッファー期間を加えた時間を過ぎて到着したレコードは削除されます。
データ加工のカテゴリー:その他
サポート対象:バッチ、高速
並べ替え済みの各パーティションから先頭行を選択します。
データ加工のカテゴリー:集計
引数の値:
airline}airport, DESCENDING), (miles, ASCENDING)]入力:
| airline | airport | miles |
|---|---|---|
| foundry airways | JFK | 1002345 |
| foundry airways | LHR | 2221324 |
| new air | SFO | 21356673 |
| new air | JFK | 12323456 |
| foundry airways | LHR | 12542352 |
| new air | JFK | 12232355 |
アウトプット:
| airline | airport | miles |
|---|---|---|
| foundry airways | LHR | 2221324 |
| new air | SFO | 21356673 |
サポート対象:バッチ、高速、ストリーミング
一致する列名に基づいてデータセットの和集合を作成します。
データ加工のカテゴリー:結合
引数の値:
インプット:
ri.foundry.main.dataset.a
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
ri.foundry.main.dataset.b
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | AA-200 | AA |
| true | BN-435 | BN |
| true | BN-111 | BN |
アウトプット:
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
| true | AA-200 | AA |
| true | BN-435 | BN |
| true | BN-111 | BN |
サポート対象:バッチ
ファイルのデータセットの和集合を作成します。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速、ストリーミング
アンピボットは、ピボットの逆の操作です。複数の列を行に変換し、データをワイド形式からロング形式に変換します。このために、元の列名を値として含む列と、対応するデータ値を含む列の2つの新しい列を作成します。アンピボットされないほかの列はすべてそのまま保持されます。
データ加工のカテゴリー:集計、よく使う
型変数の制約: T に指定できる型: AnyType
引数の値:
new_york_miles, london_miles]入力:
| airline | new_york_miles | london_miles |
|---|---|---|
| foundry airways | 1000 | 6000 |
| new air | null | 8000 |
アウトプット:
| city | miles | airline |
|---|---|---|
| new_york_miles | 1000 | foundry airways |
| london_miles | 6000 | foundry airways |
| new_york_miles | null | new air |
| london_miles | 8000 | new air |
サポート対象:バッチ
ZIP ファイルのデータセット内の各ファイルを解凍します。ZIP 以外のファイルは無視されます。ファイル解凍のデータ加工と、その下流のすべてのノードをプレビューするには、ユーザーに編集者権限が必要です。
データ加工のカテゴリー:ファイル操作
サポート対象:バッチ、高速、ストリーミング
データセット内のすべての列名を大文字に変換します。
データ加工のカテゴリー:データ準備
引数の値:
入力:
| recentlyServiced | tailNumber | airlineCode |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
出力:
| RECENTLYSERVICED | TAILNUMBER | AIRLINECODE |
|---|---|---|
| true | KK-150 | KK |
| false | XB-120 | XB |
| true | MT-190 | MT |
サポート対象:バッチ、高速、ストリーミング
データセットの列名のスーパーセットに基づいてデータセットの和集合を作成し、存在しない列には null を追加します。
データ加工のカテゴリー:結合
引数の値:
入力:
ri.foundry.main.dataset.a
| recently_serviced | tail_number |
|---|---|
| true | KK-150 |
| false | XB-120 |
| true | MT-190 |
ri.foundry.main.dataset.b
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | AA-200 | AA |
| true | BN-435 | BN |
| true | BN-111 | BN |
出力:
| recently_serviced | tail_number | airline_code |
|---|---|---|
| true | KK-150 | null |
| false | XB-120 | null |
| true | MT-190 | null |
| true | AA-200 | AA |
| true | BN-435 | BN |
| true | BN-111 | BN |
サポート対象:バッチ、高速
入力データセットを指定した列でグループ化し、指定した集計を実行します。
データ加工のカテゴリー:集計、よく使う