Documentation
ドキュメントの検索
karat

+

K

APIリファレンス ↗
データ接続と統合Pipeline Builder関数インデックス

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

関数インデックス

Pipeline Builder は、さまざまなレベルで操作する式を提供します。これらは一般的に、行レベル、集計、またはジェネレータに分類されます。

行レベル関数は、単一の行の値に対して操作を行います。たとえば、add 式など、ほとんどの式がこのカテゴリーに属します。

集計関数は、複数の行の値を 1 つに集約します。たとえば、sum 式などです。

ジェネレータ関数は、単一の行から複数の値を生成します。たとえば、explode_array 式などです。

トランスフォームは、全体のテーブルまたは複数のテーブルに対して操作を行う関数です。たとえば、drop トランスフォームなどです。以下のドキュメントでは、利用可能な式とトランスフォームについて説明します。

行レベル式

絶対値

対応環境: Batch, Streaming

絶対値を返します。

式カテゴリ: Numeric

型変数の境界: T は Numeric を受け入れる

出力型: T

例

引数値:

  • 式: numeric_column
numeric_column出力
0.00.0
1.11.1
-1.11.1

詳細はこちらをご覧ください。

数値を加算する

対応環境: Batch, Streaming

すべての入力列の合計を計算します。

式カテゴリ: Numeric

出力型: Numeric

例

引数値:

  • 式: [col_a, col_b]
col_acol_b出力
011
3-21

詳細はこちらをご覧ください。

構造体フィールドを追加または更新する

対応環境: Batch, Streaming

構造体のフィールドを更新するか、新しいフィールドを追加します。

式カテゴリ: Struct

出力型: Struct

例

引数値:

  • 式: value
  • ロケータ: airline.id
  • 構造体: struct
structvalue出力
{
 airline: {
 id: NA,
},
}		1{
 airline: {
 id: 1,
},
}
{
 airline: {
 id: FE,
},
}		2{
 airline: {
 id: 2,
},
}

詳細はこちらをご覧ください。

日付に値を追加する

対応環境: Batch, Streaming

'start' から 'value' 日/週/月/四半期/年後の日付を返します。

式カテゴリ: Datetime

出力型: Date

例

引数値:

  • 日付: 2022-02-01
  • 単位: DAYS
  • 値: 2

出力: 2022-02-03

詳細はこちらをご覧ください。

すべての配列要素が満たす

対応環境: Batch, Streaming

配列内のすべての要素に対して式が真である場合に真を返します。

式カテゴリ: Array

出力型: Boolean

例

引数値:

  • 配列: miles
  • ブール条件:
    isNull(
     式: element,
    )
miles出力
[ 12300, null ]false
[ null, null ]true

詳細はこちらをご覧ください。

かつ

対応環境: Batch, Streaming

指定されたすべての条件が真である場合に真を返します。null は false として扱われます。

式カテゴリ: Boolean

出力型: Boolean

例

引数値:

  • 条件: [left_boolean, right_boolean]
left_booleanright_boolean出力
truetruetrue
truefalsefalse
falsetruefalse
falsefalsefalse

詳細はこちらをご覧ください。

いずれかの配列要素が満たす

対応環境: Batch, Streaming

配列内のいずれかの要素に対して式が真である場合に真を返します。

式カテゴリ: Array

出力型: Boolean

例

引数値:

  • 配列: miles
  • ブール条件:
    isNull(
     式: element,
    )
miles出力
[ 12300, null ]true
[ 12300, 12000 ]false

詳細はこちらをご覧ください。

Arccos

対応環境: Batch, Streaming

逆余弦関数。

式カテゴリ: Numeric

出力型: Double

例

引数値:

  • 角度単位: radians
  • 値: 1.0

出力: 0.0

詳細はこちらをご覧ください。

Arcsin

対応環境: Batch, Streaming

逆正弦関数。

式カテゴリ: Numeric

出力型: Double

例

引数値:

  • 角度単位: radians
  • 値: 0.0

出力: 0.0

詳細はこちらをご覧ください。

Arctan

対応環境: Batch, Streaming

逆正接関数。

式カテゴリ: Numeric

出力型: Double

例

引数値:

  • 角度単位: degrees
  • 値: angle
angle出力
-1.0-45.0
0.00.0
1.045.0

詳細はこちらをご覧ください。

Arctan2

対応環境: Batch, Streaming

原点から点 (x, y) への光線と正の x 軸との間の角度 θ を返します。-π<θ<=π の範囲に制限されます。

式カテゴリ: Numeric

出力型: Double

例

引数値:

  • 角度単位: degrees
  • X: x
  • Y: y
yx出力
0.00.00.0
1.00.090.0
0.0-1.0180.0
-1.00.0-90.0

詳細はこちらをご覧ください。

面積

対応環境: Batch, Streaming

球体近似を使用してメートル平方でジオメトリの面積を計算します。ラインストリングやポイントの場合、これに等しい値は 0 です。

式カテゴリ: Geospatial

出力型: Double

詳細はこちらをご覧ください。

配列に追加

対応環境: Batch, Streaming

指定したインデックスに値を追加します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 配列: numbers
  • インデックス: 1
  • 値: 1
numbers出力
[ 3, 5 ][ 1, 3, 5 ]
[ 2 ][ 1, 2 ]
[ ][ 1 ]

詳細はこちらをご覧ください。

配列のデカルト積

対応環境: Batch, Streaming

配列のデカルト積を計算します。

式カテゴリ: Array

出力型: Array<Struct>

例

引数値:

  • 式: [first, second]
firstsecond出力
[ 1, 2 ][ 3, 4 ][ {
 first: 1,
 second: 3,
}, {
 first: 1,
 *second...

詳細はこちらをご覧ください。

配列を連結する

対応環境: Batch, Streaming

指定された配列を重複排除せずに 1 つの配列に連結します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 式: [[ 1, 2, 3 ], [ 4, 5 ]]

出力: [ 1, 2, 3, 4, 5 ]

詳細はこちらをご覧ください。

配列に含まれるか

対応環境: Batch, Streaming

配列が値を含む場合に true を返します。

式カテゴリ: Array, Boolean

出力型: Boolean

例

引数値:

  • 配列: part_ids
  • 値: BRR-123
part_ids出力
[ AWE-112, BRR-123 ]true
[ AWE-222, ABC-543 ]false

詳細はこちらをご覧ください。

配列に null が含まれているか

対応環境: Batch, Streaming

array に null が含まれている場合に true を返します。

式カテゴリ: Array, Boolean

出力型: Boolean

例

引数値:

  • 式: part_ids
part_ids出力
[ AWE-112, BRR-123, null ]true
[ AWE-222, ABC-543 ]false

詳細はこちらをご覧ください。

配列の差分

対応環境: Batch, Streaming

left 配列に含まれ、right 配列に含まれないすべてのユニークな要素を返します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 左配列: [ 1, 2, 3 ]
  • 右配列: [ 2, 3, 4 ]

出力: [ 1 ]

詳細はこちらをご覧ください。

配列の重複を削除

対応環境: Batch, Streaming

重複を削除し、配列からユニークな値を返します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 式: [ 1, 1, 2, 3 ]

出力: [ 1, 2, 3 ]

詳細はこちらをご覧ください。

配列の要素

対応環境: Batch, Streaming

入力配列から指定された位置の要素を返します。配列の外の位置は null を返します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: T

例

引数値:

  • 配列: [ 10, 11, 12 ]
  • 位置: 1

出力: 10

詳細はこちらをご覧ください。

配列の要素がユニークかどうか

対応環境: Batch, Streaming

配列の要素がユニークである場合は true を、そうでない場合は false を返します。配列が null の場合、返される値は false です。

式カテゴリ: Array, Boolean

出力型: Boolean

例

引数値:

  • 式: part_ids
part_ids出力
[ ABC-123, DCE-123, EFG-123 ]true
[ ABC-123, ABC-123, EFG-123 ]false

詳細はこちらをご覧ください。

配列を平坦化する

対応環境: Batch, Streaming

入力されたネストされた配列から、ネストの最初のレベル内の要素を結合することによって単一の配列を作成します。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 式: array
array出力
[ [ 1, 2, 3 ], [ 4, 5, 6 ] ][ 1, 2, 3, 4, 5, 6 ]

詳細はこちらをご覧ください。

配列の交差を計算する

対応環境: Batch, Streaming

重複を削除し、配列のリストを交差させます。

式カテゴリ: Array

型変数の境界: T は AnyType を受け入れる

出力型: Array<T>

例

引数値:

  • 式: [[ 1, 2, 3 ], [ 3, 4 ]]

出力: [ 3 ]

詳細はこちらをご覧ください。

配列の最大値

対応環境: Batch, Streaming

配列列の最大値を返します。

式カテゴリ: Array

型変数の境界: T は Numeric を受け入れる

出力型: T

例

引数値:

  • 式: [ 1, 2, 3 ]

出力: 3

詳細はこちらをご覧ください。

配列の最小値

対応環境: Batch, Streaming

配列列の最小値を返します。

式カテゴリ: Array

型変数の境界: T は Numeric を受け入れる

**出

基数を変換する

サポート対象: Batch

ある基数から別の基数に数値（またはその文字列表現）を変換します。

式カテゴリー: Binary, Cast, Numeric

出力タイプ: String

例

引数値:

  • 式: 4A801
  • 元の基数: 16
  • 変換後の基数: 10

出力: 305153

詳細はこちらをご覧ください。

角度単位の変換

サポート対象: Batch, Streaming

式カテゴリー: Geospatial, Numeric

出力タイプ: Double

詳細はこちらをご覧ください。

距離単位の変換

サポート対象: Batch, Streaming

式カテゴリー: Numeric

出力タイプ: Double

詳細はこちらをご覧ください。

時間単位の変換

サポート対象: Batch, Streaming

式カテゴリー: Datetime

出力タイプ: Double

詳細はこちらをご覧ください。

重量単位の変換

サポート対象: Batch, Streaming

式カテゴリー: Numeric

出力タイプ: Double

詳細はこちらをご覧ください。

データをJSONに変換する

サポート対象: Batch, Streaming

入力をjson文字列に変換します。

式カテゴリー: File, String

出力タイプ: String

例

引数値:

  • 入力: struct
struct出力
{
 airline: {
 id: NA,
},
}		{"airline":{"id":"NA"}}

詳細はこちらをご覧ください。

オントロジーGeoPointから変換する

サポート対象: Batch, Streaming

オントロジーGeoPointを通常のGeoPointに変換します。オントロジーGeoPointは'{lat},{lon}'の形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180の範囲です。通常のGeoPointは{"longitude": {long},"latitude": {lat}}の形式の構造体です。

式カテゴリー: Geospatial

出力タイプ: GeoPoint

例

引数値:

  • 式: geopoint
geopoint出力
-20.0000000,80.0000000{
 latitude: -20.0,
 longitude: 80.0,
}
38.9031000,-77.0599000{
 latitude: 38.9031,
 longitude: -77.0599,
}
41.9876543,-99.1234568{
 latitude: 41.9876543,
 longitude: -99.1234568,
}

詳細はこちらをご覧ください。

16進数から変換する

サポート対象: Batch

hexの逆。各文字ペアを16進数として解釈し、その数値のバイト表現に変換します。

式カテゴリー: Numeric, String

出力タイプ: Binary

例

引数値:

  • 式: string_hex
string_hex出力
68656C6C6FaGVsbG8=
3039MDk=
FFFFFFFFFFFFCFC7////////z8c=
4C6F6E646F6ETG9uZG9u

詳細はこちらをご覧ください。

16進数から文字列に変換する

サポート対象: Batch, Streaming

hexの逆。各文字ペアを16進数として解釈し、その数値のバイト表現をutf-8文字列に変換します。

式カテゴリー: String

出力タイプ: String

例

引数値:

  • 式: string_hex
string_hex出力
68656C6C6Fhello
4C6F6E646F6ELondon

詳細はこちらをご覧ください。

ジオセントリック座標をWGS 84ジオデシック座標に変換する

サポート対象: Batch, Streaming

ジオセントリック直交座標をジオデシック極座標に変換します。高度は楕円体上の高さとして定義されます。任意の座標がnullである場合、出力もnullになります。

式カテゴリー: Geospatial

出力タイプ: GeoPoint with altitude

例

引数値:

  • X座標: x_coordinate
  • Y座標: y_coordinate
  • Z座標: z_coordinate
x_coordinatey_coordinatez_coordinate出力
0.06378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 90.0,
},
}
0.0-6378137.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -90.0,
},
}
-6378137.00.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> 180.0,
},
}
-6378137.0-0.00.0{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 0.0,
 longitude -> -180.0,
},
}
0.00.06356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> 90.0,
 longitude -> 0.0,
},
}
0.00.0-6356752.314245179{
 altitude -> 0.0,
 geoPoint -> {
 latitude -> -90.0,
 longitude -> 0.0,
},
}

詳細はこちらをご覧ください。

レガシーOffsetDateTimeを変換する

サポート対象: Batch

レガシーOffsetDateTime列をすべてのFoundryパイプラインで使用できるタイムスタンプに変換します。このタイムスタンプはUTCで返されます。

式カテゴリー: Datetime

出力タイプ: Timestamp

詳細はこちらをご覧ください。

LineStringをPolygonに変換する

サポート対象: Batch, Streaming

LineStringジオメトリをPolygonジオメトリに変換します。この式はLineStringジオメトリが閉じていると仮定します。閉じていない場合、式はnullを返します。

式カテゴリー: Geospatial

出力タイプ: Geometry

例

引数値:

  • 式: polygon_points
polygon_points出力
{"type":"LineString","coordinates":[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]}{"type":"Polygon","coordinates":[[[-77.49,38.01],[-77.47,38.15],[-77.19,38.14],[-77.49,38.01]]]}

詳細はこちらをご覧ください。

タイムスタンプをUTCから変換する

サポート対象: Batch, Streaming

UTCから指定されたタイムゾーンにタイムスタンプを変換します。

式カテゴリー: Datetime

出力タイプ: Timestamp

例

引数値:

  • タイムゾーン: EST
  • タイムスタンプ: 2020-04-28T10:09:00Z

出力: 2020-04-28T05:09:00Z

詳細はこちらをご覧ください。

タイムスタンプをUTCに変換する

サポート対象: Batch, Streaming

指定されたタイムゾーンに基づいてタイムスタンプをUTCに変換します。

式カテゴリー: Datetime

出力タイプ: Timestamp

例

引数値:

  • タイムゾーン: EST
  • タイムスタンプ: 2020-04-28T10:09:00Z

出力: 2020-04-28T15:09:00Z

詳細はこちらをご覧ください。

オントロジーGeoPointに変換する

サポート対象: Batch, Streaming

GeoPointをgeo-indexed列（Geohash型の列）に対応するオントロジーGeoPointの文字列に変換します。オントロジーGeoPointは'{lat},{lon}'の形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180の範囲です。

式カテゴリー: Geospatial

出力タイプ: Ontology GeoPoint

例

引数値:

  • 式: point
point出力
{
 latitude: -20.0,
 longitude: 80.0,
}		-20.0000000,80.0000000
{
 latitude: 38.9031,
 longitude: -77.0599,
}		38.9031000,-77.0599000
{
 latitude: 41.987654321,
 longitude: -99.123456789,
}		41.9876543,-99.1234568
nullnull

詳細はこちらをご覧ください。

16進数に変換する

サポート対象: Batch, Streaming

指定された式の16進数値を計算します。

式カテゴリー: Numeric, String

出力タイプ: String

例

引数値:

  • 式: city_hex
city_hex出力
TG9uZG9u4C6F6E646F6E

詳細はこちらをご覧ください。

8進数に変換する

サポート対象: Batch, Streaming

指定された式の8進数値を計算します。

式カテゴリー: Numeric

出力タイプ: String

例

引数値:

  • 式: 12345

出力: 30071

詳細はこちらをご覧ください。

コサイン

サポート対象: Batch, Streaming

角度のコサインを取ります。

式カテゴリー: Numeric

出力タイプ: Double

例

引数値:

  • 角度単位: degrees
  • 角度値: angle
angle出力
0.01.0
90.00.0
180.0-1.0

詳細はこちらをご覧ください。

座標系からGeoPointを作成する

サポート対象: Batch, Streaming

ソース座標系からの座標ペアを取り、それらをWGS 84の緯度/経度値に変換します。座標系（座標リファレンスシステムまたは空間リファレンスシステムとしても知られる）は、地球上の点の位置を識別するための異なるシステムを表し、EPSGなどの標準化されたデータベースのキーで識別されることがよくあります。指定された投影がサポートされていない場合や、どちらかの座標がnullである場合はnullを返します。

式カテゴリー: Geospatial

出力タイプ: GeoPoint

例

引数値:

  • ソース座標系: EPSG:32618
  • X座標: x_coordinate
  • Y座標: y_coordinate
x_coordinatey_coordinate出力
322190.22339529654306505.703879281{
 latitude -> 38.88944258,
 longitude -> -77.05014581,
}
323243.13615360594318298.06539618{
 latitude -> 38.99585379643137,
 longitude -> -77.04105678275415,
}
407063.634653000164764873.719585404{
 latitude -> 43.03086518778498,
 longitude -> -76.14077251822197,
}

詳細はこちらをご覧ください。

空の配列を作成する

サポート対象: Batch, Streaming

指定されたタイプの空の配列を返します。

式カテゴリー: Array

型変数の境界: T accepts AnyType

出力タイプ: Array<T>

例

引数値:

  • タイプ: String

出力: [ ]

詳細はこちらをご覧ください。

配列を作成する

サポート対象: Batch, Streaming

提供された列から配列を作成します。

式カテゴリー: Array

型変数の境界: T accepts AnyType

出力タイプ: Array<T>

例

引数値:

  • 式: [1, 2, 3]

出力: [ 1, 2, 3 ]

詳細はこちらをご覧ください。

楕円ジオメトリを作成する

サポート対象: Batch, Streaming

指定されたジオ座標を中心に楕円をポリゴンとして近似します。点間の距離は、地球の表面を近似するWGS84楕円体に沿って計算されます。

式カテゴリー: Geospatial

出力タイプ: Geometry

詳細はこちらをご覧ください。

ジオデシックラインストリングを作成する

サポート対象: Batch, Streaming

2点間にジオデシックラインを作成します。

式カテゴリー: Geospatial

出力タイプ: Geometry

詳細はこちらをご覧ください。

LineStringジオメトリを作成する

サポート対象: Batch, Streaming

指定された点からGeoJSON LineStringジオメトリを作成します。

式カテゴリー: Geospatial

型変数の境界: T accepts Struct<longitude, latitude>

出力タイプ: Geometry

例

引数値:

  • 点: points

| points | 出力 | |

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]} ]{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}
[ ]null
nullnull

詳細は こちら を参照してください。

Geometry array line dissolve

対応環境: バッチ、ストリーミング

geometry の配列を与えると、これらを線状の geometry に結合します。Dissolve は、不要なノードを削除し、結合できるラインストリングを連結することで、入力セットのラインストリングを簡素化します。Z 座標は dissolve 操作の目的では無視されますが、結果の geometry の頂点は入力の対応するポイントと同じ z 座標を持ちます。

式のカテゴリー: Geospatial

型変数の制約: T は Geometry を受け入れます

出力型: T

例

引数の値:

  • 式: geometries
geometries出力
[ {"type":"LineString","coordinates":[[0,0],[0,1],[1,1]]}, {"type":"LineString","coordinates":[[1,1]...{"type":"MultiLineString","coordinates":[[[5.0, 5.0],[4.0, 4.0],[3.0, 3.0],[2.0, 2.0],[1.0, 1.0],[0.0, 1.0],[0.0, 0.0]],[[7.0, 7.0], [6.0, 7.0], [6.0, 6.0]]]}
[ {"type":"LineString","coordinates":[[0,0,1],[0,1,1],[1,1,1]]}, {"type":"LineString","coordinates":[[1,1,1],[2,2,2]]}, {"type":"LineString","coordinates":[[1,1,2],[2,2,2],[3,3,3]]} ]{"type":"LineString","coordinates":[[0.0, 0.0, 1.0],[0.0, 1.0, 1.0],[1.0, 1.0, 1.0],[2.0, 2.0, 2.0],[3.0, 3.0, 3.0]]}

詳細は こちら を参照してください。

Geometry buffer

対応環境: バッチ、ストリーミング

geometry のバッファを正および負のバッファ距離の両方に対して計算します。この幾何学的オブジェクトの距離内のすべてのポイント（または負のバッファの場合は境界のバッファ距離内のポイントを除く）をおおよそ表します。バッファは z 座標を削除し、ラインやポイントのゼロ/負の距離バッファは null を返します。

式のカテゴリー: Geospatial

出力型: Geometry

例

引数の値:

  • バッファ距離: distance
  • geometry 列: geometry
  • 投影座標系: EPSG:32618
  • バッファキャップスタイル: ROUND
  • バッファジョインスタイル: ROUND
  • クォドラントごとのラインセグメント数: 8
  • 片面または両面: DOUBLE_SIDED
geometrydistance出力
{"type":"Point","coordinates":[-77.07368071728229,38.83040844313318]}10.0{"type":"Polygon","coordinates":[[[-77.07356558299462, 38.83041048767274],[-77.07356728534256, 38.83...
{"type":"LineString","coordinates":[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83042888342659, 1]]}10.0{"type":"Polygon","coordinates":[[[-77.07253198637027, 38.83051894052714],[-77.07250947453703, 38.83...
{"type":"Polygon","coordinates":[[[-77.07368071728229,38.83040844313318, 1],[-77.0725293738795,38.83...10.0{"type":"Polygon","coordinates":[[[-77.07379585155829, 38.83040639848026],[-77.07382199292853, 38.83...

詳細は こちら を参照してください。

Geometry centroid

対応環境: バッチ、ストリーミング

地球の球面近似を使用して、geometry の重心、または「質量の中心」を返します。geometry が異なる次元のコレクションである場合、最も高い次元の要素のみが重心に寄与します（たとえば、ポイント、ライン、およびポリゴンのコレクションでは、ポイントとラインは無視されます）。

式のカテゴリー: Geospatial

出力型: GeoPoint

詳細は こちら を参照してください。

Geometry contains

対応環境: バッチ、ストリーミング

geometry a が geometry b を含むかどうかを判定します。ポリゴンの境界上にあるポイントやラインは、他の geometry 内に含まれません。

式のカテゴリー: Geospatial

出力型: Boolean

例

引数の値:

  • geometry a: geometry_a
  • geometry b: geometry_b
geometry_ageometry_b出力
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"Point","coordinates":[-100.0,32.0]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}false
{"type":"LineString","coordinates":[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323]]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}false
{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}{"type":"Point","coordinates":[-112.94377956164206,34.81725414459382]}true
{"coordinates":[[[-112.94377956164206,34.81725414459382],[-112.94377956164206,30.006795384733323], [...{"coordinates":[[[-111.94377956164206,33.81725414459382],[-111.94377956164206,31.006795384733323], [...true

詳細は こちら を参照してください。

Geometry difference

対応環境: バッチ、ストリーミング

geometry a と geometry b が交差しない部分を計算します。

式のカテゴリー: Geospatial

出力型: Geometry

例

引数の値:

  • geometry a: geometry_a
  • geometry b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]],[[0.25,0.25],[0.5,0.25],[0.5,0.5],[0.25,0.5],[0.25,0.25]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.5,0.0],[0.5,1.0],[0.0,1.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"LineString","coordinates":[[0.0,0.0],[0.0,1.0]]}{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}

詳細は こちら を参照してください。

Geometry explode to array

対応環境: バッチ、ストリーミング

geometry をその構成要素である単純 geometry の配列に変換します。

式のカテゴリー: Geospatial

出力型: Array<Geometry>

例

引数の値:

  • 式: geometry
geometry出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]} ]
{"type":"MultiPolygon","coordinates":[[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]],[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]]}[ {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}, {"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]} ]

詳細は こちら を参照してください。

Geometry intersection

対応環境: バッチ、ストリーミング

geometry a と geometry b が交差する部分を計算します。

式のカテゴリー: Geospatial

出力型: Geometry

例

引数の値:

  • geometry a: geometry_a
  • geometry b: geometry_b
geometry_ageometry_b出力
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,0.0],[1.5,0.0],[1.5,1.0],[0.5,1.0],[0.5,0.0]]]}{"type":"Polygon","coordinates":[[[0.5,1.0],[1.0,1.0],[1.0,0.0],[0.5,0.0],[0.5,1.0]]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[5.0,5.0],[5.0,6.0],[6.0,6.0],[6.0,5.0],[5.0,5.0]]]}{"type":"Polygon","coordinates":[[]]}
{"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[1.0,1.0],[1.0,0.0],[0.0,0.0]]]}{"type":"Polygon","coordinates":[[[1.0,0.0],[1.0,1.0],[2.0,1.0],[2.0,0.0],[1.0,0.0]]]}{"type":"LineString","coordinates":[[1.0,1.0],[1.0,0.0]]}
{"type":"Point","coordinates":[0.0,0.0]}{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Point","coordinates":[0.0,0.0]}
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0]]}{"type":"Polygon","coordinates":[[[2.0,0.0],[2.0,1.0],[3.0,1.0],[3.0,0.0],[2.0,0.0]]]}{"type":"LineString","coordinates":[]}

詳細は こちら を参照してください。

Geometry length

対応環境: バッチ、ストリーミング

geometry のラインストリングおよびマルチラインストリングの長さをメートル単位で取得します。地球の球面近似を使用します。非線形 geometry (ポリゴンやポイント) は 0 と見なされます。

式のカテゴリー: Geospatial

出力型: Double

例

引数の値:

  • 式: geometry
geometry出力
{"type":"LineString","coordinates":[[-73.778128,40.641195],[-118.408535,33.941563]]}3974344.7433354934
{"type":"LineString","coordinates":[[0.0,0.0],[1.0,0.0],[1.0,1.0],[1.0,2.0]]}333585.2407005987
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[1.0,0.0

例

引数の値:

  • 式: h3
h3出力
862a1072ffffffftrue
not an h3 valuefalse

詳細はこちらをご覧ください。

MGRS の有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な MGRS (軍用グリッド参照システム) 文字列である場合に true を返します。

式カテゴリー: 地理空間

出力タイプ: Boolean

例

引数の値:

  • 式: mgrs
mgrs出力
4Q FJ 1 6true
4Q FJ 12345 67890true

詳細はこちらをご覧ください。

MIME タイプの有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な MIME タイプである場合に true を返します。

式カテゴリー: Boolean、その他

出力タイプ: Boolean

詳細はこちらをご覧ください。

オントロジー GeoPoint の有効性確認

サポート対象: バッチ、ストリーミング

入力が有効なオントロジー GeoPoint である場合に true を返します。オントロジー GeoPoint は '{lat},{lon}' の形式で、-90 <= lat <= 90 および -180 <= lon <= 180 の範囲です。

式カテゴリー: 地理空間

出力タイプ: Boolean

例

引数の値:

  • 式: geopoint
geopoint出力
-35.307428203,149.122686883true
149.122686883,-35.307428203false
10.0, 20.0true
10.0, 20.0true
not a GeoPointfalse
nullfalse
(10.0,20.0)false

詳細はこちらをご覧ください。

委任メディア gid の有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な Gotham の委任メディア gid である場合に true を返します。詳細については Gotham の委任メディア rtfm を確認してください。

式カテゴリー: Boolean

出力タイプ: Boolean

例

引数の値:

  • 式: ri.gotham-delegated-media.12345678-1234-1234-1234-123456789012.testaudiotype.testlocator

出力: true

詳細はこちらをご覧ください。

メディアリファレンスの有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な Foundry メディアリファレンスである場合に true を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

詳細はこちらをご覧ください。

rid の有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な Foundry リソース識別子である場合に true を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

詳細はこちらをご覧ください。

uuid の有効性確認

サポート対象: バッチ、ストリーミング

入力が有効な uuid である場合に true を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

詳細はこちらをご覧ください。

配列の結合

サポート対象: バッチ、ストリーミング

指定された区切り文字で配列を結合します。

式カテゴリー: 配列

出力タイプ: String

例

引数の値:

  • 結合する配列: [ hello, world ]
  • 区切り文字: -

出力: hello-world

詳細はこちらをご覧ください。

週/月/四半期/年の最後の日

サポート対象: バッチ

週/月/四半期/年の最後の日を返します。

式カテゴリー: 日時

出力タイプ: Date

詳細はこちらをご覧ください。

最小値の計算

サポート対象: バッチ、ストリーミング

null 値を無視して、すべての入力列の中で最小値を計算します。

式カテゴリー: Boolean、数値

型変数の制約: T は ComparableType を受け入れます

出力タイプ: T

例

引数の値:

  • 式: [a, b, c]
abc出力
1231
1321
3211

詳細はこちらをご覧ください。

文字列の左側を抽出

サポート対象: バッチ、ストリーミング

インデックスに基づいて文字列の左側を抽出します。

式カテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: Hello world!
  • 長さ: 5

出力: Hello

詳細はこちらをご覧ください。

文字列の左側をパディング

サポート対象: バッチ、ストリーミング

文字列列の左側を指定された長さまでパディングします。

式カテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: Hello world!
  • 長さ: 15
  • パッド: *

出力: ***Hello world!

詳細はこちらをご覧ください。

長さ

サポート対象: バッチ、ストリーミング

文字列列または配列列の各値の長さを返します。

式カテゴリー: 配列、数値

出力タイプ: Integer

例

引数の値:

  • 式: string
string出力
hello5
bye3

詳細はこちらをご覧ください。

より小さい

サポート対象: バッチ、ストリーミング

左が右より小さい場合に true を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

例

引数の値:

  • 左: left
  • 右: right
leftright出力
1.010true
10.01false

詳細はこちらをご覧ください。

以下

サポート対象: バッチ、ストリーミング

左が右以下の場合に true を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

例

引数の値:

  • 左: a
  • 右: b
ab出力
10false
11true
01true

詳細はこちらをご覧ください。

レーベンシュタイン距離

サポート対象: バッチ、ストリーミング

2 つの文字列間のレーベンシュタイン距離を計算します。

式カテゴリー: 距離測定、文字列

出力タイプ: Integer

例

引数の値:

  • 大文字小文字を無視: false
  • 左: left
  • 右: right
leftright出力
hellohello0
hallohello1
hellohEllO2
hellohello, world!8
hellofarewell6

詳細はこちらをご覧ください。

対数

サポート対象: バッチ、ストリーミング

列の自然対数 ln(x) を計算します。

式カテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 式: 10.123

出力: 2.3148100626166146

詳細はこちらをご覧ください。

基数付き対数

サポート対象: バッチ、ストリーミング

指定された基数で対数を計算します。

式カテゴリー: 数値

出力タイプ: Double

例

引数の値:

  • 基数: 2.0
  • 式: 8

出力: 3.0

詳細はこちらをご覧ください。

論理型キャスト

サポート対象: バッチ、ストリーミング

指定された論理型に式をキャストします。通常のキャスト式とは異なり、この式はデータの基底表現を変更せず、指定された論理型に関連する制約を強制します。これにより、出力を特定の論理型のインスタンスを必要とする下流の式の入力として使用できます。

式カテゴリー: キャスト

型変数の制約: C は AnyType を受け入れます

出力タイプ: C

例

説明: 自然数への成功したキャスト 引数の値:

  • 式: 1234
  • 論理型: 自然数
  • デフォルト値: null

出力: 1234

詳細はこちらをご覧ください。

小文字

サポート対象: バッチ、ストリーミング

文字列内のすべての文字を小文字に変換します。

式カテゴリー: 文字列

出力タイプ: String

例

引数の値:

  • 式: Hello World

出力: hello world

詳細はこちらをご覧ください。

値のマッピング

サポート対象: バッチ、ストリーミング

列内の値のセットを新しい値にマッピングします。

式カテゴリー: データ準備

型変数の制約: T1 は ComparableType を受け入れます**T2 は AnyType を受け入れます

出力タイプ: T2

例

引数の値:

  • デフォルト: null
  • 入力: country
  • 値のマッピング: {
     Denmark -> DNK,
     United Kingdom -> UK,
    }
country出力
United KingdomUK
DenmarkDNK
United States of Americanull

詳細はこちらをご覧ください。

モジュロ

サポート対象: バッチ、ストリーミング

式の剰余を返します。

式カテゴリー: 数値

出力タイプ: DefiniteNumeric

例

引数の値:

  • 分母: 4
  • 分子: 10.123

出力: 2.123

詳細はこちらをご覧ください。

数値の乗算

サポート対象: バッチ、ストリーミング

すべての入力列の積を計算します。

式カテゴリー: 数値

出力タイプ: Numeric

例

引数の値:

  • 式: [col_a, col_b, col_c]
col_acol_bcol_c出力
102360

詳細はこちらをご覧ください。

否定

サポート対象: バッチ、ストリーミング

式カテゴリー: 数値

出力タイプ: Numeric

詳細はこちらをご覧ください。

正規分布乱数

サポート対象: バッチ、ストリーミング

平均がゼロで分散が単位の正規分布乱数の列を返します。これは決定論的ではなく、シードを使用しても再ビルド時に同じ結果を生成しません。

式カテゴリー: 数値

出力タイプ: Double

詳細はこちらをご覧ください。

否定

サポート対象: バッチ、ストリーミング

Boolean 式の否定された Boolean 値を返します。

式カテゴリー: Boolean

出力タイプ: Boolean

例

引数の値:

  • 式: boolean
boolean出力
truefalse
falsetrue

詳細はこちらをご覧ください。

ポリゴン内の N 番目のチェーン

サポート対象: バッチ、ストリーミング

ジオメトリ内の単一ポリゴンの N 番目のリングを返します。インデックスは 1 から始まり、インデックスが 0 の場合は範囲外です。インデックスが 1 の場合は外部リングを返します。インデックスが 1 を超える場合は内部リングを返します。以下のいずれかの条件が満たされた場合は null を返します: ジオメトリが単一ポリゴンではない、フィーチャコレクションまたはジオメトリコレクションが提供された、インデックスが範囲外、または少なくとも 1 つの引数が null です。

式カテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

  • N: n
  • ポリゴン: polygon
polygonn出力
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}1{"coordinates": [[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]], "type": "LineString"}
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}2null
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]],[[57.0,57.0],[55.0,52.0],[52.0,52.0],[50.0,57.0],[57.0,57.0]]],"type":"Polygon"}1{"coordinates": [[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,50.0],[60.0,60.0]], "type": "LineString"}
{"coordinates":[[[60.0,60.0],[50.0,60.0],[50.0,50.0],[60.0,

Example

引数の値:

  • Geometry: Geometry
  • Tolerance: Tolerance
  • Coordinate precision: null
GeometryToleranceOutput
{"type":"LineString","coordinates":[[30.0,0.0],[35.0,0.0],[40.0,0.0]]}1000{"type":"LineString","coordinates":[[30.0,0.0],[40.0,0.0]]}
{"type":"Polygon","coordinates":[[[-1.0,-1.0],[1.0,-1.0],[1.0,1.0],[0.0,1.0],[-1.0,1.0],[-1.0,-1.0]]]}12000{"type":"Polygon","coordinates":[[[-1.0,1.0],[1.0,1.0],[1.0,-1.0],[-1.0,-1.0],[-1.0,1.0]]]}
{"type":"MultiLineString","coordinates":[[[0.0,0.0],[5.0,0.1],[10.0,0.0]], [[0.0,-5.0],[5.0,0.1],[10.0,5.0]]]}12000{"type":"MultiLineString","coordinates":[[[0.0,0.0],[10.0,0.0]],[[0.0,-5.0],[10.0,5.0]]]}
{"type":"MultiPolygon","coordinates":[[[[-2.0,-2.0],[2.0,-2.0],[2.0,2.0],[0.0,2.1],[-2.0,2.0],[-2.0,...12000{"type":"MultiPolygon","coordinates":[[[[-2.0,2.0],[2.0,2.0],[2.0,-2.0],[-2.0,-2.0],[-2.0,2.0]], [[1...

詳細は こちら をご覧ください。

Sine

使用可能範囲: Batch, Streaming

角度のサインを求めます。

式のカテゴリー: Numeric

出力タイプ: Double

Example

引数の値:

  • Angle unit: degrees
  • Angle value: angle
angleOutput
0.00.0
90.01.0
180.00.0

詳細は こちら をご覧ください。

Skip bytes

使用可能範囲: Batch, Streaming

バイナリー列内の指定されたバイト数をスキップします。

式のカテゴリー: Binary

出力タイプ: Binary

Example

引数の値:

  • Bytes: aGk=
  • Number of bytes to skip: 1

Output: aQ==

詳細は こちら をご覧ください。

Slice array

使用可能範囲: Batch, Streaming

配列を最初の位置から2番目の位置までスライスして返します。最初の位置は 1 以上でなければなりません。2 番目の位置が配列より長い場合、配列の残りのすべてが返されます。

式のカテゴリー: Array

タイプ変数の制約: T は AnyType を受け入れます

出力タイプ: Array<T>

詳細は こちら をご覧ください。

Soundex

使用可能範囲: Batch

単語のSoundexエンコーディング（音声表現）を計算します。

式のカテゴリー: String

出力タイプ: String

Example

引数の値:

  • Expression: input_string
input_stringOutput
catC300
caatC300
twoT000
tooT000
toT000
fourF600
forF600
foreF600
furF600
meowM000
me owM000

詳細は こちら をご覧ください。

Split string

使用可能範囲: Batch, Streaming

指定された正規表現パターンで文字列を分割します。

式のカテゴリー: String

出力タイプ: Array<String>

Example

引数の値:

  • Expression: string
  • Pattern:
  • Limit: 2
stringOutput
hello[ hello ]
hello world[ hello, world ]
hello there world[ hello, there world ]

詳細は こちら をご覧ください。

Square root

使用可能範囲: Batch, Streaming

列の平方根を計算します。

式のカテゴリー: Numeric

出力タイプ: Double

Example

引数の値:

  • Expression: 9.0

Output: 3.0

詳細は こちら をご覧ください。

Starts with

使用可能範囲: Batch, Streaming

式のカテゴリー: Boolean, String

出力タイプ: Boolean

Example

引数の値:

  • Expression: Hello world
  • Ignore case: true
  • Value: hello

Output: true

詳細は こちら をご覧ください。

String after delimiter

使用可能範囲: Batch, Streaming

最初の区切り文字の後の文字列を抽出します。一致が見つからない場合は完全な文字列を返します。

式のカテゴリー: String

出力タイプ: String

Example

引数の値:

  • Delimiter: hello
  • Expression: ... Hello world
  • Ignore case: true

Output: world

詳細は こちら をご覧ください。

String before delimiter

使用可能範囲: Batch, Streaming

最初の区切り文字の前の文字列を抽出します。一致が見つからない場合は完全な文字列を返します。

式のカテゴリー: String

出力タイプ: String

Example

引数の値:

  • Delimiter: hello
  • Expression: ... Hello world
  • Ignore case: true

Output: ...

詳細は こちら をご覧ください。

String contains

使用可能範囲: Batch, Streaming

式のカテゴリー: Boolean, String

出力タイプ: Boolean

Example

引数の値:

  • Expression: ... Hello world
  • Ignore case: true
  • Value: hello

Output: true

詳細は こちら をご覧ください。

Substring

使用可能範囲: Batch, Streaming

サブストリングを抽出します。

式のカテゴリー: Numeric

出力タイプ: String

Example

引数の値:

  • Expression: string
  • Start: start
  • Length: length
stringstartlengthOutput
hello, world15hello
hello, world85world
hello, world-55world

詳細は こちら をご覧ください。

Subtract multiple expressions

使用可能範囲: Batch, Streaming

数値とすべての入力列の差を計算します。

式のカテゴリー: Numeric

出力タイプ: Numeric

Example

引数の値:

  • Expressions list: [col_b, col_c]
  • Value to be subtracted: col_a
col_acol_bcol_cOutput
5320
240-2
-2-4-24

詳細は こちら をご覧ください。

Subtract numbers

使用可能範囲: Batch, Streaming

ある数値から別の数値を引きます。

式のカテゴリー: Numeric

出力タイプ: Numeric

Example

引数の値:

  • Left: col_a
  • Right: col_b
col_acol_bOutput
32428
-5-3-2

詳細は こちら をご覧ください。

Subtract timestamp/date

使用可能範囲: Batch, Streaming

指定された時間単位での差を返します。

式のカテゴリー: Datetime

出力タイプ: Long

Example

引数の値:

  • End: 2022-10-01T10:00:00Z
  • Start: 2022-10-01T09:00:00Z
  • Unit: HOURS

Output: 1

詳細は こちら をご覧ください。

Subtract value from date

使用可能範囲: Batch, Streaming

指定された日数/週数/月数/四半期/年数前の日付を返します。

式のカテゴリー: Datetime

出力タイプ: Date

Example

引数の値:

  • Date: 2022-04-05
  • Unit: DAYS
  • Value: 2

Output: 2022-04-03

詳細は こちら をご覧ください。

Sum of array elements

使用可能範囲: Batch, Streaming

配列内の要素を合計します。

式のカテゴリー: Array

タイプ変数の制約: T は DefiniteNumeric を受け入れます

出力タイプ: T

Example

引数の値:

  • Expression: [ 1, 2, 3 ]
  • Treat null as zero.: true

Output: 6

詳細は こちら をご覧ください。

Tangent

使用可能範囲: Batch, Streaming

角度のタンジェントを求めます。

式のカテゴリー: Numeric

出力タイプ: Double

Example

引数の値:

  • Angle unit: degrees
  • Angle value: angle
angleOutput
0.00.0
90.01.633123935319537E16
180.00.0

詳細は こちら をご覧ください。

Text segmentation

使用可能範囲: Batch, Streaming

スライディングウィンドウセグメンテーションを使用して一連のテキストセグメントを抽出します。

式のカテゴリー: String

出力タイプ: Array<String>

詳細は こちら をご覧ください。

Text to embeddings

使用可能範囲: Batch

テキストをエンベディングに変換します。

式のカテゴリー: String

出力タイプ: Embedded vector

Example

Description: 'palantir' という単語の例のエンベディング。 引数の値:

  • Model:
    ada002Embedding(

    )
  • Text column: text
  • Output mode: null
textOutput
palantir[ -0.019182289, -0.02127992, 0.009529043, -0.008066221, -0.0014429842, 0.019154688, -0.023556953, -0...

詳細は こちら をご覧ください。

Timestamp add

使用可能範囲: Batch, Streaming

指定された単位でタイムスタンプに値を追加します。

式のカテゴリー: Datetime

出力タイプ: Timestamp

Example

引数の値:

  • Timestamp: 2022-02-01T00:00:00Z
  • Unit: MILLISECONDS
  • Value to add: 2

Output: 2022-02-01T00:00:00.002Z

詳細は こちら をご覧ください。

Timestamp sequence

使用可能範囲: Batch

開始から終了までの範囲のタイムスタンプを含む配列を作成します。

式のカテゴリー: Datetime

出力タイプ: Array<Timestamp>

Example

引数の値:

  • End time: end_time
  • Start time: start_time
  • Step unit: DAYS
  • Step size: 1.0
start_timeend_timeOutput
2023-01-01T00:00:00Z2023-01-03T00:00:00Z[ 2023-01-01T00:00:00Z, 2023-01-02T00:00:00Z, 2023-01-03T00:00:00Z ]
2023-01-01T01:50:00Z2023-01-03T00:00:00Z[ 2023-01-01T01:50:00Z, 2023-01-02T01:50:00Z ]

詳細は こちら をご覧ください。

Timestamp subtract

使用可能範囲: Batch, Streaming

指定された単位でタイムスタンプから値を引きます。

式のカテゴリー: Datetime

出力タイプ: Timestamp

Example

引数の値:

  • Timestamp: 2022-02-02T00:00:00Z
  • Unit: MILLISECONDS
  • Value to subtract: 2

Output: 2022-02-01T23:59:59.998Z

詳細は こちら をご覧ください。

Timestamp to epoch millis

使用可能範囲: Batch, Streaming

UTCのタイムスタンプをエポックミリ秒に変換します。

式のカテゴリー: Cast, Datetime

出力タイプ: Long

Example

引数の値:

  • Timestamp: 2022-10-01T09:00:00Z

Output: 1664614800000

詳細は こちら をご覧ください。

Timestamp to epoch seconds

使用可能範囲: Batch, Streaming

UTCのタイムスタンプをエポック秒に変換します。

式のカテゴリー: Cast, Datetime

出力タイプ: Long

Example

引数の値:

  • Timestamp: 2022-10-01T09:01:13.47Z

Output: 1664614873

詳細は こちら をご覧ください。

Title case

使用可能範囲: Batch, Streaming

各単語の最初の文字を大文字にし、残りを小文字に変換します。

式のカテゴリー: String

出力タイプ: String

Example

引数の値:

  • Expression: hello world

Output: Hello World

詳細は こちら をご覧ください。

Transcribe audio into json using cpu

使用可能範囲: Batch

CPUを使用してオーディオファイルをjsonに書き起こします。

式のカテゴリー: Media

出力タイプ: String

詳細は こちら をご覧ください。

Transcribe audio into json using gpu

使用可能範囲: Batch

GPUを使用してオーディオファイルをjsonに書き起こします。

式のカテゴリー: Media

出力タイプ: String

詳細は こちら をご覧ください。

Transcribe audio into text

使用可能

例

引数の値:

  • Expression: salary
  • Output projection expression: salary
  • Filter condition:
    greaterThan(
     left: salary,
     right: 0,
    )

入力テーブル:

dep_namesalary
develop-999
develop4000
develop3000

出力: 3000

詳細はこちらをご覧ください。

Mode

サポート対象: Batch

列の値の最頻値を計算します。

Expression カテゴリー: Aggregate

Type 変数の制約: String accepts String

出力タイプ: String

例

引数の値:

  • Expression: values

入力テーブル:

values
a
b
b
b
c
c
d

出力: b

詳細はこちらをご覧ください。

Percent rank

サポート対象: Batch

ウィンドウパーティション内の行のパーセンタイルを返します。同点の場合、同じパーセンタイルが割り当てられます。

Expression カテゴリー: Aggregate

出力タイプ: Double

詳細はこちらをご覧ください。

Pivot

サポート対象: Streaming

ピボットコンテキストで集計式を適用します。集計は、ピボット式の各異なる値にスコープされた個別の集計として実行されます。出力はピボット値から集計式の値へのマップです。

Expression カテゴリー: Aggregate

Type 変数の制約: K accepts ComparableType**V accepts AnyType

出力タイプ: Map<K, V>

例

引数の値:

  • Aggregate expression:
    sum(
     expression: value,
    )
  • Pivot expression: pivot

入力テーブル:

pivotvalue
a1
b2
a3

出力: {
 a -> 4,
 b -> 2,
}

詳細はこちらをご覧ください。

Product

サポート対象: Batch

入力列の積を計算します。

Expression カテゴリー: Numeric

出力タイプ: Double

例

引数の値:

  • Expression: factor

入力テーブル:

factor
2
4
3

出力: 24.0

詳細はこちらをご覧ください。

Rank

サポート対象: Batch

ウィンドウパーティション内の行の順位を返します。同点の場合、行は同じ順位を取得します。rank と dense_rank の違いは、同点がある場合、rank はランキングシーケンスにギャップを残すことです。

Expression カテゴリー: Aggregate

出力タイプ: Integer

詳細はこちらをご覧ください。

Row count

サポート対象: Batch, Streaming

グループ内の null でない行の数をカウントします。

Expression カテゴリー: Aggregate

出力タイプ: Long

例

引数の値:

  • Expression: values

入力テーブル:

values
2
4
3

出力: 3

詳細はこちらをご覧ください。

Row number

サポート対象: Batch, Streaming

各パーティション内で 1 から始まる連続番号を返します。

Expression カテゴリー: Aggregate

出力タイプ: Integer

詳細はこちらをご覧ください。

Sample covariance

サポート対象: Batch, Streaming

2 列の値の標本共分散を計算します。

Expression カテゴリー: Aggregate

出力タイプ: Double

例

引数の値:

  • Left: left
  • Right: right

入力テーブル:

leftright
15
24
33
42
51

出力: -2.5

詳細はこちらをご覧ください。

Sample variance

サポート対象: Batch, Streaming

列の値の標本分散を計算します。

Expression カテゴリー: Aggregate

出力タイプ: Double

例

引数の値:

  • Expression: values

入力テーブル:

values
2
2
3

出力: 0.33333333333

詳細はこちらをご覧ください。

Standard deviation

サポート対象: Batch

列の値の標準偏差を計算します。

Expression カテゴリー: Numeric

出力タイプ: Double

例

引数の値:

  • Expression: values

入力テーブル:

values
2
4
3

出力: 0.81649658092773

詳細はこちらをご覧ください。

Sum

サポート対象: Batch, Streaming

指定された式を合計します。

Expression カテゴリー: Numeric

出力タイプ: Decimal | Double | Long

例

引数の値:

  • Expression: values

入力テーブル:

values
2
4
3

出力: 9

詳細はこちらをご覧ください。

Variance

サポート対象: Batch, Streaming

列の値の母分散を計算します。

Expression カテゴリー: Aggregate

出力タイプ: Double

例

引数の値:

  • Expression: values

入力テーブル:

values
2
4
3

出力: 0.66666666667

詳細はこちらをご覧ください。

Generator expressions

Explode array

サポート対象: Batch, Streaming

配列を値ごとに行に分解します。

Expression カテゴリー: Array

Type 変数の制約: T accepts AnyType

出力タイプ: T

詳細はこちらをご覧ください。

Explode array with position

サポート対象: Batch, Streaming

配列を値ごとに行に分解し、その要素の配列内での相対位置と要素自体を含む構造体として出力します。

Expression カテゴリー: Array

Type 変数の制約: T accepts AnyType

出力タイプ: Struct<Optional[position], Optional[element]>

詳細はこちらをご覧ください。

Explode map

サポート対象: Batch, Streaming

マップをキーと値のペアごとに行に分解します。

Expression カテゴリー: Map

Type 変数の制約: TKey accepts AnyType**TValue accepts AnyType

出力タイプ: Struct<Optional[key], Optional[value]>

詳細はこちらをご覧ください。

Transforms

Aggregate

サポート対象: Batch

指定された集計を一連の列でグループ化された入力データセットに対して実行します。

Transform カテゴリー: Aggregate, Popular

例

引数の値:

  • Aggregations: [
    alias(
     alias: factor,
     expression:
    sum(
     expression: factor,
    ),
    )]
  • Dataset: ri.foundry.main.dataset.aggregate
  • Group by 列: [tail_number]

入力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11343

出力:

tail_numberfactor
XB-12310
MT-2229
KK-4521

詳細はこちらをご覧ください。

Aggregate on condition

サポート対象: Batch

条件文に基づいて集計式を実行します。

Transform カテゴリー: Aggregate

詳細はこちらをご覧ください。

Aggregate over window

サポート対象: Streaming

指定された集計をウィンドウ内のデータに対して実行し、提供されたトリガーに従って出力を生成します。

Transform カテゴリー: Aggregate

詳細はこちらをご覧ください。

Anti join

サポート対象: Batch

条件に一致する行を削除するために、左と右のデータセット入力をアンチ結合します。

Transform カテゴリー: Join

例

引数の値:

  • 左の列を選択する条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • Left dataset: ri.foundry.main.dataset.left
  • Right dataset: ri.foundry.main.dataset.right

入力: ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairline
PA-452new air

詳細はこちらをご覧ください。

Apply expression

サポート対象: Batch, Streaming

単一の式を適用して入力データセットを変換します。

Transform カテゴリー: Other

例

引数の値:

  • Dataset: ri.foundry.main.dataset.a
  • Expression:
    alias(
     alias: kilometers,
     expression:
    convertDistance(
     amount: miles,
     currentUnit: mile,
     targetUnit: kilometer,
    ),
    )

入力:

airlinemiles
foundry airways2500
new air3000

出力:

kilometersairlinemiles
4023.36foundry airways2500
4828.03new air3000

詳細はこちらをご覧ください。

Array elements to columns

サポート対象: Batch

配列から要素を抽出して列に変換します。

Transform カテゴリー: Array

例

引数の値:

  • Array: stats
  • 抽出する列: [miles, id]
  • Dataset: ri.foundry.main.dataset.a

入力:

stats
[ 1000, 2 ]

出力:

milesidstats
10002[ 1000, 2 ]

詳細はこちらをご覧ください。

Assign timestamps and watermarks

サポート対象: Streaming

入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプが null のレコードをフィルター処理する。

Transform カテゴリー: Other

例

引数の値:

  • Dataset: ri.foundry.main.dataset.a
  • Timestamp expression: timestamp
  • Emit watermark on every record: null

入力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

出力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

詳細はこちらをご覧ください。

Coalesce data

サポート対象: Batch

パーティションの数を減らす操作です。たとえば、1000 のパーティションがあり、100 に縮小した場合、シャッフルは行われず、100 の新しいパーティションのそれぞれが現在のパーティションの 10 を取得します。より多くのパーティションが要求された場合、現在のパーティション数のままになります。

Transform カテゴリー: Other

詳細はこちらをご覧ください。

Compute if expression absent

サポート対象: Batch

新しい行に対して式を計算します。キーに対する値は一度だけ計算され、ビルド間でも同じです。

Transform カテゴリー: Other

詳細はこちらをご覧ください。

Convert media set to table rows

サポート対象: Batch

メディアセット内のメディアリファレンスとメディアアイテムの基本メタデータを含むデータセットを生成します。他のメディアトランスフォームを適用するには、まずこのトランスフォームを使用します。

Transform カテゴリー: File, Media

詳細はこちらをご覧ください。

Cross join

サポート対象: Batch

左と右のデータセット入力をクロス結合し、各側のすべての行を他の側のすべての行と一致させます。出力は 2 つのデータセットのデカルト積です。

Transform カテゴリー: Join

例

引数の値:

  • 左の列を選択する条件:
    columnNameIsIn(
     columnNames: [tail_number, airline],
    )
  • 右の列を選択する条件:
    columnNameIsIn(
     columnNames: [home_airport],
    )
  • Left dataset: ri.foundry.main.dataset.left
  • Right dataset: ri.foundry.main.dataset.right
  • 右の列の接頭辞: null

入力: ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
PA-452new air2122

例

引数の値:

  • 左の列を選択する条件:
    allColumns(

    )
  • 右の列を選択する条件:
    allColumns(

    )
  • 結合キー: (geometryColLhs, geometryColRhs)
  • 左のデータセット: ri.foundry.main.dataset.left
  • 右のデータセット: ri.foundry.main.dataset.right
  • 右の列のプレフィックス: null

入力: ri.foundry.main.dataset.left

geometryColLhscol1Lhs
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0
{"coordinates": [55.0, 5.0], "type":"Point"}43.0

ri.foundry.main.dataset.right

geometryColRhscol1Rhs
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

出力:

geometryColLhscol1LhsgeometryColRhscol1Rhs
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [55.0, 5.0], "type":"Point"}43.0nullnull

詳細はこちらをご覧ください。

GeoPoint-to-GeoPoint 3d distance inner join

対応: バッチ

ポイントジオメトリ間の距離に基づいて左と右のデータセットを内部結合します。ジオメトリはポイントを表す必要があり、z座標を含むこともできます。内部的には、結合前にジオメトリを指定された投影座標リファレンスシステムに変換し、結合後にWGS84に戻します。非ポイントジオメトリは無視され、右のデータセット全体がドライバーおよびエグゼキューターのメモリに収まる必要があります。3 gbのエグゼキューターは、最大400万ポイントのneighborsデータセットを処理できます。

トランスフォームカテゴリー: ジオスペーシャル, 結合

例

引数の値:

  • 左の列を選択する条件:
    columnNameIsIn(
     columnNames: [geometryColLhs, lhs-1],
    )
  • 右の列を選択する条件:
    columnNameIsIn(
     columnNames: [geometryCol, arrayCol],
    )
  • 距離: 2.5
  • 結合キー: (geometryColLhs, geometryCol)
  • 左のデータセット: ri.foundry.main.dataset.left
  • 投影座標システム: EPSG:4326
  • 右のデータセット: ri.foundry.main.dataset.right
  • z座標を使用: false
  • 右の列のプレフィックス: rhs_

入力: ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0
{"coordinates": [0.0, 0.0], "type":"Point"}44.0

ri.foundry.main.dataset.right

geometryColcol1arrayCol
{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}rhsVal1[ 0.0, 1.0 ]
{"coordinates": [0.0, 1.0], "type":"Point"}rhsVal2[ 0.0, 1.0 ]

出力:

geometryColLhslhs-1rhs_geometryColrhs_arrayCol
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 0.0], "type":"Point"}42.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0, 5.0], "type":"Point"}43.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 0.0, 2.0], "type":"Point"}[ 0.0, 1.0 ]
{"coordinates": [0.0, 0.0], "type":"Point"}44.0{"coordinates": [0.0, 1.0], "type":"Point"}[ 0.0, 1.0 ]

詳細はこちらをご覧ください。

Geometry intersection join

対応: バッチ

入力ジオメトリが重なるかどうかに基づいて左と右のデータセットを内部結合します。結合キー列ペアにジオメトリが交差する場合、両方のデータセットからすべての列を含む行を返します。現在、複数の結合キーでの結合はサポートしていません。nullの結合キーのジオメトリ値を黙ってフィルター処理します。左と右のデータセットは同じ列名を持たないようにしてください。結合列の無効なGeoJSONは黙ってnullにします。

トランスフォームカテゴリー: ジオスペーシャル, 結合

例

引数の値:

  • 結合キー: [(geometryColLhs, geometryColRhs)]
  • 左のデータセット: ri.foundry.main.dataset.left
  • 右のデータセット: ri.foundry.main.dataset.right

入力: ri.foundry.main.dataset.left

geometryColLhslhs-1
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0

ri.foundry.main.dataset.right

geometryColRhsrhs-1
{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]], "type": "Polygon"}rhsVal2
{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [15.0, 15.0], "type":"Point"}rhsVal4
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal6
{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[20.0, 20.0], [21.0, 23.0]], "type":"LineString"}rhsVal8
{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal9
{"coordinates": [[[[170.0, 170.0], [190.0, 170.0], [190.0, 190.0], [170.0, 190.0], [170.0, 170.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"}rhsVal10

出力:

geometryColLhslhs-1geometryColRhsrhs-1
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"}rhsVal1
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [0.0, 0.0], "type":"Point"}rhsVal3
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal5
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"}rhsVal7
{"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"}42.0{"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0,

Project over window

サポートされている形式: Batch, Streaming

ウィンドウ内のデータに対して指定された集計を実行します。新しい行が受信されるたびに 1 行を出力します。

トランスフォームカテゴリー: Aggregate

詳細は こちらをご覧ください。

Rename columns

サポートされている形式: Batch, Streaming

列のセットの名前を変更します。

トランスフォームカテゴリー: Data preparation, Popular

例

引数の値:

  • 入力データセット: ri.foundry.main.dataset.a
  • 名前変更: [(recently_serviced, does_not_require_service)]

入力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

出力:

does_not_require_servicetail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

詳細は こちらをご覧ください。

Repartition data

サポートされている形式: Batch

任意に指定されたパーティショニング列と結果のパーティション数に基づいてデータのシャッフルを強制します。これらが指定されていない場合、パーティショニングは自動的に決定されます。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Rollup

サポートされている形式: Batch

入力データセットに対して異なる粒度で指定された集計を実行し、中間およびスーパー集計を提供します。

トランスフォームカテゴリー: Aggregate

例

引数の値:

  • 集計: [
    alias(
     alias: mean_price,
     expression:
    mean(
     expression: price,
    ),
    )]
  • データセット: ri.foundry.main.dataset.rollupBaseCase
  • ロールアップ列: [city, model]

入力:

citymodelpricestore
Londonnew phone900.0MegaMart
Londonnew phone850.75AA
Londonnew phone870.75ABC Zone
San Francisconew phone1000.0Prescos
San Francisconew phone950.25XZY Force
San Francisconew phone1105.7Phone Mart
LondonforestX 20750.1MegaMart
LondonforestX 20690.0AA
LondonforestX 20730.0ABC Zone
San FranciscoforestX 20890.4Prescos
San FranciscoforestX 20900.1XZY Force
San FranciscoforestX 201050.75Phone Mart

出力:

citymodelmean_price
Londonnew phone873.8333333333334
LondonforestX 20723.3666666666667
Londonnull798.6
San Francisconew phone1018.65
San FranciscoforestX 20947.0833333333334
San Francisconull982.8666666666667
nullnull890.7333333333335

詳細は こちらをご覧ください。

Row size

サポートされている形式: Batch

JVM内の単一行のサイズを推定します。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Select columns

サポートされている形式: Batch, Streaming

入力データセットから列のセットを選択します。

トランスフォームカテゴリー: Popular

詳細は こちらをご覧ください。

Semi join

サポートされている形式: Batch

左と右のデータセット入力をセミジョインします。結合条件に一致しないすべての行を削除します。

トランスフォームカテゴリー: Join

例

引数の値:

  • 左側で選択する列の条件:
    allColumns(

    )
  • 結合条件:
    equals(
     left: tail_number,
     right: tail_number,
    )
  • 左側データセット: ri.foundry.main.dataset.left
  • 右側データセット: ri.foundry.main.dataset.right

入力: ri.foundry.main.dataset.left

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
PA-452new air2122
XB-123foundry airline11342

ri.foundry.main.dataset.right

tail_numberhome_airport
XB-123LHR
MT-222CPH
KK-452JFK
JR-201IAD

出力:

tail_numberairlinemilesfactor
XB-123foundry air1242
MT-222new airline11235
XB-123foundry airline3355
MT-222new air5654
KK-452new air2221
XB-123foundry airline11342

詳細は こちらをご覧ください。

Sort

サポートされている形式: Batch

入力データセットを列を選択するか、列に関数を適用することで変換します。

トランスフォームカテゴリー: Other

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 並べ替え仕様: [(b, DESCENDING)]

入力:

ab
12
34
56

出力:

ab
56
34
12

詳細は こちらをご覧ください。

Text block

サポートされている形式: Batch, Streaming

トランスフォーム間にテキスト説明を挿入します。これにより入力データは一切変換されません。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Time bounded drop duplicates

サポートされている形式: Streaming

指定された列のサブセットに対して入力の重複行を削除します。行が一定のイベント時間後に期限切れになります。設定されたイベント時間を超えて遅れて到着する行は常に削除されます。指定されたキーでパーティションを分けます。各重複削除は、異なるキー列値に対して個別に計算されます。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Time bounded drop out of order

サポートされている形式: Streaming

キー列のすべての値が同じで順序が乱れている行を削除します。並べ替え列と方向に基づいて同じキー値を持つすでに受信された行の前に来る行は順序が乱れていると見なされます。2つの行は、最初に並べ替え列と方向を評価し、次にタイが発生した場合にのみ次の並べ替え列と方向に進むことで比較され、順序が決定されるか、すべての並べ替え列が同じ場合は行が等しいことになります。各キーの現在の最大値は、キーに対して新しい行がイベント時間の期限以上に見られなくなるまで保存されます。キーに対して新しい行が期限以上に見られなくなった後、そのキーの新しい行は決して削除されず、新しい現在の最大値として常に保存されます。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Time bounded event time sort

サポートされている形式: Streaming

遅れて到着するレコードを許容するイベント時間順にキーごとに行を昇順で出力します。許容される遅延プラス小さなバッファ間隔を超えて到着するレコードは削除されます。

トランスフォームカテゴリー: Other

詳細は こちらをご覧ください。

Top rows

サポートされている形式: Batch

各並べ替えパーティションで上位の行を選びます。

トランスフォームカテゴリー: Aggregate

例

引数の値:

  • データセット: ri.foundry.main.dataset.a
  • 列によるパーティション: {airline}
  • 並べ替え仕様: [(airport, DESCENDING), (miles, ASCENDING)]
  • 行数: null

入力:

airlineairportmiles
foundry airwaysJFK1002345
foundry airwaysLHR2221324
new airSFO21356673
new airJFK12323456
foundry airwaysLHR12542352
new airJFK12232355

出力:

airlineairportmiles
foundry airwaysLHR2221324
new airSFO21356673

詳細は こちらをご覧ください。

Union by name

サポートされている形式: Batch, Streaming

一致する列名でデータセットを結合します。

トランスフォームカテゴリー: Join

例

引数の値:

  • 結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

入力: ri.foundry.main.dataset.a

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_numberairline_code
trueKK-150KK
falseXB-120XB
trueMT-190MT
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細は こちらをご覧ください。

Unpivot

サポートされている形式: Batch, Streaming

ピボットの反対を行います。

トランスフォームカテゴリー: Aggregate, Popular

型変数の制約: T は AnyType を受け入れる

例

引数の値:

  • アンピボットする列: [new_york_miles, london_miles]
  • データセット: ri.foundry.main.dataset.a
  • アンピボットされた列の出力列名: city
  • アンピボットされた値の出力列名: miles

入力:

airlinenew_york_mileslondon_miles
foundry airways10006000
new airnull8000

出力:

citymilesairline
new_york_miles1000foundry airways
london_miles6000foundry airways
new_york_milesnullnew air
london_miles8000new air

詳細は こちらをご覧ください。

Wide union by name

サポートされている形式: Batch, Streaming

列名のスーパーセットに基づいてデータセットを結合し、列が欠落している場合は null を追加します。

トランスフォームカテゴリー: Join

例

引数の値:

  • 結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b]

入力: ri.foundry.main.dataset.a

recently_servicedtail_number
trueKK-150
falseXB-120
trueMT-190

ri.foundry.main.dataset.b

recently_servicedtail_numberairline_code
trueAA-200AA
trueBN-435BN
trueBN-111BN

出力:

recently_servicedtail_numberairline_code
trueKK-150null
falseXB-120null
trueMT-190null
trueAA-200AA
trueBN-435BN
trueBN-111BN

詳細は こちらをご覧ください。

Window

サポートされている形式: Batch

指定された集計を、列のセットでグループ化された入力データセットに対して実行します。

トランスフォームカテゴリー: Aggregate, Popular

詳細は こちらをご覧ください。