注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

サポート対象の言語

データ変換をはじめる前に、各言語の利点と制限を検討することが重要です。次のテーブルは、サポート対象の言語間の主な違いをまとめたものです。

説明SQLPythonJava
*非独占的な言語:*オンラインでドキュメントを利用可能✓✓✓
*ファイルアクセスのサポート:*Foundry データセット内のファイルの読み書きが可能で、非構造化データを加工可能✓✓
トランスフォームレベルのロジックバージョン管理 (TLLV):TLLV のセクションで詳しく説明✓✓
インクリメンタル(差分処理)計算:インクリメンタル計算のセクションで詳しく説明✓✓
継承されたマーキングの削除のサポート✓✓✓
ファイルごとに複数の出力データセットを作成可能✓✓
データセットのプレビューのサポート✓✓✓
カスタム Transforms プロファイル✓✓✓

SQL

SQL は、外部のドキュメントをオンラインで豊富に利用できる言語です。SQL でデータ変換を記述する主な利点は次のとおりです。

  • SQL は、最もパフォーマンスの高い言語です(Spark の最適化も最も多く含まれています)。
  • Transforms SQL では SQL スクラッチパッドを利用でき、サンプルの SQL クエリを実行して SQL 構文を確認できます。

SQL トランスフォームについて詳しくはこちら。

Python

Python は、外部のドキュメントをオンラインで豊富に利用できる言語です。Python 固有の機能やライブラリを活用したい場合は、Python でデータ変換を記述するとよいでしょう。Python API は、SQL などのほかの言語よりも低レベルです。Python を使用する主な利点は次のとおりです。

  • transforms Python ライブラリは、ファイルの読み書きなどの機能を提供する API です。ファイルベースのデータ変換は、データをパースしてクレンジングしたい場合に、データ変換パイプラインの初期段階で役立ちます。
  • pandas、NumPy、そのほかの機械学習ライブラリなど、外部ライブラリの使用が標準でサポートされています。
  • Spark Python (PySpark) API のすべてを利用できます。この API には、ほかの言語では利用できない Spark の追加機能が含まれています。

Python トランスフォームについて詳しくはこちら。

Java

Java は、外部のドキュメントをオンラインで豊富に利用できる言語です。Java 固有の機能を活用したい場合は、Java でデータ変換を記述するとよいでしょう。Java は、SQL などのほかの言語よりも低レベルの API です。Java を使用する主な利点は次のとおりです。

  • transforms Java ライブラリは、ファイルの読み書きなどの機能を提供する API です。ファイルベースのデータ変換は、データをパースしてクレンジングしたい場合に、データ変換パイプラインの初期段階で役立ちます。

Java トランスフォームについて詳しくはこちら。