非構造化データのパイプライン

データセットの概要で説明したように、Foundry の非構造化データは、表形式データと同様に、データセット内のファイル群として保存されます。

構造化データと非構造化データのパイプラインで同じように機能するものには、次のものがあります。

• パイプラインをインクリメンタル（差分処理）にして、計算処理のパフォーマンスを最適化できます。
• パイプラインに対するユニットテストを記述できます。
• 出力データセットの計算は、ビルドとスケジュールを使用して実行します。
• Foundry のパイプラインセキュリティ機能により、エンドツーエンドで堅牢なセキュリティを保証できます。

表形式データのパイプラインとの違いには、次のものがあります。

• ドキュメントのガイダンスとサンプルコードの多くは、データフレームの処理を中心に説明していますが、非構造化データではデータフレームを入力のデータ型として使用しません。
• 非構造化データセット内のファイルを読み書きするには、低レベルのファイルシステム API を使用する必要があります。
• 非構造化データセットにはスキーマがないため、表形式データセットの行や列の検証を目的とした一部の機能は利用できません。
• Spark を使用して非構造化ファイルを並列処理できますが、API はデータフレーム処理用のものよりも低レベルで複雑です。

非構造化データのパイプラインをはじめるには、Python および Java トランスフォームのドキュメントの関連箇所を参照してください。

• Python トランスフォーム：非構造化ファイルを読み書きする
• Java トランスフォーム：非構造化ファイルを読み書きする

非構造化データのクレンジングと正規化が完了すると、Code Workbook を使用して非構造化データセットを分析し、Python と R で機械学習モデルをトレーニングできます。Code Workbook での非構造化データへのアクセスについて詳しくはこちら。