データ接続と統合パイプラインの構築はじめにPipeline Builder でのデータセットのバッチパイプラインの作成

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Pipeline Builder でデータセットのバッチパイプラインを作成する

このチュートリアルでは、Pipeline Builder を使って、フライトのアラート情報を含む1個のデータセットを出力するシンプルなパイプラインを作成します。その後、Contour や Code Workbook などのツールでこの出力データセットを分析し、運航に支障が生じるリスクが最も高い飛行経路はどれか、といった問いに答えることができます。

以下で使用するデータセットは、データセットのインポート手順で名前を指定して検索できます。Foundry のファイルシステム内にあります。

このチュートリアルを終えると、次のようなパイプラインが完成します。

完成した Pipeline Builder のパイプライン。

このパイプラインは、プラットフォーム内でさらに探索するために使用できる、新しい出力データセット Flight Alerts Data を生成します。より詳細なウォークスルーについては、Palantir Learning ポータルの初めてのパイプラインを作成する詳細コース ↗を参照してください。

パート1：初期セットアップ

まず、新しいパイプラインを作成します。

Foundry にログインした状態で、左側のナビゲーションサイドバーからアプリケーションを選択し、Pipeline Builder を検索して開きます
次に、Pipeline Builder のランディングページで、新規作成を選択してからバッチパイプラインを選択し、新しいパイプラインを作成します。バッチ計算を選択で、標準を選択します。

すべての Foundry 環境でストリーミングパイプラインを作成できるわけではありません。ユースケースで必要な場合は、詳細について Palantir サポートにお問い合わせください。

パイプラインを保存する場所を選択します。パイプラインは個人フォルダには保存できません。
パイプラインの作成を選択します。

パート2：データセットを追加する

これで、パイプラインのワークフローにデータセットを追加できます。架空のデータまたはオープンソースのデータを使ったサンプルデータセットを使用します。

Pipeline Builder のページから、Foundry のデータセットを追加を選択します。

パイプラインにデータセットを追加します。

または、コンピューターからファイルをドラッグアンドドロップして、データセットとして使用することもできます。

このウォークスルーの例では、passengers_preprocessed、flight_alerts_raw、status_mapping_raw のデータセットを追加できます。追加するデータセットを選ぶには、データセットを選択します。次に、インラインの + アイコンを選択するか、選択に追加を選択します。

+ アイコンを使ってデータセットを追加します。

必要なデータセットをすべて選択したら、データセットを追加を選択します。

Pipeline Builder のグラフ上にある3個のデータセットノード。

パート3：データをクリーンアップする

生データセットを追加したら、基本的なクリーンアップのデータ加工を行い、パイプラインの定義を進められます。3個の生データセットを加工します。

データセット1

最初のステップは、passengers_preprocessed データセットのクリーンアップです。まず、キャストのデータ加工を設定して、dob 列の名前を dob_date に変更すると同時に、値を MM/dd/yy 形式に変換します。

キャストのデータ加工

グラフ内の passengers_preprocessed ノードを選択します。
データ加工を選択します。
ドロップダウンメニューで型変換のデータ加工を検索して選択し、キャストの設定ボードを開きます。
式フィールドで dob を選択し、データ型で Date を選択します。
形式に MM/dd/yy を入力します。キャストのデータ加工が成功するように、必ず大文字の MM を使用してください。出力列名を dob_date に変更します。

キャストのボードは次のようになります。
適用を選択して、パイプラインにデータ加工を追加します。

タイトルケースのデータ加工

次に、flyer_status 列の値が大文字で始まるように書式を整えます。

データ加工の検索フィールドでタイトルの大文字小文字のデータ加工を検索して選択し、タイトルケースの設定ボードを開きます。
式フィールドで、ドロップダウンから flyer_status 列を選択します。

タイトルケースのボードは次のようになります。
適用を選択して、パイプラインにデータ加工を追加します。
データ加工の設定ウィンドウの左上で、データ加工の名前を Passengers_Clean に変更します。
画面の右上にあるグラフに戻るを選択して、パイプライングラフに戻ります。

データセット2

次に、flight_alerts_raw データセットをクリーンアップします。最初のステップは、別のキャストのデータ加工を設定して、flight-date 列の値を MM/dd/yy 形式に変換することです。

キャストのデータ加工

グラフ内の flight_alerts_raw データセットノードを選択します。
データ加工を選択します。
ドロップダウンメニューで型変換のデータ加工を検索して選択し、キャストの設定ボードを開きます。選択ボックスの右側に表示される関数の定義を読むと、関数の詳細を確認できます。
式フィールドで、ドロップダウンから flight_date 列を選択します。
データ型フィールドのドロップダウンメニューから Date を選択します。
形式に MM/dd/yy を入力します。キャストのデータ加工が成功するように、必ず大文字の MM を使用してください。

キャストのボードは次のようになります。
適用を選択して、パイプラインにデータ加工を追加します。

文字列のクリーンアップのデータ加工

次に、category 列の値から空白を削除する文字列のクリーンアップのデータ加工を追加します。たとえば、このデータ加工は delay··· という文字列の値を delay に変換します。

ドロップダウンで文字列のクリーンアップのデータ加工を検索して選択し、文字列のクリーンアップの設定ボードを開きます。
式フィールドで、ドロップダウンメニューから category 列を選択します。
クリーンアップ操作の3つのオプションすべてにチェックを入れます。
- 空の文字列を null に変換する
- 連続する複数の空白文字を1つの空白に減らす
- 文字列の先頭と末尾の空白を削除する
文字列のクリーンアップのボードは次のようになります。
適用を選択して、パイプラインにデータ加工を追加します。
データ加工の設定ウィンドウの左上で、データ加工の名前を Flight Alerts - Clean に変更します。
右上にあるグラフに戻るを選択して、パイプライングラフに戻ります。

データセット3

最後に、status_mapping_raw データセットをクリーンアップします。

文字列のクリーンアップのデータ加工

このデータセットには、文字列のクリーンアップのデータ加工のみを適用します。

グラフ内の status_mapping_raw データセットノードを選択します。
データ加工を選択します。
データ加工と列を検索… フィールドで、ドロップダウンメニューから mapped_value 列を選択します。
同じフィールドで、ドロップダウンから文字列のクリーンアップのデータ加工を検索して選択します。
クリーンアップ操作の3つのオプションすべてにチェックを入れます。

空の文字列を null に変換する
連続する複数の空白文字を1つの空白に減らす
文字列の先頭と末尾の空白を削除する

文字列のクリーンアップのボードは次のようになります。

適用を選択して、パイプラインにデータ加工を追加します。
データ加工の設定ウィンドウの左上で、データ加工の名前を Status Mapping - Clean に変更します。
右上にあるグラフに戻るを選択して、パイプライングラフに戻ります。

追加したデータ加工と、その適用先のデータセットとの接続を確認できます。

パート4：データセットを結合する

ここでは、クレンジング済みのデータセットを結合して組み合わせます。結合では、一致する列が1つ以上あるデータセットを組み合わせることができます。パイプラインのワークフローに2個の結合を追加します。

結合1

最初の結合では、クレンジング済みの2個のデータセットを組み合わせます。

Flight Alerts - Clean データ加工ノードを選択します。これが結合の左側になります。
結合を選択します。
Status Mapping - Clean ノードを選択して、結合の右側として追加します。
編集開始を選択して、結合設定ボードを開きます。
結合の種類が左結合に設定されていることを確認します。
結合条件の列を、status が value に等しいという条件に設定します。
詳細を表示を選択して、追加の設定オプションを表示します。
右側の Status Mapping - Clean データセットのプレフィックスを status に設定します。

結合設定ボードは次のようになります。
適用を選択して、パイプラインに結合を追加します。
設定ウィンドウの下部にあるプレビューペインで、結合の出力テーブルのプレビューを表示します。
結合設定ウィンドウの左上で、結合の名前を Join Status に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。
グラフを見やすくするには、配置アイコンを選択してデータセットを自動的に配置するか、接続された2個のデータセットを手動でドラッグして隣り合わせに配置します。

結合2

2個目の結合では、最初の結合の出力テーブルを別の生データセットと組み合わせます。

データセットを追加を選択して、priority_mapping_raw データセットをグラフに追加します。
グラフに追加した Join Status ノードを選択します。これが結合の左側になります。
結合を選択します。
priority_mapping_raw データセットノードを選択して、結合の右側として追加します。
編集開始を選択して、設定ボードを開きます。
結合の種類が左結合に設定されていることを確認します。
結合条件の列を、priority が value に等しいという条件に設定します。
詳細を表示を選択して、追加の設定オプションを表示します。
右側の priority_mapping_raw データセットのプレフィックスを priority に設定します。

結合設定ボードは次のようになります。
適用を選択して、パイプラインに結合を追加します。
設定ウィンドウの下部にあるプレビューペインで、結合の出力テーブルのプレビューを表示します。
結合設定ウィンドウの左上で、結合の名前を Join (2) に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。

追加した結合と、その結合を適用したデータセットとの接続を確認できるようになりました。

別の結合ノードが追加されたパイプライングラフ。

パート5：出力を追加する

データの加工と構造化が完了したので、出力を追加できます。このチュートリアルでは、データセット出力を追加します。

Pipeline Builder のグラフの右側にあるパイプラインの出力サイドバーで、出力に Flight Alerts data という名前を付けます。次に、データセット出力を追加を選択します。
結合ノードの右側にある白い円を選択し、Flight Alerts data データセットに接続して、Join (2) を出力にリンクします。
入力スキーマを使用を選択して、既存のスキーマを使用します。
ここで、保持するデータの列を選択します。この例では、すべてのデータをまとめて保持します。