注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Pipeline Builder でデータセットのバッチパイプラインを作成する

このチュートリアルでは、Pipeline Builder を使用して、フライトアラートの情報を含む1個のデータセットを出力するシンプルなパイプラインを作成します。その後、Contour や Code Workbook などのツールでこの出力データセットを分析し、運航に支障が生じるリスクが最も高い飛行経路はどれか、といった問いに答えることができます。

以下で使用するデータセットは、データセットのインポートステップで名前を指定して検索できます。これらは Foundry のファイルシステム内にあります。

このチュートリアルを終えると、次のようなパイプラインが完成します。

完成した Pipeline Builder のパイプライン。

このパイプラインは、Flight Alerts Data という新しいデータセットを出力します。このデータセットを使用して、プラットフォーム上でさらに探索を進められます。より詳しいウォークスルーについては、Palantir Learning ポータルの初めてのパイプライン構築に関する詳細コース ↗を参照してください。

パート1:初期セットアップ

まず、新しいパイプラインを作成します。

  1. Foundry にログインした状態で、左側のナビゲーションサイドバーからアプリケーションを選択し、Pipeline Builder を検索して開きます。

    アプリケーション検索で見つかった Pipeline Builder アプリケーション。

  2. 次に、Pipeline Builder のランディングページで、新規作成を選択し、続いてバッチパイプラインを選択して、新しいパイプラインを作成します。バッチ計算を選択で、標準を選択します。

    新しいパイプラインの作成ページで、デフォルトのバッチ計算オプションとして高速が選択されている様子。

ストリーミングパイプラインの作成機能は、すべての Foundry 環境で利用できるわけではありません。ユースケースでこの機能が必要な場合は、詳細について Palantir サポートにお問い合わせください。

  1. パイプラインの保存場所を選択します。個人フォルダにはパイプラインを保存できません。

    パイプラインの場所を選択するポップオーバー。

  2. パイプラインの作成を選択します。

パート2:データセットを追加する

これで、パイプラインのワークフローにデータセットを追加できます。架空のデータまたはオープンソースデータのサンプルデータセットを使用します。

Pipeline Builder のページから、Foundry のデータセットを追加を選択します。

パイプラインにデータセットを追加します。

または、コンピューターからファイルをドラッグアンドドロップして、データセットとして使用することもできます。

このウォークスルーの例では、passengers_preprocessed、flight_alerts_raw、status_mapping_raw の各データセットを追加できます。データセットを選んで追加するには、データセットを選択します。次に、インラインの + アイコンを選択するか、選択に追加を選択します。

+ アイコンを使用してデータセットを追加します。

必要なデータセットをすべて選択したら、データセットを追加を選択します。

Pipeline Builder のグラフ上にある3個のデータセットノード。

パート3:データをクリーンアップする

生データセットを追加したら、基本的なクリーンアップのデータ加工を行い、パイプラインの定義を進めることができます。ここでは、3個の生データセットを加工します。

データセット1

最初のステップでは、passengers_preprocessed データセットをクリーンアップします。まず、dob 列の名前を dob_date に変更し、値を MM/dd/yy 形式に変換する型変換のデータ加工を設定します。

型変換のデータ加工

  1. グラフで passengers_preprocessed ノードを選択します。

  2. データ加工を選択します。

    グラフからデータセットの加工を選択します。

  3. ドロップダウンメニューで型変換のデータ加工を検索して選択し、型変換の設定ボードを開きます。

    選択したデータセットに型変換のデータ加工を適用します。

  4. 式フィールドで dob を選択し、データ型で Date を選択します。

  5. 書式に MM/dd/yy を入力します。型変換のデータ加工を成功させるため、必ず大文字の MM を使用してください。出力列の名前を dob_date に変更します。

    型変換ボードは次のようになります。

    設定済みの型変換のデータ加工ボード。

  6. 適用を選択して、データ加工をパイプラインに追加します。

タイトルケースのデータ加工

次に、flyer_status 列の値が大文字で始まるように書式を設定します。

  1. データ加工の検索フィールドでタイトルの大文字小文字のデータ加工を検索して選択し、タイトルケースの設定ボードを開きます。

  2. 式フィールドのドロップダウンから flyer_status 列を選択します。

    タイトルケースのボードは次のようになります。

    設定済みのタイトルケースのデータ加工ボード。

  3. 適用を選択して、データ加工をパイプラインに追加します。

  4. データ加工の設定ウィンドウの左上隅で、データ加工の名前を Passengers_Clean に変更します。

    データセットに合わせてデータ加工の名前を変更します。

  5. 画面右上のグラフに戻るを選択して、パイプライングラフに戻ります。

    新しいデータ加工ノードが追加されたパイプライングラフ。

データセット2

次に、flight_alerts_raw データセットをクリーンアップします。最初のステップでは、flight-date 列の値を MM/dd/yy 形式に変換する型変換のデータ加工をもう1個設定します。

型変換のデータ加工

  1. グラフで flight_alerts_raw データセットノードを選択します。

  2. データ加工を選択します。

    グラフから新しいデータセットの加工を選択します。

  3. ドロップダウンメニューで型変換のデータ加工を検索して選択し、型変換の設定ボードを開きます。選択ボックスの右側に表示される関数定義を読むと、関数の詳細を確認できます。

    型変換のデータ加工ボードを検索します。

  4. 式フィールドのドロップダウンから flight_date 列を選択します。

  5. データ型フィールドのドロップダウンメニューから Date を選択します。

  6. 書式に MM/dd/yy を入力します。型変換のデータ加工を成功させるため、必ず大文字の MM を使用してください。

    型変換ボードは次のようになります。

    設定済みの型変換のデータ加工ボード。

  7. 適用を選択して、データ加工をパイプラインに追加します。

文字列クリーンアップのデータ加工

次に、category 列の値から空白を削除する文字列をクリーンアップのデータ加工を追加します。たとえば、このデータ加工は文字列の値 delay··· を delay に変換します。

  1. ドロップダウンで文字列クリーンアップのデータ加工を検索して選択し、文字列クリーンアップの設定ボードを開きます。

  2. 式フィールドのドロップダウンメニューから category 列を選択します。

  3. クリーンアップ操作の3個のオプションすべてのチェックボックスをオンにします。

    • 空の文字列を null に変換
    • 連続する複数の空白文字を1個の空白にまとめる
    • 文字列の先頭と末尾の空白を削除

    文字列クリーンアップのボードは次のようになります。

    設定済みの文字列クリーンアップのデータ加工ボード。

  4. 適用を選択して、データ加工をパイプラインに追加します。

  5. データ加工の設定ウィンドウの左上隅で、データ加工の名前を Flight Alerts - Clean に変更します。

  6. 右上のグラフに戻るを選択して、パイプライングラフに戻ります。

    2個のデータ加工ノードがある Pipeline Builder のグラフ。

データセット3

最後に、status_mapping_raw データセットをクリーンアップします。

文字列クリーンアップのデータ加工

このデータセットには、文字列をクリーンアップのデータ加工のみを適用します。

  1. グラフで status_mapping_raw データセットノードを選択します。

  2. データ加工を選択します。

    グラフからデータセットの加工を選択します。

  3. データ加工と列を検索… フィールドのドロップダウンメニューから mapped_value 列を選択します。

    データ加工ボードで mapped_value 列を選択します。

  4. 同じフィールドで文字列クリーンアップのデータ加工を検索し、ドロップダウンから選択します。

  5. クリーンアップ操作の3個のオプションすべてのチェックボックスをオンにします。

  • 空の文字列を null に変換

  • 連続する複数の空白文字を1個の空白にまとめる

  • 文字列の先頭と末尾の空白を削除

    文字列クリーンアップのボードは次のようになります。

    設定済みの文字列クリーンアップのデータ加工ボード。

  1. 適用を選択して、データ加工をパイプラインに追加します。

  2. データ加工の設定ウィンドウの左上隅で、データ加工の名前を Status Mapping - Clean に変更します。

  3. 右上のグラフに戻るを選択して、パイプライングラフに戻ります。

    追加したデータ加工と、その適用先のデータセットとの接続を確認できます。

    3個のデータセットノードと3個のデータ加工ノードがある Pipeline Builder のグラフ。

パート4:データセットを結合する

ここからは、クリーンアップしたデータセットを結合して組み合わせます。結合では、一致する列が1つ以上あるデータセットを組み合わせることができます。パイプラインのワークフローに2個の結合を追加します。

結合1

最初の結合では、クリーンアップしたデータセットを2個組み合わせます。

  1. Flight Alerts - Clean データ加工ノードを選択します。これが結合の左側になります。

  2. 結合を選択します。

    グラフからデータセットの結合を選択します。

  3. Status Mapping - Clean ノードを選択し、結合の右側として追加します。

  4. 編集開始を選択して、結合設定ボードを開きます。

    編集開始を選択して、選択したデータセットを結合します。

  5. 結合の種類が左結合に設定されていることを確認します。

  6. 結合条件の列を、status が value に等しい条件に設定します。

  7. 詳細を表示を選択して、追加の設定オプションを表示します。

  8. 右側の Status Mapping - Clean データセットの接頭辞を status に設定します。

    結合設定ボードは次のようになります。

    設定済みの結合ボード。

  9. 適用を選択して、パイプラインに結合を追加します。

  10. 設定ウィンドウ下部のプレビューペインで、結合の出力テーブルのプレビューを表示します。

    結合の出力のプレビュー。

  11. 結合設定ウィンドウの左上で、結合の名前を Join Status に変更します。

  12. 右上のグラフに戻るを選択して、パイプライングラフに戻ります。

    新しい結合ノードを含むパイプライングラフ。

  13. グラフを見やすくするには、配置アイコンを選択してデータセットを自動的に配置するか、接続されている2個のデータセットを手動でドラッグして隣り合わせに配置します。

    配置ツールを使って、パイプライングラフを見やすく整理します。

結合2

2個目の結合では、最初の結合の出力テーブルを別の生データセットと組み合わせます。

  1. データセットを追加を選択して、priority_mapping_raw データセットをグラフに追加します。

  2. グラフに追加したばかりの Join Status ノードを選択します。これが結合の左側になります。

  3. 結合を選択します。

  4. priority_mapping_raw データセットノードを選択し、結合の右側として追加します。

  5. 編集開始を選択して、設定ボードを開きます。

    編集開始を選択して、選択したノードを結合します。

  6. 結合の種類が左結合に設定されていることを確認します。

  7. 結合条件の列を、priority が value に等しい条件に設定します。

  8. 詳細を表示を選択して、追加の設定オプションを表示します。

  9. 右側の priority_mapping_raw データセットの接頭辞を priority に設定します。

    結合設定ボードは次のようになります。

    完了した結合設定。

  10. 適用を選択して、パイプラインに結合を追加します。

  11. 設定ウィンドウ下部のプレビューペインで、結合の出力テーブルのプレビューを表示します。

    設定済みの結合のプレビュー。

  12. 結合設定ウィンドウの左上で、結合の名前を Join (2) に変更します。

  13. 右上のグラフに戻るを選択して、パイプライングラフに戻ります。

これで、追加した結合と、その結合を適用したデータセットとの接続を確認できます。

もう1個の結合ノードを含むパイプライングラフ。

パート5:出力を追加する

データの加工と構造化が完了したので、出力を追加できます。このチュートリアルでは、データセット出力を追加します。

  1. Pipeline Builder のグラフの右側にあるパイプラインの出力サイドバーで、出力に Flight Alerts data という名前を付けます。次に、データセット出力を追加を選択します。
  2. 結合ノードの右側にある白い円を選択して Flight Alerts data データセットに接続し、Join (2) を出力にリンクします。
  3. 入力スキーマを使用を選択して、既存のスキーマを使用します。
  4. ここで、保持するデータの列を選択します。この場合は、すべてのデータをまとめて保持します。

    出力データセットに含める列を選択します。

パート6:パイプラインをビルドする

パイプラインをビルドするには、グラフの右上にあるデプロイを選択します。次に、保存してデプロイを選択します。

保存してデプロイを選択して、パイプラインをビルドします

デプロイが成功したことを示す小さなアラートが表示されます。アラートボックスの表示を選択して、Build の進行状況ページを開きます。

ビルドの進行状況ページのスクリーンショット

このページでは、データセット出力が使用可能になるまでビルドの進行状況を監視できます。

成功ステータスのビルドの進行状況ページのスクリーンショット

これで、アクション > 開くを選択してデータセットにアクセスできます。

データセット出力のスクリーンショット

この最後のステップで、パイプラインの出力が生成されました。この出力はデータセットであり、Contour や Code Workbook など、Foundry のほかのアプリケーションでさらに探索できます。