注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このチュートリアルでは、Pipeline Builder を使用して、フライトアラートの情報を含む1個のデータセットを出力するシンプルなパイプラインを作成します。その後、Contour や Code Workbook などのツールでこの出力データセットを分析し、運航に支障が生じるリスクが最も高い飛行経路はどれか、といった問いに答えることができます。
以下で使用するデータセットは、データセットのインポートステップで名前を指定して検索できます。これらは Foundry のファイルシステム内にあります。
このチュートリアルを終えると、次のようなパイプラインが完成します。

このパイプラインは、Flight Alerts Data という新しいデータセットを出力します。このデータセットを使用して、プラットフォーム上でさらに探索を進められます。より詳しいウォークスルーについては、Palantir Learning ポータルの初めてのパイプライン構築に関する詳細コース ↗を参照してください。
まず、新しいパイプラインを作成します。
Foundry にログインした状態で、左側のナビゲーションサイドバーからアプリケーションを選択し、Pipeline Builder を検索して開きます。
次に、Pipeline Builder のランディングページで、新規作成を選択し、続いてバッチパイプラインを選択して、新しいパイプラインを作成します。バッチ計算を選択で、標準を選択します。
ストリーミングパイプラインの作成機能は、すべての Foundry 環境で利用できるわけではありません。ユースケースでこの機能が必要な場合は、詳細について Palantir サポートにお問い合わせください。
パイプラインの保存場所を選択します。個人フォルダにはパイプラインを保存できません。
パイプラインの作成を選択します。
これで、パイプラインのワークフローにデータセットを追加できます。架空のデータまたはオープンソースデータのサンプルデータセットを使用します。
Pipeline Builder のページから、Foundry のデータセットを追加を選択します。

または、コンピューターからファイルをドラッグアンドドロップして、データセットとして使用することもできます。
このウォークスルーの例では、passengers_preprocessed、flight_alerts_raw、status_mapping_raw の各データセットを追加できます。データセットを選んで追加するには、データセットを選択します。次に、インラインの + アイコンを選択するか、選択に追加を選択します。

必要なデータセットをすべて選択したら、データセットを追加を選択します。

生データセットを追加したら、基本的なクリーンアップのデータ加工を行い、パイプラインの定義を進めることができます。ここでは、3個の生データセットを加工します。
最初のステップでは、passengers_preprocessed データセットをクリーンアップします。まず、dob 列の名前を dob_date に変更し、値を MM/dd/yy 形式に変換する型変換のデータ加工を設定します。
グラフで passengers_preprocessed ノードを選択します。
データ加工を選択します。
ドロップダウンメニューで型変換のデータ加工を検索して選択し、型変換の設定ボードを開きます。
式フィールドで dob を選択し、データ型で Date を選択します。
書式に MM/dd/yy を入力します。型変換のデータ加工を成功させるため、必ず大文字の MM を使用してください。出力列の名前を dob_date に変更します。
型変換ボードは次のようになります。
適用を選択して、データ加工をパイプラインに追加します。
次に、flyer_status 列の値が大文字で始まるように書式を設定します。
データ加工の検索フィールドでタイトルの大文字小文字のデータ加工を検索して選択し、タイトルケースの設定ボードを開きます。
式フィールドのドロップダウンから flyer_status 列を選択します。
タイトルケースのボードは次のようになります。
適用を選択して、データ加工をパイプラインに追加します。
データ加工の設定ウィンドウの左上隅で、データ加工の名前を Passengers_Clean に変更します。
画面右上のグラフに戻るを選択して、パイプライングラフに戻ります。
次に、flight_alerts_raw データセットをクリーンアップします。最初のステップでは、flight-date 列の値を MM/dd/yy 形式に変換する型変換のデータ加工をもう1個設定します。
グラフで flight_alerts_raw データセットノードを選択します。
データ加工を選択します。
ドロップダウンメニューで型変換のデータ加工を検索して選択し、型変換の設定ボードを開きます。選択ボックスの右側に表示される関数定義を読むと、関数の詳細を確認できます。
式フィールドのドロップダウンから flight_date 列を選択します。
データ型フィールドのドロップダウンメニューから Date を選択します。
書式に MM/dd/yy を入力します。型変換のデータ加工を成功させるため、必ず大文字の MM を使用してください。
型変換ボードは次のようになります。
適用を選択して、データ加工をパイプラインに追加します。
次に、category 列の値から空白を削除する文字列をクリーンアップのデータ加工を追加します。たとえば、このデータ加工は文字列の値 delay··· を delay に変換します。
ドロップダウンで文字列クリーンアップのデータ加工を検索して選択し、文字列クリーンアップの設定ボードを開きます。
式フィールドのドロップダウンメニューから category 列を選択します。
クリーンアップ操作の3個のオプションすべてのチェックボックスをオンにします。
文字列クリーンアップのボードは次のようになります。
適用を選択して、データ加工をパイプラインに追加します。
データ加工の設定ウィンドウの左上隅で、データ加工の名前を Flight Alerts - Clean に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。
最後に、status_mapping_raw データセットをクリーンアップします。
このデータセットには、文字列をクリーンアップのデータ加工のみを適用します。
グラフで status_mapping_raw データセットノードを選択します。
データ加工を選択します。
データ加工と列を検索… フィールドのドロップダウンメニューから mapped_value 列を選択します。
同じフィールドで文字列クリーンアップのデータ加工を検索し、ドロップダウンから選択します。
クリーンアップ操作の3個のオプションすべてのチェックボックスをオンにします。
空の文字列を null に変換
連続する複数の空白文字を1個の空白にまとめる
文字列の先頭と末尾の空白を削除
文字列クリーンアップのボードは次のようになります。
適用を選択して、データ加工をパイプラインに追加します。
データ加工の設定ウィンドウの左上隅で、データ加工の名前を Status Mapping - Clean に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。
追加したデータ加工と、その適用先のデータセットとの接続を確認できます。
ここからは、クリーンアップしたデータセットを結合して組み合わせます。結合では、一致する列が1つ以上あるデータセットを組み合わせることができます。パイプラインのワークフローに2個の結合を追加します。
最初の結合では、クリーンアップしたデータセットを2個組み合わせます。
Flight Alerts - Clean データ加工ノードを選択します。これが結合の左側になります。
結合を選択します。
Status Mapping - Clean ノードを選択し、結合の右側として追加します。
編集開始を選択して、結合設定ボードを開きます。
結合の種類が左結合に設定されていることを確認します。
結合条件の列を、status が value に等しい条件に設定します。
詳細を表示を選択して、追加の設定オプションを表示します。
右側の Status Mapping - Clean データセットの接頭辞を status に設定します。
結合設定ボードは次のようになります。
適用を選択して、パイプラインに結合を追加します。
設定ウィンドウ下部のプレビューペインで、結合の出力テーブルのプレビューを表示します。
結合設定ウィンドウの左上で、結合の名前を Join Status に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。
グラフを見やすくするには、配置アイコンを選択してデータセットを自動的に配置するか、接続されている2個のデータセットを手動でドラッグして隣り合わせに配置します。
2個目の結合では、最初の結合の出力テーブルを別の生データセットと組み合わせます。
データセットを追加を選択して、priority_mapping_raw データセットをグラフに追加します。
グラフに追加したばかりの Join Status ノードを選択します。これが結合の左側になります。
結合を選択します。
priority_mapping_raw データセットノードを選択し、結合の右側として追加します。
編集開始を選択して、設定ボードを開きます。
結合の種類が左結合に設定されていることを確認します。
結合条件の列を、priority が value に等しい条件に設定します。
詳細を表示を選択して、追加の設定オプションを表示します。
右側の priority_mapping_raw データセットの接頭辞を priority に設定します。
結合設定ボードは次のようになります。
適用を選択して、パイプラインに結合を追加します。
設定ウィンドウ下部のプレビューペインで、結合の出力テーブルのプレビューを表示します。
結合設定ウィンドウの左上で、結合の名前を Join (2) に変更します。
右上のグラフに戻るを選択して、パイプライングラフに戻ります。
これで、追加した結合と、その結合を適用したデータセットとの接続を確認できます。

データの加工と構造化が完了したので、出力を追加できます。このチュートリアルでは、データセット出力を追加します。
Flight Alerts data という名前を付けます。次に、データセット出力を追加を選択します。Flight Alerts data データセットに接続し、Join (2) を出力にリンクします。
パイプラインをビルドするには、グラフの右上にあるデプロイを選択します。次に、保存してデプロイを選択します。

デプロイが成功したことを示す小さなアラートが表示されます。アラートボックスの表示を選択して、Build の進行状況ページを開きます。

このページでは、データセット出力が使用可能になるまでビルドの進行状況を監視できます。

これで、アクション > 開くを選択してデータセットにアクセスできます。

この最後のステップで、パイプラインの出力が生成されました。この出力はデータセットであり、Contour や Code Workbook など、Foundry のほかのアプリケーションでさらに探索できます。