エクスポートタスク（レガシー）

通常、外部ソースにデータを書き戻すためにエクスポートタスクを使用することは推奨しません。ただし、Foundry エンロールメントによっては、一部のソースの種類でエクスポートタスクが利用可能で、サポートされている場合があります。

以下のエクスポートタスクのドキュメントは、推奨されるエクスポートワークフローにまだ移行していないエクスポートタスクのユーザーを対象としています。

概要

エクスポートタスクを使用すると、Foundry からさまざまな外部データソースにデータをエクスポートできます。エクスポートタスクの設定は、次の2つの部分で構成されます。

ソース： Agent がデータソースに接続する方法を定義します。データセットの同期と同じ方法で設定する必要があります。
タスク設定： エクスポート形式、入力データセット、およびエクスポートのパラメーターを定義します。

エクスポートタスクは、タスクの出力データセットでジョブが開始されるとトリガーされます。

エクスポートタスクの既知の制限事項

エクスポートタスクは、マーキングおよびエクスポート制御と統合されていません。エクスポートタスク経由でデータをエクスポートする場合、エクスポート対象のデータセットまたはストリームのマーキング解除権限は必要ありません。
エクスポートタスクは、パフォーマンスが最適化されていません。大量のデータをエクスポートすると、ジョブの実行に長時間かかったり、ジョブの完了に失敗したりする場合があります。
エクスポートタスクには設定用のユーザーインターフェースがなく、必要な設定オプションを YAML で指定する必要があります。エクスポートタスクのすべてのオプションがセルフサービスでの利用向けにドキュメント化されているわけではありません。場合によっては、Palantir のサポートを通じてのみエクスポートタスクを設定できます。
エクスポートタスクは、Agent ワーカーソースでのみ動作します。

はじめに

エクスポートタスクを設定するには、次の手順を実行します。

Data Connection でソースを設定し、エクスポート先のターゲットシステムに接続します。
Foundry ファイルシステムで、ソースを含むフォルダーに移動します。リソースを右クリックし、Data Connection タスクを作成を選択します。
タスクエディターの UI で、次の操作を行います。
- ソース名を inputSource のまま保持します
- inputDataset という名前の入力データセットを追加します
- outputDataset という名前の出力データセットを作成または選択します
- 使用するエクスポート形式に合わせて YAML を設定します

入力ソースの名前は必ず inputSource に、出力データセットの名前は必ず outputDataset にしてください。これらの指定された名前を使用しないと、タスクエラーが発生する場合があります。

このスクリーンショットは、inputSource、inputDataset、および outputDataset の項目を含むエクスポートタスク設定をタスクエディターの UI で示しています。

サポートされているエクスポート形式

Data Connection のエクスポートタスクは、幅広い一般的なエンタープライズシステムへの書き込みをサポートしています。

Amazon S3
OneLake および Azure Blob Filesystem (ABFS)
HDFS
次のシステムを含む、JDBC に対応したシステム：
- リレーショナルデータベース
  - PostgreSQL
  - Microsoft SQL Server
  - MySQL
- データウェアハウス
  - Teradata
  - Snowflake
  - Vertica
中継 Agent にマウントされたネットワークファイルシステムを含むファイルシステム
SFTP

共通の設定オプション

インクリメンタル（差分連携）エクスポート

すべてのエクスポート形式で incrementalType パラメーターがサポートされており、継続的にデータをエクスポートする際の動作を制御します。JDBC エクスポートでは、このパラメーターは全体に対してではなく、データセットごとに指定します。

スナップショット（デフォルト値）に設定すると、エクスポートタスクは入力データセットの現在のビューに表示されるすべてのファイルをエクスポートします。つまり、以前にエクスポートした内容に関係なく、毎回のエクスポートにデータセット全体が含まれます。

インクリメンタルに設定すると、効率を最適化するようにエクスポートの動作が変わります。最初のエクスポートはスナップショットと同じように動作し、利用可能なすべてのデータをエクスポートします。その後のエクスポートでは、最初にエクスポートされたトランザクションがデータセットにまだ存在する場合に限り、前回のエクスポート以降に追加された新しいトランザクションのみが含まれます。最初のトランザクションが利用できなくなった場合（たとえば、データセットの再ビルドによる場合）、システムは自動的に完全なスナップショットのエクスポートに切り替わります。

ファイルベースのエクスポートの例：

Copied!1
incrementalType: incremental

パスの書き換え

ファイルベースのエクスポートでは、エクスポート時にファイル名とパスをカスタマイズするための rewritePaths 設定オプションがサポートされています。この項目には、正規表現と置換テンプレートのマップを指定できます。

Copied!1
2
rewritePaths:
  "^spark/(.*)": "$1"  # spark/ 接頭辞を削除します

置換テンプレートでは、次の動的な置換パターンがサポートされています。

元のパスの一致した部分を参照するための、$1、$2 などの正規表現のキャプチャグループ。
現在の日時を挿入するための、${dt:yyyy-MM-dd} などのタイムスタンプパターン。Java の DateTimeFormatter 構文を使用します。
${transaction} を使用した Foundry トランザクションID
${dataset} を使用した Foundry データセットID