注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Foundry を Hadoop Distributed File System (HDFS) に接続して、HDFS からデータを読み取り、Foundry データセットに同期します。
| 機能 | ステータス |
|---|---|
| 探索 | 🟢 一般提供 |
| 一括インポート | 🟢 一般提供 |
このコネクターは、任意の形式のファイルを Foundry データセットに転送できます。ファイル形式は保持され、転送中も転送後もスキーマは適用されません。データにアクセスするには、出力データセットに必要なスキーマを適用するか、下流のトランスフォームを作成します。
転送可能なファイルのサイズに制限はありません。ただし、ネットワークの問題により、大規模な転送が失敗する場合があります。特に、実行に2日を超える時間がかかる直接クラウド同期は中断されます。ネットワークの問題を回避するため、ファイルサイズを小さくし、同期の各実行で取り込むファイル数を制限することを推奨します。同期は、頻繁に実行するようにスケジュール設定できます。
Foundry でのコネクターのセットアップについて詳しくはこちら。
RPC のパフォーマンスがより高いため、利用可能な場合は HDFS スキーム ↗の使用を推奨します。代わりに、HDFS の FileSystem インターフェース全体をサポートする HTTP REST API である WebHDFS ↗も使用できます。例を以下に示します。
必要なネットワークポートは、選択したスキームによって異なります。HDFS スキームでは、通常、NameNode サーバーで 8020/9000、DataNode で 1019、50010、50020 を使用します。WebHDFS スキームでは、通常、必要なポートは 9820 です。
SSL 接続では、サーバー証明書を検証します。通常、SSL 検証は証明書チェーンを通じて行われます。デフォルトでは、Agent と Foundry ワーカーの両方が、業界標準の証明書チェーンの大部分を信頼します。接続先のサーバーに自己署名証明書がある場合、または検証中に TLS インターセプションが行われる場合、コネクターがその証明書を信頼する必要があります。Data Connection での証明書の使用について詳しくはこちら。
HDFS コネクターでは、以下の設定オプションを利用できます。
| オプション | 必須？ | 説明 |
|---|---|---|
URL | はい | ルートデータディレクトリの HDFS URL |
| 追加プロパティ | いいえ | Hadoop Configuration ↗ に渡すプロパティのマップを追加します。各エントリは、1個のプロパティに対応する名前と値のペアです。これにより、configurationResources を使用してディスク上の設定を指定する必要がなくなります。 |
HDFS コネクターでは、以下の詳細オプションを利用できます。
| オプション | 必須？ | 説明 |
|---|---|---|
| ユーザー | いいえ | HDFS ユーザー。レガシー Agent ワーカーソースでは、デフォルトは Agent ホストに現在ログインしているユーザーです。user パラメーターは、Data Connection のグローバル Kerberos 設定をオーバーライドします。Kerberos を使用している場合は、user パラメーターを空白のままにしてください。 |
| ファイル変更タイムアウト | いいえ | アップロードの対象と見なされるまで、ファイルが変更されずに維持される必要がある時間（ISO-8601 ↗ 形式）。 可能な場合は、より効率的な lastModifiedBefore プロセッサーを使用します。 |
探索タブで、設定済みの HDFS インスタンスで利用可能なデータを対話的に探索します。新規同期を選択すると、HDFS から Foundry 内の指定したデータセットにデータを定期的に取り込めます。
エクスポートタスクはレガシー機能であり、新しい実装には推奨されません。このドキュメントは、レガシーエクスポートタスクを引き続き使用しているユーザー向けに提供されています。
Copied!1 2type: export-hdfs-task directoryPath: /some/directory
| オプション | 必須 | デフォルト | 説明 |
|---|---|---|---|
directoryPath | はい | 該当なし | ファイルの書き込み先ディレクトリ |
incrementalType | いいえ | snapshot | インクリメンタルエクスポートには incremental を使用します |
retriesPerFile | いいえ | 0 | 失敗時のファイルごとの再試行回数 |
rewritePaths | いいえ | 該当なし | パス書き換え用の正規表現パターンのマップ（共通設定を参照） |
インクリメンタルエクスポートを行うには、incrementalType を incremental に設定します。初回のエクスポートではすべてのファイルがエクスポートされます。その後のエクスポートでは、前回のトランザクションがデータセットに引き続き存在する場合、新しいトランザクションのみが含まれます。
Copied!1 2 3type: export-hdfs-task directoryPath: /exports/incremental/ incrementalType: incremental
HDFS クラスターへの接続で問題が発生した場合、ファイルごとの再試行回数を設定できます。retriesPerFile: 1 を設定すると、各ファイルのエクスポートが2回試行されます（初回の試行1回と再試行1回）。
Copied!1 2 3type: export-hdfs-task directoryPath: /some/directory retriesPerFile: 1