HDFS

连接 Foundry 到 Hadoop 分布式文件系统 (HDFS)，以从 HDFS 读取和同步数据到 Foundry 数据集。

支持的功能

数据模型

连接器可以将任何类型的文件传输到 Foundry 数据集。文件格式将被保留，传输过程中或之后不会应用任何架构。对输出数据集应用任何必要的架构，或编写下游变换以访问数据。

性能与限制

可传输文件的大小没有限制。然而，网络问题可能导致大规模传输的失败。特别是，运行超过两天的直接云同步将被中断。为避免网络问题，我们建议使用较小的文件大小，并限制每次同步执行中摄取的文件数量。可以安排频繁运行同步。

设置

1. 打开数据连接应用程序，并在屏幕右上角选择 + 新建源。
2. 从可用的连接器类型中选择 HDFS。
3. 选择使用直接连接通过互联网连接或通过中介代理连接。
4. 按照下面各节中的信息继续设置连接器的附加配置提示。

了解更多关于在 Foundry 中设置连接器的信息。

网络

如果可用，我们建议使用 HDFS 方案 ↗，因为其具有更快的 RPC 性能。或者，WebHDFS ↗ 是一个支持 HDFS 完整文件系统接口的 HTTP REST API。一些示例包括：

• hdfs://myhost.example.com:1234/path/to/root/directory
• webhdfs://example.com/path
• swebhdfs://example.com/path

证书和私钥

SSL 连接验证服务器证书。通常，SSL 验证通过证书链发生；默认情况下，代理和直接连接运行时都信任大多数行业标准证书链。如果您正在连接的服务器有自签名证书，或者在验证期间有 TLS 拦截，则连接器必须信任证书。了解更多关于在数据连接中使用证书的信息。

配置选项

以下配置选项可用于 HDFS 连接器：

高级选项

以下高级选项可用于 HDFS 连接器：

从 HDFS 同步数据

访问 探索 选项卡以交互式地探索配置的 HDFS 实例中的数据。选择 新建同步 以定期将数据从 HDFS 拉到 Foundry 中的指定数据集。