注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
连接Foundry到FTP和FTPS服务器,以在文件夹和Foundry数据集中同步数据。
功能 | 状态 |
---|---|
探索 | 🟢 普遍可用 |
批量导入 | 🟢 普遍可用 |
增量 | 🟢 普遍可用 |
连接器可以将任何类型的文件传输到Foundry数据集中。文件格式会被保留,传输期间或之后不会应用任何模式。请对输出数据集应用任何必要的模式,或编写一个下游变换以访问数据。
可传输文件的大小没有限制。然而,网络问题可能导致大规模传输的失败。特别是,运行超过两天的直接云同步将会被中断。为避免网络问题,我们建议使用较小的文件大小,并限制每次同步执行时要导入的文件数量。同步可以定期安排运行。
要配置直接连接,Foundry必须能够通过互联网访问FTP服务器。若要访问本地FTP服务器,请选择通过代理进行连接。
了解更多关于在Foundry中设置连接器的信息。
FTP/FTPS认证通过用户名和密码完成。如果FTP用户没有连接配置的根目录权限,FTP/FTPS连接可能会失败。有关根目录的更多详细信息,请参阅配置选项。
选项 | 必需? | 描述 |
---|---|---|
Username | 是 | FTP登录用户名。 |
Password | 是 | FTP登录密码。此字段可为空值用于匿名登录。请联系您的服务器管理员以获取更多信息。 |
如果直接连接正在运行FTP/FTPS连接器,您必须添加一个网络出口策略以将连接列入白名单。
如果通过域名连接,出口策略应为FTP服务器域在控制端口(通常为端口21)和数据端口上创建。我们建议创建两个网络策略:一个针对控制端口的单端口策略,和一个针对数据端口的端口范围策略。数据端口由FTP服务器的管理员确定。如果尽管正确配置了出口策略,错误仍然发生,提交一个问题并引用应用的策略列表。
如果服务器的域解析为多个域和/或服务器,则所有相关域及其相关IP都需要被列入白名单。要验证服务器是否解析为多个域和/或服务器,请从终端运行命令dig <domain>
,查看您尝试连接的服务器的答案部分。
如果代理正在运行您的连接器,请确保代理的服务器可以与FTP/FTPS服务器建立网络连接,并且防火墙配置正确。我们建议在需要时使用netcat ↗或类似工具验证网络连接。
根据以下指导配置额外的客户端或服务器证书和私钥,以正确设置您的连接器。
SSL连接验证服务器证书。通常,SSL验证通过证书链进行;默认情况下,代理和直接连接运行时信任大多数行业标准的证书链。如果您连接的服务器有一个自签名证书,或者防火墙在连接上执行TLS拦截,连接器必须信任该证书。了解更多关于在数据连接中使用证书的信息。
为了SSL验证正常工作,服务器必须提供完整的证书链。可以通过运行命令openssl s_client -connect {hostname}:{port} -showcerts -starttls ftp
来获取FTP服务器的证书链。使用OpenSSL命令行工具或任何其他可用工具验证证书链。
如果使用FTPS,请确保FTPS服务器的证书已被添加到代理的信任库中。
Foundry尝试对所有出口路径进行验证。然而,无法检查FTP,导致连接挂起和/或超时错误。如果尽管正确配置了出口策略,错误仍然发生,请报告一个问题并提供您想要禁用主机名验证的策略列表。
FTP服务器可以配置为支持显式或隐式SSL。运行在端口990上的服务器通常使用隐式SSL。
请与您的服务器管理员确认服务器的设置。默认情况下,连接器假定显式SSL;您可能需要为您的环境更改此设置。
FTP需要CONTROL
和DATA
连接类型。DATA
连接必须配置为ACTIVE
或PASSIVE
模式。
默认FTP/FTPS连接器端口:
我们建议使用被动模式的网络连接。在被动模式下,所有连接均由客户端发起。当使用被动模式时,请确保控制端口(通常为21)和数据传输的端口范围(例如1024–1123)被列入白名单。请联系您的FTP/FTPS服务器管理员以获取连接详细信息。
主动模式是一种较旧的文件传输建立方法。在主动模式下,客户端连接到服务器,而服务器连接到客户端。服务器和客户端相互依赖,并需要双向网络连接。这种网络方法在大多数安全环境中通常难以实现,并且在使用直接连接时不可能实现。
选项 | 必需? | 默认值 | 描述 |
---|---|---|---|
URL | 是 | FTP/FTPS服务器的URL。URL可以可选地包含服务器上目录的路径,该目录将用作连接的根目录(例如,ftp://server.name/folder/name )。 | |
配置客户端证书和私钥 | 否 | 有关更多信息,请参阅证书和私钥。 | |
配置服务器证书 | 否 | 有关更多信息,请参阅证书和私钥。 | |
连接超时 | 否 | 30秒 | 增加超时毫秒数。 |
重新登录时间 | 否 | 15分钟 | 修改间隔分钟数。 |
文件更改超时 | 否 | 2秒 | 设置文件在被视为上传前必须保持不变的时间量。超时以毫秒为单位。 |
HTTP代理URL | 否 | 代理服务器的URL,以http:// 或https:// 开头。对HTTP代理的支持高度依赖于所使用的FTP服务器,并且不能在ACTIVE 模式下使用。这是因为HTTP代理不支持客户端请求在一个外部可访问的端口上侦听。ACTIVE 模式传输涉及FTP服务器连接回客户端,这在HTTP代理中是不可能的。 | |
SSL方法 | 否 | 显式 | 是否为FTPS连接使用显式或隐式SSL。 |
模式 | 否 | PASSIVE | PASSIVE 或ACTIVE |
时区 | 否 | 连接器的时区 | FTP服务器的时区。FTP记录没有时区的时间戳。要查看准确的修改时间戳,如果FTP服务器的时区与默认不同,请指定FTP服务器的时区。 |
时间戳格式字符串 | 否 | MM-dd-yy hh:mma | 用于解析FTP服务器时间戳的格式字符串。时间戳用于确定自上次同步以来修改的文件。请参阅Java文档 ↗以了解支持的格式。 |
控制编码 | 否 | US-ASCII | FTP控制消息的编码。当文件名的编码与数据连接服务器的默认文件系统编码不同时,控制编码可能是必要的。 示例: 在Windows FTP服务器上, windows-31j 通常用于日语,x-windows-949 通常用于韩语。请参阅Java文档 ↗以获取更多信息。 |
保持活跃 | 否 | false | 选择是否发送FTP NOOP命令以保持在下载大文件时的控制连接活跃。并非所有FTP服务器都支持。 |
FTP连接器使用基于文件的同步界面。
您在设置代理连接时遇到问题吗?安装一个FTP/S客户端,并尝试使用与来源相同的配置连接到服务器。如果此连接失败,则问题不是连接器错误。在提交问题之前,请调查网络连接、认证和FTP服务器配置。
您使用的是出口代理负载均衡器吗?FTP是一种有状态协议,因此如果使用负载均衡器,当顺序请求不从同一IP发起时,会导致同步(非确定性地)失败。
您的服务器使用自签名证书吗?您是否已将其添加到来源信任库中?请参阅上面的SSL和主机名验证部分。
您的FTP服务器是否只支持旧版TLS版本(例如,TLS 1.1)?如果是这样,连接器运行时可能不会接受服务器提供的任何加密套件。提交一个问题与Palantir代表探讨替代方案。