Amazon S3

将Foundry连接到AWS S3，以读取和同步S3与Foundry之间的数据。

支持的功能

设置

1. 打开数据连接应用程序，并在屏幕右上角选择**+ 新来源**。
2. 从可用的连接器类型中选择S3。
3. 选择使用通过互联网的直接连接或通过中介代理连接。
4. 按照下面各节中的信息，遵循附加的配置提示以继续设置您的连接器。

了解更多有关在Foundry中设置连接器的信息。

连接详情

S3的必需读取和同步权限

以下AWS权限是S3桶交互式探索所必需的：

Copied!
1
2
3
4
5
{
    "Action": ["s3:ListBucket"], // 操作：列出S3存储桶中的对象
    "Resource": ["arn:aws:s3:::path/to/bucket"], // 资源：指定存储桶的ARN（Amazon资源名称）
    "Effect": "Allow", // 效果：允许执行指定的操作
}

以下AWS权限是从S3进行批量同步、虚拟表和媒体同步所需的：

Copied!
1
2
3
4
5
{
    "Action": ["s3:GetObject"],  // 指定的动作是从S3中获取对象
    "Resource": ["arn:aws:s3:::path/to/bucket/*"],  // 指定的资源是S3桶中的路径
    "Effect": "Allow",  // 允许上述动作的效果
}

请参阅 关于 Amazon S3 中策略和权限的官方 AWS 文档 ↗，了解有关如何在 S3 中配置桶策略的更多详细信息。

S3 代理配置（基于代理的连接）

使用数据连接代理连接到 S3 时，可以通过两种方式定义代理设置：

• 源配置：直接在源配置中定义每个代理设置，如下表所述。
• 代理的系统属性：作为后备，您可以在代理的系统属性中配置代理设置。为此，请在代理的高级配置设置中包含适当的 JVM 参数（例如，-Dhttps.proxyHost=example.proxy.com）。

STS 角色配置

STS 角色配置允许您使用 AWS Security Token Service ↗ 在从 S3 读取时假设一个角色。

云身份配置

云身份认证允许 Foundry 访问您 AWS 实例中的资源。云身份在控制面板的注册级别进行配置和管理。了解如何配置云身份。

使用云身份认证时，角色 ARN 将显示在凭证部分。选择 Cloud identity 凭证选项后，还必须配置以下内容：

1. 在目标 Amazon AWS 账户中配置一个身份和访问管理 (IAM) 角色。
2. 授予 IAM 角色访问您希望连接的 S3 桶的权限。您通常可以使用 桶策略 ↗ 来实现这一点。
3. 在 S3 源配置详细信息中，在 Security Token Service (STS) 角色 ↗ 配置下添加 IAM 角色。在访问 S3 时，Foundry 中的云身份 IAM 角色将尝试假设 AWS 账户 IAM 角色 ↗。
4. 配置相应的信任策略 ↗，以允许云身份 IAM 角色假设目标 AWS 账户 IAM 角色。

虚拟表

本节提供有关使用来自 S3 源的虚拟表的更多详细信息。在同步到 Foundry 数据集时，本节不适用。

注册虚拟表时，请记住以下源配置要求：

• 您必须将源设置为直接连接。虚拟表不支持使用中介代理。
• 确保已根据连接详细信息中的网络连接部分建立双向连接和白名单。
• 如果在代码库中使用虚拟表，请参阅虚拟表文档以获取所需的其他源配置详细信息。
• 如果您的桶包含 .，您必须启用路径样式访问并设置适当的出口策略。

请参阅上述连接详细信息部分以获取更多详细信息。

Delta

要启用由虚拟表支持的管道的增量支持，请确保在源 Delta 表上启用了更改数据馈送 ↗。在Python 变换中支持 current 和 added 读取模式。_change_type、_commit_version 和 _commit_timestamp 列将在 Python 变换中可用。

Iceberg

需要 Iceberg 目录来加载由 Apache Iceberg 表支持的虚拟表。要了解有关 Iceberg 目录的更多信息，请参阅 Apache Iceberg 文档 ↗。在源上注册的所有 Iceberg 表都必须使用相同的 Iceberg 目录。

默认情况下，表将使用 S3 中的 Iceberg 元数据文件创建。在注册表时，必须提供指示这些元数据文件位置的 warehousePath。

AWS Glue ↗ 可以用作存储在 S3 中的表的 Iceberg 目录。要了解有关此集成的更多信息，请参阅 AWS Glue 文档 ↗。在源上配置的凭证必须有权访问您的 AWS Glue 数据目录。AWS Glue 可以在源上的连接详细信息选项卡中进行配置。在此源上注册的所有 Iceberg 表将自动使用 AWS Glue 作为目录。表应使用 database_name.table_name 命名模式注册。

Unity Catalog ↗ 可以在 Databricks 中使用 Delta Universal Format (UniForm) 时用作 Iceberg 目录。要了解有关此集成的更多信息，请参阅 Databricks 文档 ↗。与 AWS Glue 一样，可以在源上的连接详细信息选项卡中配置目录。您需要提供端点和个人访问词元以连接到 Unity Catalog。表应使用 catalog_name.schema_name.table_name 命名模式注册。

增量支持依赖于 Iceberg 增量读取 ↗，目前仅支持追加。支持在Python 变换中的 current 和 added 读取模式。

Parquet

使用 Parquet 的虚拟表依赖于模式推断。最多将使用 100 个文件来确定模式。

以 S3 格式导出数据

要导出到 S3，首先为您的 S3 连接器启用导出。然后，创建一个新的导出。

S3 所需的导出权限

导出数据到 S3 需要以下 AWS 权限：

Copied!
1
2
3
4
5
{
    "Action": ["s3:PutObject"], // 指定允许执行的操作，这里是将对象上传到 S3 存储桶中
    "Resource": ["arn:aws:s3:::path/to/bucket/*"], // 指定可以操作的资源，这里是特定存储桶路径下的所有对象
    "Effect": "Allow", // 指定策略的效果，这里是允许执行指定的操作
}

请参阅 AWS 官方文档关于 Amazon S3 中的策略和权限 ↗，以获取有关如何配置 S3 中存储桶策略的更多详细信息。

以配置导出选项