数据连接

如何干净地从系统中卸载代理？

要干净地卸载代理，请参阅用户界面中的文档，了解如何重新安装或升级代理。在删除代理目录之前，请确保停止所有相关进程并复制任何本地设置，例如代理配置。此外，根据代理设置文档清除任何cron任务。

时间戳: 2024年2月13日

从S3导入数据集并在Foundry中应用架构时，可能导致'java.lang.NullPointerException'和'SchemaColumnConvertNotSupportedException'错误的原因是什么？

问题可能与在Foundry中应用架构时错误地解释列的数据类型有关。要进行调试，下载Parquet文件并使用Python代码读取应用架构的数据。如果错误信息提到列名，可以从架构中排除问题列，看看其余部分是否能正确加载。

时间戳: 2024年2月13日

在使用Foundry时，如何确保S3 bucket仅包含最新导出数据，避免将新文件追加到旧文件中？

为确保S3 bucket仅包含最新的导出数据，可以使用外部变换直接调用AWS API并实现自定义清理或前/后处理逻辑。这可能涉及在导出之前删除bucket中的所有内容、创建新目录或移动内容。此外，还可以编写脚本在从Foundry导出之前删除S3 bucket的内容。

时间戳: 2024年2月13日

单个同步中的多个代理如何分工？代理之间是否存在并行性？

两个代理之间没有并行性。同步在可用的健康代理上调度，可以是随机的，也可以基于队列中同步较少的代理，这可以配置。每个代理可以根据分配的资源并发运行可配置数量的同步。

时间戳: 2024年2月13日

如何解决由于IP更改导致的SQL Server连接超时问题？我可以使用计算机名进行连接吗？

解决方案是使用新详细信息重新配置源，包括在URL中使用计算机名。

时间戳: 2024年2月13日

是否可以使用Service Now连接器在Service Now实例中自动创建工单？

Service Now连接器目前仅支持批量同步。要对Service Now执行写入操作，例如自动创建工单，可以直接针对其API使用REST API源类型或外部变换。

时间戳: 2024年2月14日

数据连接源当前是否继承自代理的权限标记？

不，数据连接源当前不继承自代理的权限标记。

时间戳: 2024年2月13日

在导入时间戳进行增量同步时，如何处理数据连接中的微秒精度丢失以避免重复条目？

创建一个额外的字符串列，该列是时间戳的字符串值，并在该字符串列上执行增量同步，而不是原始时间戳列。

时间戳: 2024年2月20日

Foundry是否需要额外设置以支持同区域S3连接的AWS PrivateLink？

如果Foundry实例和客户的AWS VPC在同一区域，则不需要额外设置AWS PrivateLink，因为AWS在不将数据暴露给互联网的情况下进行数据传输。

时间戳: 2024年2月13日

为什么在运行任务时自定义插件未被识别？

问题可能是由于插件和bootvisor的Java版本不同。

时间戳: 2024年2月23日

如何使用Globus设置新类型的数据连接以在Blob存储之间启用数据传输？

需要使用Python外部变换与Globus Python SDK集成。

时间戳: 2024年2月13日

Foundry是否有任何导出选项可用于从JDBC源导出到Microsoft SQL Server？

对于JDBC导出，目前唯一可用的选项是使用JDBC连接器的传统导出任务。

时间戳: 2024年2月21日

为什么在尝试上传Oracle EBS连接的jar时会出现'上传的Jar未正确签名'的错误？

您必须仅使用Palantir签名的jar。

时间戳: 2024年2月13日

如何导出超过数据代理限制10M行的数据集？

将数据集从Parquet转换为Foundry变换中的CSV，然后使用基于文件的导出（数据连接导出）将数据写入基于文件的目标，如S3或流系统，如Kafka。

时间戳: 2024年2月13日

是否可以在迁移过程中将现成的HDFS源类型更新为自定义ABFS源类型并保持同步完整？

是的，可以在保持同步完整的情况下更新源类型。我们建议保存现有配置并在出现问题时还原。此外，先在测试源上尝试更新，然后再将更改应用于实际源。

时间戳: 2024年2月13日

为什么无法使用共享访问签名和Blob SAS令牌连接到ABFS源？

如果为ABFS源启用了软删除，则无法使用共享访问签名和Blob SAS令牌连接到ABFS。这是Azure允许的配置。

时间戳: 2024年4月16日

由于新导出框架不支持表格目的地，我可以使用传统任务将数据导出到表格数据源吗？

是的，如果您的表格数据源具有JDBC驱动程序，您可以使用JDBC导出任务导出数据。

时间戳: 2024年4月25日

如何连接到MS OneLake？

您可以通过使用外部变换并利用OneLake提供的Python客户端连接到MS OneLake。

时间戳: 2024年4月16日

当通过数据连接器连接时，数据库中的存储过程是否可以在Foundry端查看或访问？

不，通过数据连接器连接时，数据库中的存储过程不能在Foundry端直接查看或访问，但可以在配置同步时通过"SQL查询"选项执行。

时间戳: 2024年4月16日

为什么代理在初始安装和启动后开始下载额外的文件？

代理需要下载更新版本的bootstrapper / bootvisor / 代理二进制文件以及托管插件二进制文件的初始或更新版本。其中一些始终下载，而其他一些仅在将该类型的源指派给代理时下载。

时间戳: 2024年4月24日

如何在SQLServer CDC表上使用未显示在同步UI增量部分的二进制类型列$start设置增量导入？

将二进制类型列$start转换为varchar(max)以避免截断，然后在同步UI的增量部分使用该列。

时间戳: 2024年4月16日

如何正确使用rewritePaths在导出数据到Azure时重命名文件，以及为什么它只导出一个文件？

您应该使用新的基于文件的导出功能，它不支持rewritePaths。相反，应在导出过程的上游执行任何必要的文件重命名或数据变换。这种方法是推荐的，因为传统导出任务更难配置和调试。

时间戳: 2024年4月16日

如何在两个主机之间迁移代理？

要在两个主机之间迁移代理，应首先在旧主机上正确关闭代理，使用./auto_restart.sh clear; ./init.sh stop来移除cronjob并停止bootstrapper。然后使用像scp这样的工具将包含代理的整个目录复制到新主机，假设两个主机都启动并可以连接。

时间戳: 2024年4月18日

如何在SQL查询根据数据集值动态更改的情况下使用JDBC将数据导入Foundry？

对于将数据导入Foundry，您应该使用同步/提取，这些是支持JDBC的。对于SQL查询动态更改的应用案例，您应该使用外部变换编写数据导入的自定义逻辑，而不是使用它来更改同步配置。这种方法优于数据连接任务，因为数据连接任务由于其限制而不被推荐。

时间戳: 2024年4月16日

从Postgres导入数组类型列的推荐方法是什么？

推荐的方法是将数组类型列作为字符串导入，然后在Pipeline Builder中解析它们。

时间戳: 2024年4月24日

创建代理需要什么项目级权限？

创建代理需要项目的Owner权限。

时间戳: 2024年4月16日

在尝试探索JDBC源时遇到'ExplorationRuntimeReadinessService'错误时应该怎么办？

问题可能是暂时的，可以通过多次刷新服务来解决。

时间戳: 2024年4月16日

Oracle JDBC驱动程序连接需要什么SSL参数？

Oracle JDBC驱动程序连接所需的SSL参数是CONNECTION_PROPERTY_THIN_NET_ENCRYPTION_LEVEL。

时间戳: 2024年5月23日

如何限制增量同步中正在导入的文件数量并保证选择文件的顺序？

筛选器：

Copied!
1
2
- type: sortByLastModified
  order: DESCENDING # 按最后修改时间降序排序

被用于在限制被导入文件的数量并保证文件被选择的顺序。

时间戳: 2024年4月24日

数据连接代理可以安装在 AWS Fargate（无服务器 ECS 或 EKS）上吗？

Palantir 不建议将 AWS Fargate（无服务器 ECS 或 EKS）作为部署数据连接代理的基础设施，主要是由于缺少默认附加的卷。选择使用这些服务在容器中部署代理不被官方支持。

时间戳: 2024年9月5日