注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
Data Connection 是一个应用程序,用于同步外部系统中的数据以在 Foundry 中使用。用户可以使用 Data Connection 将数据同步到 Foundry 中,以便在数据集成、建模和 Ontology 层中使用。此外,Data Connection 还支持设置出站连接,以通过 Webhooks 和数据导出实现对外部系统的数据输出。
通过从工作区导航栏中选择图标访问 Data Connection 应用程序。
您还可以通过在应用程序门户中搜索来找到 Data Connection 应用程序。
如果您是首次将 Foundry 连接到您的组织数据,请参阅初始设置指南开始。
Foundry 通过以下三个原则标准化数据连接过程:
通常,系统之间的数据连接容易出现难以恢复的失败。在用户无法控制的外部环境中(例如,网络连接差、磁盘故障或源系统无响应)的问题可能会影响数据同步,并破坏下游分析管道。未完成或损坏的数据不仅是技术挑战,而且如果在未被注意的情况下使用或在紧急需要时不可用,对组织可能是危险的。
Foundry 主动解决这些常见失败点,在失败时自动重试,使用简单的函数(例如,文件系统和数据库同步)从源系统中以低复杂度查询的小批量拉取数据,并集成数据健康监测系统,以便对关键失败进行警报并揭示其他管道健康问题。结合这些功能,降低了不完整或损坏数据的风险。
Foundry 还以一种理念为特色,即数据应从其最原始的来源“原样”摄取,而无需外部预处理。在没有外部预处理的情况下,分支和版本控制的 Foundry 管道成为所有原始数据在其到达 Ontology 旅程中发生的更改的唯一来源,并且在此过程中出现的任何问题都可以在平台内识别和解决。Data Connection 通过支持表格和基于文件的同步,并有意提供最小的选项来变换数据以确保其在到达目标数据集(Foundry 管道的起始点)之前,遵循这一设计理念。
企业拥有多样化、复杂的系统阵列,这些系统既能单独增值,也能作为集成系统增值。每个系统都有其集成的需求,某些系统需要独特的功能或特性,这通常使其难以集成。
Foundry 提供与知名系统类型(例如,关系数据库、FTPS、HDFS、S3、SFTP 和本地目录)的开箱即用集成,以及连接和同步新系统类型数据的灵活性。在许多情况下,新系统可以重用现有插件,或仅需进行轻微更改。核心功能(例如,调度和上传)是标准化的,因此只需调整连接本身。
管理系统之间的数据连接可能是一个复杂的过程,给负责每个步骤的管理员带来了重大负担:同步、身份验证、调度和编排以及监控。
Foundry 通过后端服务抽象掉了这种复杂性,在用户通过简单的前端用户界面设置和管理管道时承担了大部分工作。这降低了通常复杂的技术任务的入门障碍,使更多用户能够进行数据连接。