注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
Foundry提供了一套高度可配置的数据连接和集成工具,远远超出了典型的提取-变换-加载(ETL)或提取-加载-变换(ELT)解决方案。Foundry旨在通过丰富的功能套件来降低数据集成的长期成本,这些功能作为数据团队的力量倍增器。虽然普通云服务为基本管道和实验提供存储和计算,但要管理、交付和验证关键操作的数据集,还需要许多额外的功能层。Foundry旨在成为世界上最复杂环境的数据集成骨干。
这始于一个可扩展的数据连接框架,该框架建立与各种类型源系统的连接——无论是结构化、非结构化还是半结构化——以及所有关键的数据传输方法,例如批处理、微批处理或流处理。此功能与平台的数据变换和数据管理功能集成,其中包括完整的数据版本沿袭、协作管理数据提取的细粒度安全性,以及数据同步配置的分支。
对于数据变换,Foundry提供了一个可扩展、可扩展的数据搭建系统,利用多模态计算来生成输出数据集。Foundry的与计算无关的“搭建”框架提供了完全集成的安全性和数据沿袭,并支持第三方计算运行时的混合搭配。Foundry还包括一个集成的数据变换创作、变更管理、数据质量、管道调度和元数据内省功能套件,这些功能协同工作,为数据工程师提供一个“任务控制中心”。
Foundry的管道管理功能结合了变更管理、数据质量和数据加载功能。
管道构建器应用程序支持快速、灵活和可扩展的数据管道交付,同时提供稳健性和安全性。了解更多关于管道构建器的信息。
数据工程师可以为生产管道定义一个严格的发布流程,包括健康检查,以确保只有完全合规的数据会被部署到生产环境中。如果发现问题,平台会提供对检测到的差异的诊断。
诊断不仅在Foundry的集成分析和建模工具中可用,还可以通过REST API或其他接口访问输出的任何第三方工具使用。