注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
提醒: 现在您可以注册 Foundry 通讯,以直接在您的收件箱中接收有关平台新产品、功能和改进的摘要。有关如何订阅的更多信息,请参见 Foundry 通讯和产品反馈渠道公告。
我们很高兴地宣布 Foundry 通讯 和 产品反馈 渠道的发布,现在可以通过导航到 用户设置 > 通知 > 更新与新闻 进行注册。
Foundry 通讯 将直接在您的收件箱中提供有关平台新产品、功能和改进的摘要。首次 (GA) Foundry 通讯将在 2023 年 11 月中旬发送给订阅者。您还可以选择加入新发布的 产品反馈 渠道,该渠道提供与 Palantir 工程师直接联系的机会,寻求针对性的用户输入。此更新提供了一个令人兴奋的机会,让您的声音被听到,并在塑造 Foundry 生态系统的持续发展中发挥作用。
通过这些选择加入的订阅共享的通讯和其他内容将发送到与 Foundry 用户账户关联的电子邮件地址。请注意,通知信息以及电子邮件地址仅存储在 Foundry 注册的范围内,不会集中收集用于通知通信。
订阅或更改通知偏好的步骤如下:
账户设置
通知
平台管理员注意事项: 平台管理员还应在 Foundry 控制面板设置的 联系信息 中注册他们的电子邮件地址,以接收与平台管理、用户支持、服务中断公告和安全更新相关的重要通信,这些通信是为平台管理员设计的,与上面描述的为所有用户设计的 Foundry 通讯和产品反馈渠道不同。
发布日期:2023-11-30
审批收件箱现已集成到控制面板中,以支持与控制面板相关的工作流程,实现对敏感操作的无缝且集中管理的审批请求审核。此控制面板集成提供了安全配置的版本控制,使管理员能够追踪修改的历史和理由,同时增加的可见性层确保团队可以轻松监控和评估安全设置的更新,从而有助于维护安全和合规的环境。起始现在,您可以审核网络入口配置请求,其他工作流程正在积极开发中。
审批标签的收件箱仅包含与控制面板相关的工作流程,起始于入口配置更改请求。
起始于12月4日,网络入口更改的实施将需要审批。此政策更改旨在确保管理入口配置的过程更加安全和受控,同时遵循平台现有的权限模型。
只有安全官员可以打开网络入口配置的变更请求,默认情况下,变更请求者可以批准自己的更改。 对于少数需要提高安全性的注册,工作流程将被配置为需要第二位安全官员的批准。
由控制面板内的审批管理网络入口配置。
与控制面板的审批集成旨在增强对敏感工作流程的安全性和控制,并确保重要操作在适当的监督下进行管理。审批收件箱将通过添加新工作流程来改进,使敏感任务管理更加有序,并增强协作。
有关如何使用审批收件箱的更多信息,请查看 控制面板审批。或者,想了解有关管理平台访问的更多信息,请查看 配置网络入口文档。
发布日期:2023-11-28
工作坊应用程序构建者现在可以使用嵌入式模块微件构建可重用的应用程序组件,该功能现已普遍可用。这一新功能解锁了一个强大的组合原语,增强了应用案例的可维护性和可重用性。
例如,考虑一个具有多个页面、数百个微件和数千个变量的工作坊模块。通过利用嵌入式模块微件及其变量共享功能,这个大型工作坊模块可以划分为较小的、独立的嵌入模块。构建者可以独立开发这些专注的嵌入模块,然后将它们组合成一个工作坊模块。模块中任何重复的部分,例如结合某些显示微件的筛选微件,可以分离到另一个模块中,该模块嵌入在多个地方。
在微件选择页面的 Foundry 应用程序 部分,找到 工作坊:嵌入式模块 微件,如下所示。
嵌入式模块微件位于微件选择菜单中。
通过选择一个模块来配置您的微件,该模块的接口变量定义将被显示。然后,将父模块变量映射到子模块变量。
嵌入式模块微件的变量映射配置部分。
有关更多详细信息,请查看 嵌入式模块微件文档。
计划对嵌入模块进行一些额外改进,包括:
循环设计: 当前处于测试阶段,这些设计将通过允许在对象集上循环并为集合中的每个对象显示一个模块来扩展嵌入模块功能。阅读 循环设计文档 以了解更多信息。
模块接口变量体验: 为嵌入模块的更简单配置和使用提供改进的模块接口变量体验正在积极开发中。
发布日期:2023-11-28
用于将 Foundry 连接到 SAP 系统的 Foundry Connector 2.0 for SAP Applications 附加组件 的 版本 2.29.0 (SP29) 现已推出。
此最新版本具有次要错误修复和若干增强功能,包括:
从 SP29 开始,安装包可以直接从 Foundry 内下载。要访问 SP29:
我们建议与您组织的 SAP 基础团队分享此信息。
有关下载附加组件的更多信息,请查阅 文档。
发布日期:2023-11-28
我们很高兴地宣布,您现在可以在 Foundry 中创建模型推理历史数据集。这些数据集捕获由建模目标中的实时部署处理的所有推理请求(输入)和推理结果(输出),简化了广泛的工作流程,包括漂移检测、连续再训练、性能评估和使用分析。
模型推理历史数据集跟踪实时部署的请求和响应。此功能为生产应用案例提供了宝贵的反馈,模型开发人员希望了解模型如何被真实客户和用户使用。
例如,考虑使用实时部署在网站上提供推荐。模型推理历史记录用户访问和提供给每个用户的推荐。通过此,开发人员可以分析数据集以确定推荐对特定用户的有效性。在此情况下,数据集通过启用使用分析创造价值,可以为优化和资源分配决策提供信息。
虽然当前的 模型评估过程 支持连续再训练和性能评估,但这些现有功能不提供模型使用的用户反馈。因此,与模型推理历史数据集相比,这些功能更适用于存在现有训练和测试数据的情况,而不是实时数据。
要创建模型推理历史数据集,请导航到您的建模目标的 部署 页面,选择实时部署,并在 模型推理历史 部分选择 创建数据集。我们强烈建议添加权限标记,因为输入和输出可能包含敏感信息。
模型推理历史从您的建模目标的部署页面创建。
一旦创建,数据集将记录基本信息,如时间戳、用户 ID、请求 UUID 以及输入和输出的 JSON 表示。
要暂时启用或禁用模型推理历史,请导航到 模型推理历史 卡片并使用 启用记录 切换。要永久禁用模型推理历史,请在 模型推理历史 卡片中选择数据集旁的 移除 按钮。
有关此主题的更多信息,请参阅 模型推理历史 文档。
发布日期:2023-11-15
我们宣布推出轻量级 API,这是一种 Spark 变换的替代方案,利用容器变换无与伦比的性能来加速不需要依赖 Spark 的小到中型数据集的变换。随着越来越多的数据变换现在可以在单个节点上运行,轻量级 API 允许您消除分布式并行化编排的巨大开销,而是依赖于单节点替代方案来编写数据管道。
要将您的 Pandas 变换转换为轻量级 Pandas 变换:
@lightweight
,如下代码片段所示:Copied!1 2 3 4 5 6 7 8 9 10
from transforms.api import transform_pandas, Input, Output, lightweight @lightweight @transform_pandas( Output('/Project/folder/output'), df=Input('/Project/folder/input') ) def compute(df): # 筛选出'Name'列以"A"开头的行,并按'Age'列进行排序 return df[df['Name'].str.startswith("A")].sort_values(by="Age")
轻量级API的优势在优化复杂变换和简单变换的基准比较中得到了体现。为提供背景,下面展示的两个基准图表展示了五个计算引擎在19个不同数据集大小上执行相同变换逻辑的七次重复中平均端到端运行时间的受控优化比较。带状部分表示标准误差。每个变换都配置了8个vCPU和32 GB的RAM。行的提前结束表示达到内存不足(OOM)状态。使用了通过.polars(lazy=True)访问的流模式下的Polars。
下方基准图像显示了一个合理复杂的管道,包含一个explode操作,后续是多个合并和一个group-by,使用Pandas、Polars和PySpark的API原生实现。
展示复杂变换优化的基准图表
在这种情况下,使用无Spark的轻量级后端时,启动开销几乎减半。此外,单节点优化的数据处理库Pandas ↗和Polars ↗在大约1000万行之前显著更快,因为它们不像Spark那样等待网络绑定的shuffle结果。然而,对于更大数据集和更复杂的操作,Spark的查询计划扩展更为高效,因此推荐在这些应用案例中使用。
相比之下,将一个更简单的管道应用于更大的数据表明,即使在非常大的数据集上,Spark也并不总是能优于Polars。
展示简单变换优化的基准图表
上图突出了一个关键观察结果,即实现的变换逻辑接近于简单,仅包含对未分区列的单一筛选操作。在这种设置中,管道简单(例如操作较少且内存友好的合并),轻量级Polars的流模式 ↗大大优于Spark,并推荐用于所有数据集大小。提醒一下,当使用@transform
装饰@lightweight
时,Spark方法不可用。
我们正在积极开发轻量级API。因此,一些特性包括取消标记工作流或外部变换尚不支持。以下功能即将推出:
在小规模数据集或较简单的处理逻辑情况下,我们推荐使用轻量级变换以获得更快的计算。
欲了解更多详细信息,请查看轻量级API和transform_polars的文档,或通过安装轻量级变换示例市场产品进行尝试。
发布日期:2023-11-13
Palantir Foundry现在在Ontology中支持语义搜索,增加了向量属性和函数。用户现在可以为Ontology中的对象创建向量属性类型,并在对象(FoO)上使用K近邻(KNN)函数,以实现对象的语义搜索。此功能使得利用Ontology的模型输出来获得更准确的结果成为可能。
Foundry中的语义搜索功能支持一系列应用案例,包括改进文档库用户搜索特定主题的体验。有了语义搜索支持,用户的查询可以与其语义含义匹配,并返回相关对象。此外,通过访问Ontology,这些结果可以回传到LLM中,以生成有用的用户友好提示,从而提升现有的AIP构建器功能。
语义搜索是一种考虑查询上下文以返回更准确和相关搜索结果的搜索技术。与简单匹配查询中整个短语的关键字搜索不同,语义搜索包含用户搜索词背后的含义。
Foundry中的语义搜索支持通过对Ontology进行的各种增强来实现,包括:
从Foundry建模目标获得的浮点数组生成一个向量属性,然后允许在FoO函数中使用KNN进行类似向量的搜索。有关详细的端到端语义搜索工作流示例,请参阅语义搜索工作流教程。
新的向量类型可用于捕获模型的嵌入到Ontology中。可以在任何固定维度的浮点数组数据集字段上创建这些向量属性。有几个用于比较向量的相似性函数,可以根据应用案例和模型输出进行选择。
在Ontology Manager中,您可以配置向量属性,从选择类型开始,选择维度(此基础模型的输出长度),然后选择相似性函数,以决定如何将此向量属性类型与其他具有相同向量属性类型的对象进行比较。
对象(FoO)支持的K近邻(KNN)函数的添加简化了创建函数以语义查询对象类型的过程。可以使用实时模型生成的向量或对象中的现有向量对对象类型进行KNN搜索。查看有关KNN FoO函数的文档的更多信息。
有关本公告相关主题的更多信息,请参阅以下文档:
发布日期:2023-11-13
我们简化并加快了在所需代码存储库上强制使用特定Spark模块版本(也称为“固定”)的过程。您现在可以从平台内的设置 > 运行时覆盖选项卡中直接选择Spark模块版本。以前,这个操作需要手动且耗时的CDConfig过程。
提醒一下,固定的使用意图仅为临时方法。我们始终建议使用最新版本的Spark,以受益于最新的性能和安全增强功能。
要固定Spark版本,请在代码存储库中打开存储库并导航到设置 > 运行时覆盖选项卡。
在代码存储库的设置视图的运行时覆盖选项卡中配置模块版本
您可以创建固定并选择要在所有分支或特定分支上固定的Spark的特定版本。必须指定到期日期,且不能超过当前日期的90天。
一旦您保存固定,您可以在上图所示的运行时覆盖选项卡中看到确认。现有的固定显示,并且可以编辑或存档,存档后将不再生效。存档的固定标记为已过期
标签,如有必要,可以恢复。
固定还可以在构建预览 > 查看详情页面上查看:
启用该功能时,代码存储库将显示列出Spark模块版本的“固定”标签
此功能目前支持将Spark模块固定到存储库。我们的团队正在努力包括以下固定支持:
有关此新功能的更多详细信息,请查看在平台内固定Spark模块文档。
发布日期:2023-11-02
组织权限将分两个阶段从平台设置迁移到控制面板,以提高可读性,减少混淆,并为平台管理员提供更大的权限设置灵活性。目前,控制Foundry用户体验的控制(包括权限管理、成员身份、权限标记类别和组成员身份)在平台设置界面中管理,但通过此移动将合并到控制面板。
仔细阅读以下通知,了解权限更新将如何影响您和您的组织。
我们发现用户对控制面板和平台设置中授予的权限感到困惑。合并到单一UI中提高了清晰度并减少了管理工作流的复杂性。
当前的权限系统不灵活,导致顶级管理员因其对某些任务的独占访问而承担过多工作。控制面板中的角色允许开箱即用的自定义,并且这些工作流的权限可以通过自定义角色以细粒度方式授予。
在第二阶段结束时,所有现有权限将自动迁移,并不会导致访问或特权丢失。然而,有一些重要的变化需要注意:
为了不再使用平台设置权限,我们首先必须将这些权限/工作流授予控制面板中的角色。将创建一个新角色,一些现有角色将添加新的工作流,导致现有角色成员获得与角色描述一致的额外权限。
我们建议您提前审查以下更改与您的组织角色成员的安全性考虑,并在必要时更新控制面板中的角色。
图表表示第一阶段更改中的角色映射到控制面板角色
管理
权限和平台设置中授予的其他权限组织管理员获得管理权限、成员身份、权限标记类别和控制扩展访问/应用组织。
具有组织管理员默认角色的用户将获得执行以前通过平台设置授予的工作流的能力(管理权限、管理成员身份、管理权限标记类别和查看组成员身份)。这一变化保持了我们的理念,即组织管理员是一个高度特权的角色,应该有能力管理组织的所有方面。
扩展访问将保持独立,并不会自动授予组织管理员。然而,组织管理员将能够通过导航到控制面板 > 组织权限选项卡来管理具有此功能的用户和组。
查看组成员身份
具有组织设置查看者默认角色的用户将获得查看组织组成员身份的能力。目前,此控制面板角色授予对控制面板中组织权限的只读访问权限,但未来几个月将添加更多只读工作流。
管理权限标记类别
具有数据治理官默认角色的用户将获得管理组织权限标记类别的能力。
用户和组管理员
默认角色在控制面板中添加一个新的默认角色,称为用户和组管理员。添加到此角色的用户将获得管理组织成员身份的能力。
权限标记
选项卡在控制面板的组织权限部分将添加一个新的权限标记选项卡。这是平台设置中应用组织和扩展访问部分的一对一替代。
控制面板上的新权限标记选项卡,供组织管理员查看组织权限和现有权限
在第二阶段,现有权限授予将自动迁移到控制面板角色,并且平台设置界面将完全弃用和删除。一旦第一阶段开始,将提供关于第二阶段详细信息的额外沟通。在第一阶段开始时,我们鼓励管理员:
有关Foundry中权限及其原语如何工作的更多信息,请参阅Foundry上的注册和组织文档。
发布日期:2023-11-02
Python语言版本的Ontology SDK现已普遍可用。开发人员可以使用开发者控制台生成带有对象类型、链接类型和操作类型的Python包,并使用Conda或pip安装该包。
Ontology SDK可用于加载数据、执行聚合和应用操作。以下是一个代码片段示例:
Python Ontology SDK是使用开发者控制台生成的。有关更多详细信息,请参阅Ontology SDK文档,或按照我们的教程如何使用Python SDK与Jupyter notebook。
开发者控制台还包括定制为您应用内容的动态文档。平台内的API文档还可用于TypeScript和cURL。
开发者控制台包括SDK中每种对象类型的文档
从您的Foundry工作区导航栏中打开开发者控制台并创建一个应用程序或打开您已经创建的一个应用程序。在应用程序SDK页面,您将找到所有生成的SDK版本列表。首先选择右上角的入门文档。
开发者控制台包括SDK中每种对象类型的文档
从开发者控制台导航栏的设置菜单下访问应用程序SDK并开始使用入门文档
有关更多信息,请查看Ontology SDK文档。
发布日期:2023-11-02
自动化,将在11月20日那一周普遍可用,是一个完全向后兼容的新产品,取代对象监控,成为Foundry中所有业务自动化的单一入口点。所有现有的对象监控将自动迁移到新应用程序,并继续无变化地运行。
自动化的概览页面
自动化允许用户新设置时间条件,除了对象条件外,并将它们链接到当条件满足时自动执行的操作或通知。与对象监控相比,自动化提供了许多改进和扩展,包括一个全新设计的用户界面,用于创建自动化,更多选项来配置条件和效果,以及与平台中其他应用程序的本机集成。
除了自动化创建永不过期的自动化功能外,您现在还可以配置各种新的条件、效果和本机集成,以提供更多的自动化灵活性。
我们计划扩展自动化的能力,并进一步将其嵌入到Foundry的其他应用程序中,重点是改进:
发布日期: 2023-11-13
增强的Ontology Manager中的架构迁移界面 | Ontology Manager应用程序现在在OSV2中进行重大架构更改时,具有重新设计的架构迁移用户界面。用户可以轻松应用一组建议的迁移,从而简化流程并提升用户体验。
发布日期: 2023-11-13
在开发者控制台中包含附件文档 | 在为Typescript OSDK生成文档时,如果相关Ontology对象类型、操作和函数包含任何附件属性,现在有一个关于处理附件的章节。
发布日期: 2023-11-13
增强的开发者控制台函数选择 | 开发者控制台现在允许选择具有不支持输入/输出的函数,提供了更灵活的体验。不支持的类型会被记录,失败会显示在CLI日志中。
发布日期: 2023-11-13
实时部署的模型推断历史 | 模型推断历史是Foundry中的一个数据集,记录所有发送到建模实时部署的推断请求(输入)和推断结果(输出)。该功能通过提供所有推断的全面记录来增强用户体验,从而更好地跟踪和分析模型性能。
发布日期: 2023-11-13
改进的遥测服务稳定性 | Foundry遥测服务已优化,导致QoS和事务冲突异常显著减少。用户可以期待一个更稳定和可靠的体验,这些异常减少了91%。
发布日期: 2023-11-13
Slate中启用严格模式 | Slate现在在“严格模式 ↗”下运行,因为所有脚本都作为ES6模块运行,确保更好的代码质量和错误处理。此更新可能会影响变量命名,因为JavaScript关键字现在被严格保留。
发布日期: 2023-11-13
Slate中增强的跨窗口消息传递 | Slate现在支持更灵活的跨窗口消息传递。此新功能允许用户在不同的浏览器窗口之间发送消息,提供更集成和无缝的用户体验。该实现具有高度的灵活性,基本上作为window.postMessage
函数的包装器和一个用于接收事件的监听器。用户现在可以使用slate.sendMessage操作来指定他们的消息,发布任何他们想要的内容,并选择性地在收到消息时触发特定的Slate操作。
发布日期: 2023-11-13
对象类型的管道来源指示 | 在Pipeline Builder中创建的对象类型现在显示一个横幅,指示它们在哪个管道中创建,即使在Ontology Manager中启用了编辑时也是如此。横幅还显示了Ontology Manager中的编辑是否已启用。对于在Pipeline Builder中创建的对象类型,如果它们不针对构建数据集而是直接填充对象类型,则会显示Pipeline Builder管道而不是支持数据集。
发布日期: 2023-11-08
Pipeline Builder中增强的Ontology集成 | Pipeline Builder现在支持Ontology输出类型,确保与下游生产应用程序的无缝集成。用户现在可以直接在Pipeline Builder中添加对象类型或链接类型输出,无需在Ontology Manager中将数据集输出链接到对象。
发布日期: 2023-11-08
增强的调试任务执行器分析 | 通过周期性执行器分析改进了调试任务的执行器端性能分析。默认情况下,执行器每5分钟分析一次,持续一分钟,提供更好的可见性以识别和解决性能回归。您可以从输出数据集的详细信息选项卡中的文件视图下载包含火焰图的HTML文件。
发布日期: 2023-11-08
增强的模型创建体验 | 模型资产创建流程已显著改进,提供了多种指导选项来创建不同的模型类型。此外,建模目标应用程序中的模型提交对话框现在支持更多的来源类型和直接沙箱部署,以便立即测试新的模型提交。
发布日期: 2023-11-08
开发者控制台:更新groupby
语法 | Foundry开发者控制台现在使用group_by
语法而不是groupby
,以提高一致性和可读性。
发布日期: 2023-11-08
通过输入采样增强预览速度 | Pipeline Builder现在支持输入采样,允许用户选择一定百分比的输入数据以加快预览速度。此功能显著提高了预览速度,同时在构建时保持完整的输入计算。
发布日期: 2023-11-08
Pipeline Builder中增强的地理空间数据预览 | 用户现在可以直接在Pipeline Builder中使用左下角面板中的地理空间预览看板预览地理空间变换。要使用此功能,请在预览表中选择一系列地理空间数据点,然后右键点击并选择打开地理预览。
发布日期: 2023-11-06
选择加入SDK Beta功能 | 用户现在可以在Foundry开发者控制台中选择加入SDK Beta功能。这使用户能够在所有人推出之前测试和试验新功能,例如时间序列属性。要启用Beta功能,只需在包设置中切换“启用Beta功能”选项。
发布日期: 2023-11-06
Notepad模板中的条件选择 | 条件选择使用户能够根据字符串模板输入的值选择性地在生成的文档中包含内容。使用"if"部分配置规则以设置条件,并使用"then"部分确定后果,选择隐藏或显示条件部分的内容。
发布日期: 2023-11-02
Pipeline Builder搜索面板 | 搜索面板已更新,以在搜索管道图和变换路径时提供更友好的用户体验。新功能包括更明确的工具提示和标签、使用Enter
和Shift + Enter
在结果之间导航的能力,以及通过Ctrl + F
(Windows)/cmd + f
(MacOS)打开搜索面板的选项。
用户可以组合多个条件,每个条件可以切换以搜索节点名称、描述/文本面板、列引用、架构或属性名称、变换名称和参数引用。
发布日期: 2023-11-02
Pipeline Builder提案现在支持评论 | 现在可以在提案中添加评论,以帮助用户之间讨论所提议的更改。
发布日期: 2023-11-02
时间序列单位覆盖和转换 | 用户现在可以使用变换表列或字符串提供程序手动覆盖时间序列的单位。当与时间序列单位变换一起使用时,用户可以将一个时间序列的单位传播到多个时间序列。
此外,用户现在可以使用可用的单位转换来转换系列数据的值。可用的单位转换取决于系列的基本单位,或如果指定,则取决于覆盖单位。