注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
提醒: 现在您可以注册Foundry通讯,以便直接在您的收件箱中接收有关平台新产品、功能和改进的摘要。有关如何订阅的更多信息,请参阅Foundry通讯和产品反馈渠道公告。
发布日期:2024-03-14
我们正在继续扩展轻量级变换的功能集,并很高兴地宣布,现在提供三项新功能,以提高性能、减少启动时间和开销,并基于用户的资格限制对资源的访问。
增量变换现在与轻量级变换兼容。您可以利用此集成将增量变换的性能优势与轻量级变换的减少启动时间结合起来。要使您的轻量级搭建增量化,您只需添加一个@incremental
装饰器,如下所示:
Copied!1 2 3 4 5 6 7
import pandas @lightweight() @incremental(require_incremental=True) # 需要增量处理 @transform(my_input=Input("my-input"), my_output=Output("my-output")) def my_incremental_transform(my_input, my_output): my_output.write_pandas(my_input.pandas(mode="added")) # 只处理新增的数据
要开始创建增量轻量变换,升级您的存储库至最新版本,并安装最新版本的foundry-transforms-lib-python
。更多详情,请查看文档。
外部变换现在支持@lightweight
API,通过减少启动开销来提升性能。这一增强功能非常适合外部变换,因为它们通常不依赖Spark或CPU密集,从而提高了延迟和吞吐量。以下是一个示例:
Copied!1 2 3 4 5 6 7 8 9
@lightweight @use_external_systems( egress=EgressPolicy('<policy RID>'), # 使用外部系统时定义的出口策略 creds=Credential('<credential RID>') # 使用外部系统时所需的凭证 ) @transform( output=Output('/path/to/output/dataset') # 转换后的数据输出路径 ) def compute(egress, creds, ...): # 定义计算函数,传入出口策略和凭证
权限标记和组织基于用户的资格限制对资源的访问。当在派生资源时删除或模糊受限制内容时,您可能希望移除该派生资源上的权限标记和/或组织。取消权限标记(也称为取消标记)现在支持轻量级变换。
有关在轻量级变换中移除权限标记的更多信息,请查看文档。
使用HTML的精细化工具提示自定义 | 用户现在可以使用HTML在图表中创建样式化和多行的工具提示,从而增强以更有效地定制和呈现数据的能力。
Slate中的增强脚本合规性 | Slate已增强以符合严格模式 ↗标准,确保脚本解析和错误处理更加精确。现在禁止将保留关键字用作变量,符合ES6模块约定。
Slate中的增强异步功能 | Slate已增强以支持异步函数,为更复杂的应用案例铺平道路,例如查询之间的超时和利用异步函数的库集成。此改进在Slate中引入了基于Promise的异步操作处理方法,同时保持同步函数执行。
引入Workshop的循环设计 | Workshop的功能通过引入循环设计得到了扩展,允许用户迭代对象集并为每个对象呈现嵌入模块。此增强简化了数据集合的处理并提升了用户设计交互模块的能力。有关更多信息,请参阅循环设计文档。
增强的移动Workshop模块集成 | Workshop的移动版本现在拥有一个新功能:嵌入模块微件的集成。此改进简化了在其他模块中整合移动兼容模块的过程,促进了移动设备上的更具互动性和吸引力的用户体验。嵌入仅适用于移动模块,详见我们文档的移动模式限制部分。
升级的Workshop记事本模板按钮灵活性 | Workshop已更新,以允许基于布尔变量有条件地显示和禁用记事本模板选项,类似于按钮组微件的功能。此更新还引入了利用字符串变量的工具提示,为用户提供了更好的指导。
Workshop中的增强音频预览 | Workshop现在为媒体集中的媒体引用展示波形音频播放器,提供了用户更直观的音频文件预览方法。
Workshop中的增强标签滚动 | 新的启用溢出配置选项允许用户轻松浏览Workshop部分标题中溢出的标签。激活后,标签两侧将显示箭头,确保用户即使在标签超出部分标题宽度时也能访问所有标签。
开发者控制台外观刷新 | 开发者控制台已重新设计,新增侧边栏、应用程序标题和浅色主题,并增强了主页。
Python批量操作:返回编辑支持 | 用户现在可以使用非必填参数batch_action_config
设置return_edits
为ALL,并在使用Python批量应用操作时在响应中接收编辑。
记事本中引入批处理函数 | 记事本中的对象部分现在可以配置批处理函数,这可以显著减少从模板生成文档所需的时间。
批处理函数是接受对象集作为参数并为对象集中的每个对象返回结果的函数。用户可以为嵌套在生成器部分中的对象部分配置批处理函数。
使用批处理函数可以减少模板生成时间,因为未批处理函数必须为对象集中每个对象执行一次,而批处理函数只需对整个对象集执行一次。
要开始使用批处理函数,用户可以在记事本文档中插入对象部分,从配置面板中选择批处理选项并选择批处理函数。了解如何编写或配置批处理函数。
改版的记事本入口屏幕 | 记事本的入口屏幕已升级,提供更直观的搜索功能,帮助用户快速按标题或内容查找笔记。此增强引入了可排序的资源列表,具有快速访问类别如最近、我的创作和已加书签。此外,还提供了一个帮助图标,以便即时参考记事本指南和AIP协助,以及简化生成新记事本文档或模板的过程。
记事本中的改进Markdown格式功能 | 记事本已升级,以更好地解释对象输出的函数为Markdown,增强了在模板中创建动态和视觉上吸引人的文本格式的能力。
代码工作区中引入容器变换 | 现在可以将Jupyter®笔记本和R脚本发布为数据变换管道作为容器变换。容器变换易于复制并可以安排自动运行。此功能使代码工作区与Foundry的集成更加紧密,并使您能够轻松与其他用户共享您的数据分析工作流程的输出。要了解有关使用容器变换的更多信息,请阅读Jupyter®和RStudio®的公开文档。
在Contour中简化分析标记 | Contour现在提供了一种精简的方式来分类和管理您的分析,引入了分析标记功能。要指派标签,请选择更多操作菜单,进入标签子菜单,并指定您选择的标签。为了方便组织视图,可以在分析侧边栏中按这些标签对分析进行排序,简化复杂分析项目的导航和管理。
精细化Ontology管理器筛选选项 | Ontology管理器清理工具现在拥有改进的筛选功能,使用户能够按关联标记的数量对对象类型进行排序。此增强有助于更详细和高效地组织Ontology清理活动,使用户能够根据不同标准有效地优先处理任务。
Ontology管理器中的增强API名称创建 | Ontology管理器现在以不同的方式生成API名称。过去,当对象类型显示名称包含'['和']'字符时,自动生成的API名称会以下划线开头。通过此改进,API名称将不再以下划线开头,提供了一种更直观和用户友好的命名方式。此更改仅影响默认生成的名称,建议用户进一步自定义。
Ontology管理器中可定制的操作类型API名称 | 直接从概览选项卡,Ontology管理器现在支持自定义操作类型的API名称,提供了更大的灵活性。
Vertex中的增强注释功能 | Vertex已升级,包括一种新的注释模式,允许用户使用各种自定义形状和颜色进行标记和高亮。此更新为用户提供了一种动态且可定制的注释视觉内容的方法,提升了交互体验。
简化的内容管理和数据集集成 | 用户现在具有增强的功能,可以直接从URL与数据集集成和管理内容,即使在没有主文件夹的情况下也能简化此过程。此改进确保诸如通过URL导入工作表等操作能够轻松进行,无论是否有主文件夹。
组织权限标记可以在控制面板中管理 | 控制面板现在允许组织管理员在组织权限的新选项卡中调整组织权限标记。这一增强是整合权限处理的一个步伐,提供了更统一和直接的体验。随着迁移第2阶段的成功实施,预计在2024年第一季度宣布,控制面板将成为组织权限配置的唯一中心,使得平台设置中的旧方法过时。
AIP逻辑中的精细化调试界面 | AIP逻辑中的调试工具已升级,新增可切换的区块卡片和简化的提示可视化功能,以及一个重置工具调用的专用功能。这些改进旨在增强用户在逻辑流程中高效导航和解决问题的能力。
在AIP逻辑中引入对象集输出 | AIP逻辑中的使用LLM区块现在支持返回对象集作为输出,增强了与Workshop的集成便利性。此改进使用户能够运行产生多个对象的提示,从而增强工作流程中的分析功能。例如,通过此功能,诸如“西班牙或意大利的F1车手更多吗?返回这些车手”这样的提示将返回多个对象作为结果。示例为概念性,使用开源数据。
在AIP逻辑中引入单次完成LLM区块 | 单次完成LLM区块
现在可以从LLM区块运行单次完成,无需特殊处理或额外指令。当链式思考(CoT)提示的附加能力不需要时,此功能对于提高性能非常有用,因为它在所有提示策略中增加了最少的词元开销。请注意,使用单次完成LLM区块时,工具和指定返回类型不可用。
在AIP逻辑中引入变换块 | 变换块允许您在AIP逻辑中使用表达式。这是使用AIP逻辑对数据进行变换的一个好方法,例如将字符串转换为日期、解析JSON、执行数学表达式等。
AIP逻辑中扩展的数组输出功能 | AIP逻辑中引入了生成数组输出的功能,便利了通过单一响应提供多个建议或值。这一进步增强了与LLM区块的交互动态性,以解决需要多种可能解决方案的问题。
为模型部署精细化媒体集成 | 模型部署程序已升级,以将媒体集成为可选择的输入,特别是在模型的API包含媒体引用时。这一增强引入了在适用模型的上下文中出现的媒体集选择器,简化了涉及媒体数据的部署配置。
管道构建器中的高级属性提取 | 管道构建器现在提供了从geoJSON数据提取属性的增强用户体验。用户可以选择将所有属性提取为字符串或使用结构定义要提取的属性集。
数据集目标支持手动数据输入 | 管道构建器中的数据集目标现在允许手动输入数据,类似于对象类型目标的现有功能。
管道构建器中的回退分支支持 | 您现在可以在管理分支对话框中配置数据集输入解析和管道构建的回退分支。
从管道构建器直接访问Ontology管理器 | 用户现在可以从管道构建器直接在Ontology管理器中打开Ontology类型输出。当选择Ontology类型输出时,在该输出的右侧会出现一个新的操作,允许用户在不必手动切换应用程序的情况下在Ontology管理器中查看它。
管道构建器中的简化列重命名 | 管道构建器中的“编辑多个”功能已增强,以符合“规范化列”变换板,现在使用小写蛇形命名法来命名列并保留特殊字符。此改进促进了更一致和用户友好的重命名过程,满足用户对规范化的期望。
改进的直接媒体提取启动 | 数据连接界面现在在媒体提取概览页面上新增了一个按钮,使用户能够直接启动媒体提取。此增强通过提供一种简单的方法来执行媒体提取,简化了提取过程,无需离开当前页面。
优化的媒体提取调度 | 用户现在可以在创建工作流程中直接设置媒体提取的调度。
在数据连接中的简化媒体同步界面 | 数据连接中引入了新的媒体同步概览界面,提供了类似于批量同步的统一仪表盘。此新版本为即将到来的增强奠定了基础,例如集成的媒体同步启动功能和直接在平台内调度同步的能力。
在Markdown文件中增强媒体嵌入 | 代码库中的Markdown文件现在支持使用markdown语法直接嵌入媒体项目。例如:
。
TypeScript代码库的简单导入 | 使用重新设计的资源导入面板,在单一、集成的工作流程中导入对象类型、链接类型、REST API和模型。在将资产拉入代码库以在TypeScript函数中使用之前,轻松搜索和预览资产。