注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

公告

Python版本弃用

发布日期:2023-07-27

Foundry将弃用Python 3.6和3.7,遵循开源Python的EOL时间表。将在代码库中尝试自动升级,代码工作簿和较旧的foundry_ml模型需要手动操作。自Python 3.8起,将严格遵循上游EOL弃用时间表。

请查看文档中的Python版本部分,以了解哪些版本受到支持及其各自的弃用时间表。我们建议您始终将您的资源维护在最新支持的版本上。

为什么弃用Python 3.6和3.7?

开源Python每年将旧版本的Python标记为生命周期结束(EOL)↗并放弃官方支持。Python 3.6和3.7已经超过其EOL,继续使用EOL的Python版本会带来安全风险,并且还有以下考虑:

  • 核心包如PySpark正在强制弃用旧的Python版本(例如,Spark中弃用Python 3.6和3.7),我们无法为使用已弃用Python版本的Python任务提供运行时改进或错误修复。
  • 开源库继续发布与这些已弃用的Python版本不兼容的新版本,这会导致检查和任务失败。

作为用户,弃用对我意味着什么?

如果您拥有使用已弃用Python版本的资源,您将无法根据以下时间表对其进行开发:

  • 2024年1月31日
    • 如果您的任何工作流依赖于已弃用的Python版本,某些工作流将不再受支持,如果出错,您将无法获得支持。如果事先与Palantir达成一致,可以将有限的资源列入白名单以获得扩展支持。
  • 2024年4月1日
    • 所有依赖于Python 3.6和3.7的工作流将不再受支持,并将开始失败。

Foundry资源迁移到支持的Python版本

Foundry资源迁移将遵循以下模式:

  • 代码库:将以自动补丁PR的形式尝试自动升级。
  • 其他资源:包含说明和链接的通知横幅将显示,指导您如何远离已弃用的Python版本。请查看故障排除指南以获取更多信息。

目前,平台支持的最新版本是Python 3.10.*。Python 3.8.*和3.9.*也被接受,但它们将比3.10.*更早被弃用。

未来的Python版本弃用

自Python 3.8起,Foundry将严格遵循上游的生命周期结束时间表,一旦Python版本达到上游生命周期结束,将在Foundry中弃用该版本。欲了解更多信息,请参阅文档中的Python版本

介绍Ontology SDK中的Python支持 [Beta]

发布日期:2023-07-27

Foundry现已在Ontology SDK和开发者控制台中支持Python,并进入Beta阶段。此版本使开发人员能够生成包含所需对象类型、操作类型和链接的Python包,使用conda或pip安装该包,并在Jupyter®笔记本或其他IDE中分析结果。

生成包含所需对象类型、操作类型和链接的Python包

安装命令行包后,您可以使用它生成SDK,将SDK导入您的Python环境,并开始遍历对象,搜索特定对象,并应用操作来编辑您的对象。

如何尝试?

每个应用程序在开发者控制台中包含一个切换按钮,可在不同的包管理器之间切换。在应用程序SDK页面的Install SDK选项卡上,使用npm安装说明切换到TypeScript,或使用pipConda安装说明切换到Python。

Install SDK选项卡

安装后,启动您的Python IDE(如Jupyter®),导入生成的包,开始使用Ontology对象类型和操作类型。

欲了解更多信息,请查看使用Jupyter®与OSDK文档。

如果需要自己生成Python包怎么办?

如果平台无法为您生成包,将向您提供如何使用命令行界面(CLI)工具生成包的说明。

使用Conda本地生成SDK的说明


Jupyter®是NumFOCUS的注册商标。

推出Vertex和Map中的时间轴功能 [GA]

发布日期:2023-07-27

时间轴是Vertex和Map中的一个功能,允许用户检查所选对象的时间属性,并筛选特定时间范围内的事件,现在已正式推出。使用位于缩放选择器旁边的时间轴按钮,打开显示当前Vertex图或地图上对象事件的时间轴面板。

使用时间轴根据特定时间范围筛选对象的示例

在Workshop中启用时间轴

如果您希望时间轴显示在您的Workshop图表或地图微件中,请导航到配置的界面部分,为任一微件切换启用时间轴

切换以启用时间轴

如果您之前使用过时间轴的Beta版本,此选项默认关闭,需要在希望时间轴可用的每个模块中启用。

时间选择面板的弃用计划

由于时间轴现已GA,Foundry Map现有的时间选择面板功能计划于2023年8月21日(星期一)弃用。

Foundry Map示例

虽然当前功能没有变化以防止现有时间工作流中断,但我们要求所有实例在此日期前切换到时间轴功能。如果您对本次更新有任何疑问或担忧,请联系Palantir支持。

为时间轴设置日期

请注意,在开发其他时间比较和建模功能时,此功能将继续在Vertex中可用。

开发路线图

我们计划在加载时默认启用折叠或展开时间轴的功能。

欲了解更多关于时间轴及其使用的信息,请查看Vertex时间轴Map时间轴文档。

推出对象上的Functions中的Foundry模型 [GA]

发布日期:2023-07-20

您现在可以在对象的Functions中调用模型(通过FoundryML实时部署提供),从而增加模型在Ontology、Workshop及Palantir Foundry中的执行范围。模型上的Functions可以在任何使用正常Functions的地方被消费。

您现在可以做什么

  • 复杂的Ontology映射: 借助Functions的力量,用户现在可以设置链接、创建对象,甚至放宽模型输入到输出的1:1约束,该约束存在于Objective绑定UI中。
  • 模型作为操作: 以'OntologyEditFunction'为后盾的操作现在可以调用模型。这些操作可以直接应用于主Ontology,也可以应用于场景,然后再合并回主Ontology。
  • 模型作为基本函数: 不影响Ontology的模型,而是直接驱动可视化的模型,现在可以轻松集成到返回Workshop特定数据类型的对象上。这种功能加快了性能,避免了涉及场景的不必要设置。
  • 最后一分钟特征工程: Functions可以执行对象搜索和聚合,允许在到达模型之前进行特征制作。

要求

要启用此工作流,您必须首先在FoundryML实时部署的配置页面上配置API名称,并满足以下要求:

  • 最小Apollo产品版本:

    1. functions-typescript-asset-bundle: >= 0.442.0
    2. functions-parent-template-bundle: >= 3.5.0
  • 最小gradle.properties版本:

    1. functionsTypescriptVersion >= 0.442.0
    2. functionsVersion: >= 3.5.0

模型上的Functions如何工作

工作流从保存在Foundry中的模型开始。用户将其提交到建模目标,并通过Foundry ML Live进行部署。

Functions库有一个新选项,可以导入Foundry ML Live部署,类似于Ontology导入对话框。这会注册模型部署,并允许Code Assist自动生成用于导入的Foundry ML Live部署的typescript绑定,可以使用部署的API名称进行导入。

代码中提供的接口包含一个transform()方法,该方法调用Foundry ML Live。建模函数可以利用新的Model Asset原语,提供一个反映模型输入和输出的类型化transform()。请参见下面的导入工作流和示例代码:

FoundryML Live部署的导入对话框

FoundryML live部署的导入对话框

模型上的Functions示例代码

模型上的Functions示例代码

如果我已经在使用模型上的Functions怎么办?

对于已经使用模型上的Functions的用户,此GA包含重大更改,如果您选择升级您的库。我们鼓励所有用户迁移旧库,这是一项相对简单的过程:

  1. 为您的ML Live部署定义一个API名称
  2. 在您的Functions库中创建一个新分支
  3. functionsVersionfunctionsTypescriptVersion升级到上述版本
  4. functions.json中将useDeploymentApiNames设置为true
  5. 将所有导入从import { riSanitizedRid } from "@foundry/models-api"修改为import { MyDeploymentApiName} from "@foundry/models-api/deployments"
  6. 验证代码生成在新分支中工作,然后提交拉取请求以合并回主分支

了解更多关于模型上的Functions的信息。

推出资源管理数据导出功能

发布日期:2023-07-20

资源管理管理员现在可以将资源管理数据从控制面板导出到Foundry数据集,从而在Foundry工具(如Contour)中进行自定义调查和使用数据分析。

要从控制面板导出数据,请导航到内部数据集导出并将您的详细使用数据导出到一个新数据集。一旦导出,该数据集将与上游数据源保持最新。与审计日志一样,导出敏感数据集后,请确保您适当地为相关数据集设置权限。

导航到内部数据集导出以从控制面板导出资源管理数据。

导航到内部数据集导出以从控制面板导出资源管理数据。

RMA数据的架构如下:

  • enrollment: 导出使用数据的注册信息。此列将包含单个注册RID。
  • invoiced_dimension: 该行使用数据所属的开票维度,如注册合同中所述。
  • source: 该行使用数据所属的来源。
  • summary_resource_rid: 详细使用数据的父级。对于数据集,这是保存数据集的项目;对于Ontology对象,这是Ontology RID。
  • granular_resource_rid: 该使用数据所属的资源。
  • date: 使用数据被消耗的日期。
  • usage: 消耗的使用量。
  • usage_unit: 使用的单位。对于存储,这个单位是GB-月。对于计算,这个单位是计算秒。

欲了解更多信息,请参阅内部数据集导出文档。

推出容器支持的模型 [GA]

发布日期:2023-07-18

引入的容器支持的模型允许您配置由容器镜像支持的模型,显著扩展了可以在Foundry中用于批处理或实时推理的模型范围。您现在可以将任意执行逻辑打包到容器镜像中,并在Foundry中使用该模型进行评估、推理和与运营应用程序集成。容器支持的模型资产对于大型预训练模型、用Foundry模型不原生支持的语言(如R)编写的模型,或已经为其他用途容器化的模型特别有用。

添加模型对话框,突出显示“导入容器化模型”

容器支持的模型的主要功能

  1. 灵活性:容器可以配置为支持广泛的机器学习框架、自定义代码和语言。
  2. 模型版本控制:容器支持的模型可以打包成模型版本,允许在Foundry中独立评估、审查和发布模型。
  3. GPU支持:容器支持的模型可以配置为在Foundry中访问各种GPU进行推理和执行。
  4. 媒体支持:容器支持的模型可以访问表格和媒体数据,提供在Foundry中原生配置计算机视觉、音频和视频工作流的能力。

如何配置容器支持的模型

  1. 在控制面板中启用容器工作流
  2. 创建一个模型资产并将容器镜像推送到模型资产
  3. 编写一个模型适配器以与您的容器交互。
  4. 使用容器镜像和模型适配器配置模型版本
  5. 部署您的容器支持的模型并将其集成到运营应用程序中。

欲了解更多关于容器支持的模型的信息,包括如何创建、部署和管理它们的详细说明,请参阅我们的文档

推出Home应用 [GA]

发布日期:2023-07-18

Home应用是一个新的默认Foundry工作区主页,专门为新的应用程序构建者设计,提供引导体验,帮助熟悉完成核心工作流并简化入职流程。

Home应用的功能帮助您:

  • 展示用户可以在Foundry中完成的各种工作流
  • 提供访问资源、应用程序和完成核心工作流所需文档的单一入口,使新开发人员更容易上手
  • 允许用户选择工作流目标,从而提供定制和目标导向的初始Foundry体验
  • 根据用户的技术栈和可用的Foundry应用程序和资源推荐高效的起点
  • 提供用户对Ontology、数据集和各种Foundry应用程序如何适应生态系统的清晰理解

新Home应用UI

将Home应用设置为您的默认主页

Home应用会自动安装在所有实例上,并在现有和新账户中实施。要将Home应用设置为您的技术栈的默认主页,请访问控制面板中的主页URL设置,并选择/narrative作为所有用户或特定用户组的主页。要在您的技术栈中查看Home应用,请访问/workspace/narrative

新Home应用UI:“构建应用程序”工作流

欲了解更多信息,请参阅主页文档

默认启用Foundry快速搜索

发布日期:2023-07-18

Foundry快速搜索现已默认为所有用户启用,提供更快、更直观的搜索体验。用户可以暂时使用UI中的“关闭”按钮切换回旧版Foundry搜索,直到7月底,届时快速搜索将成为唯一选项,并将移除旧版搜索按钮。查看快速搜索文档快速搜索GA公告以获取更多详细信息。

推出时间序列的新工作流和UI

发布日期:2023-07-18

Foundry中的时间序列设置工作流跨多个阶段将数据转换为正确的形状,建立稳健的Ontology以丰富分析,并创建分析和运营应用程序以做出关键业务决策。时间序列设置流程现在有指南和更新的用户界面,使Foundry中的新用户和现有用户更容易访问。

时间序列工作流探索指南

数据集预览、Ontology管理器和Pipeline Builder中现在有新的指南。这些有用的指南介绍了概念和工作流,您可以查看以了解更多关于在Foundry中使用时间序列数据的信息。

在数据集预览中,您可以选择从流或批数据集中分析数据,并打开一个指南,了解时间序列工作流的关键概念和设置要求。

数据分析选项

分析时间序列数据的指南

在Ontology管理器中,新指南帮助您创建或选择时间序列对象类型并完成时间序列属性的设置。这些指南包括表示Foundry中时间序列数据架构和使用的视觉示例。

创建或选择时间序列对象类型的指南

改进的时间序列管理界面

Ontology管理器中的更新用户界面允许您直接从功能选项卡创建和管理时间序列属性。从这里,您可以链接现有管道的时间序列同步或构建新的管道以创建时间序列同步。

时间序列属性

添加时间序列属性

示例管道

此外,Pipeline Builder现在完全支持从流或批时间序列数据创建时间序列输出。了解更多关于Pipeline Builder输出

通过导航到[时间序列文档](../time-series/time

通过描述期望的输出配置可视化

Quiver 用户现在可以在不需要了解每个 Quiver 卡片提供的可视化设置的情况下获得完美的可视化效果。AIP 使更新卡片配置变得轻而易举,因为用户可以向 AIP 描述配置,例如:

  • “将图例移动到底部并将样式更改为分组”。
  • “将指标更改为销售总和,并将 y 轴标题更新为 Total Sales”。

对于每个命令,AIP 会返回卡片配置建议,并附有每个建议为何被提出的解释,用户可以接受或拒绝这些建议。

AIP 配置卡片示例

目前,Quiver 中的 AIP 仅支持对象集和对象卡片。支持的卡片标有“AIP 支持”标签。

AIP 支持的卡片示例

通过缩短新旧 Quiver 用户的价值实现时间,AIP 仅凭一个用户命令就将 Quiver 的全套高级功能推到前台。这些新功能代表了 AIP 增强 Quiver 分析的令人兴奋的方式的开始,未来将会有更多功能推出。

有关 Quiver 的 AIP 功能 的更多信息,请参阅文档。


其他亮点

安全 | 项目

在访问检查面板中展示额外的数据要求 | 工作区侧边栏中的访问检查面板现在展示了某些文件的额外数据要求,例如通过数据集的谱系继承的权限标记以及 Workshop 模块和 Slate 应用程序的 Ontology 依赖。

数据集和 Workshop 模块的额外数据要求 数据集和 Workshop 模块的额外数据要求

数据集成 | 代码库

新代码库默认在 PR 合并时删除源分支 | 所有新代码库将在其相应的拉取请求合并时默认删除源分支。现有代码库不会受到影响,并且可以在每个代码库的基础上选择退出。此更改将通过减缓分支的扩散来提高性能和稳定性,从而减少对下游服务的压力。

分支删除设置 分支删除设置

数据集成 | 数据连接

数据连接中的导出支持 | 现在支持数据连接导出。导出旨在替代导出任务,并提供一个用户友好的界面,用于配置从 Foundry 到其他系统的数据流。通过导出,您可以使用相同的连接来同步数据到 Foundry 并从 Foundry 导出数据。对于支持的来源,您现在将在来源概览页面上看到一个导出表格以及创建新导出的选项。此版本中,导出可用于 S3 和 Kafka 来源。更多来源类型的支持即将推出。

数据连接中新 S3 导出页面 数据连接中新 S3 导出页面

Foundry | Cipher

Cipher 许可证到 Builder 管道 | Cipher 用户现在可以从 Cipher 应用程序创建 Builder 管道,以启动对其最敏感数据的加密。这适用于允许加密的管理员和数据管理器许可证。为此,用户需要选择一个数据集和一个用于加密的特定列。然后,Cipher 将自动生成一个管道,用户可以在此基础上进行构建,预先选择的列已经加密。

应用程序构建 | Workshop

对象列表微件:卡片样式和增加的媒体支持 | 对象列表微件现在支持每个对象的卡片样式,并提供更多选项用于行内显示图像、音频和其他媒体附件。请参阅带有重要行内图像显示的每个对象的新卡片样式示例。

卡片样式支持示例

应用程序构建 | Workshop

变量变换:数组操作 | 数组操作 现在在 Workshop 的前端变量变换系统中受到支持。变换可用于组合新数组,计算数组之间的交集,并运行布尔检查以确定数组中是否存在值。

卡片样式配置

当前值

交集

布尔支持

应用程序构建 | Workshop

模块版本的描述 | 应用程序构建者现在可以在保存新模块版本时添加非必填描述。这有助于记录生产模块更改的演变,并允许构建者维护模块历史的更丰富记录。描述可以在模块的版本对话框中查看、添加和编辑。追溯性添加或编辑的描述将被标记为已编辑,带有准确的时间戳和编辑者详细信息。恢复到模块的先前版本将自动生成描述,记录所采取的恢复操作。

模块版本描述视图

安全 | 项目

要求通过异步请求采取的操作的检查点 | 如果已为某些同步操作(例如向项目添加引用)配置了检查点,则现在需要为异步请求提供理由。相应的任务将显示检查点是否已完成。

必需和已完成的检查点

分析 | Quiver

添加布尔筛选变换 | 增加了用于通过布尔列筛选变换表行的等于不等于比较变换。这些新变换增强了筛选功能,允许用户通过布尔列和其他列类型(如日期和字符串)进行筛选。比较变换也可以在变换表之外单独使用。

使用新布尔比较变换检查布尔列是否为 True 的示例

使用新布尔比较变换检查布尔列是否为 True 的示例

通过布尔比较变换输出筛选行的变换表示例

通过布尔比较变换输出筛选行的变换表示例

Ontology | Ontology 管理

支持用户编辑的对象类型从 OSv1 迁移到 OSv2 | 用户编辑的对象类型和多对多链接类型现在可以在 Ontology 管理器中迁移到 OSv2。此前,迁移框架 不允许迁移具有现有用户编辑的对象类型。编辑的对象类型现在可以从 OSv2 的新功能和功能 中受益。

用户编辑的对象类型从 OSv1 迁移到 OSv2

分析 | Quiver

用数字数组聚合变换替换数字组聚合 | "数字数组聚合" 是一种新变换,执行以下函数:第一个,最后一个,总和,平均值,标准差,最大值,最小值,差异,积和计数。替换现有的仅在变换表中工作的"数字组聚合"变换,这种新变换在变换表中和表外都可以工作。

分析 | Quiver

添加数字到日期变换 | 发布了一种新的"数字到日期"变换,将日期的数字表示(Unix 秒或毫秒,表示 UTC 时间戳)转换为日期类型。此变换很有用,例如,将数字聚合返回的日期属性类型的数字类型值转换回日期类型,以用作其他变换或卡片的输入。

数据集成 | Pipeline Builder

在 Pipeline Builder 中创建任务组的能力 | 在 Pipeline Builder 中的每次成功部署将启动一次构建。在批处理管道中,默认情况下,每个输出都作为自己的任务构建,因此输出任务会独立成功或失败。在流式管道中,默认情况下,所有输出都捆绑到一个在单个 Flink 集群上运行的任务中,因此输出流要么全部成功,要么全部失败。

任务分组使您可以在批处理管道中将多个输出捆绑到一个任务中,或在流式管道中将每个输出拆分为自己的任务。您还可以为每个分组指定计算配置文件,提供对如何构建输出的精细控制。

任务分组示例

数据集成 | Pipeline Builder

批处理管道中现在可用的检查点 | 在构建管道时,您经常会在多个输出之间使用共享变换节点。通常情况下,这些逻辑会为每个输出重新计算一次。通过检查点,您可以将变换节点标记为“检查点”,以在下次构建期间保存中间结果。到该检查点节点的逻辑将仅为其所有共享输出计算一次。这可以节省计算资源并缩短构建时间。

将变换节点标记为检查点的示例

Ontology | Foundry 规则

您现在可以通过侧边栏访问 Foundry 规则配置 | Foundry 规则的部署和配置 UI 现在可以通过更重要的侧边栏图标访问。有关详细信息,请参阅文档中的部署工作流模板

Foundry 规则侧边栏图标

Ontology | Ontology 管理

OMA 的性能改进:渲染速度 | Ontology 管理器现在渲染速度更快,因为它只加载更新的元素而不是整个应用程序。当用户在页面之间点击或进行编辑时,Ontology 管理器用户将受益于更灵敏的体验。

数据集成 | 调度器

添加构建持续时间监视器 | 您现在可以在数据健康应用程序的 监控视图 中创建构建持续时间的监视器。