Documentation
搜索文档
karat

+

K

API 参考 ↗
20232023年09月

注意：以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。

公告

代码库开发体验改进

发布日期：2023-09-21

Palantir Foundry 的代码库应用开发体验已通过以下改进进行了优化：

  • 任务运行器，一个新的代码库功能，允许用户运行支持的命令，如install、formatCode、tasks和whoneeds。启用任务运行器后，从左侧面板中的库选项卡添加软件包将安装请求的软件包到当前环境，而不是像以前那样配置代码助手工作区。此阶段生成的额外日志在需要调试时提供了清晰性。此外，复杂筛选和预览输入配置界面已改进以提高易用性。

在代码库库管理中添加和安装软件包选项

使用任务运行器添加和安装软件包

完成的筛选器和预览输入配置界面的改进

复杂筛选器和预览输入配置界面的改进

  • 加快Python开发速度：在云环境中，检查平均快了20-30秒，初始检查受益于在创建新库时添加锁文件以取代立即的“已被取代”检查。库安装总体上更快，用户现在可以选择稍后安装软件包，或在不重新创建Conda和当前运行环境的工作区的情况下安装软件包。测试环境不是此步骤的一部分更新。
  • 工件速度改进：代码助手可以在环境没有更改时持久化缓存并加快检查速度。ZSTD压缩支持已扩展到工件和Mamba，导致环境解析和安装速度比以前更快。
  • 非Linux本地开发体验的改进：为所有库开箱即用地添加了conda-forge作为工件支持库。此外，noarch Python库模板使开发人员更容易创建和管理跨平台库。
  • 新增Python格式化支持：在black和ruff格式化器之间选择以确保编码风格一致性。
  • 自动生成相关配置：您现在可以在本地运行vscode gradle任务。
  • 增强的macOS和Windows本地开发支持：通过gradle支持本地预览。您还可以享受流线化的前端库升级和代码助手。
  • Spark预览加载器优化：现在可以预览多达100万行（以前为10k），并且加载时间快4-5倍。
  • 检查日志中的更轻松导航：通过在检查日志中直接选择buildRIDs直接导航到任务跟踪器中的搭建。

Ontology SDK（TypeScript和开发者控制台）[GA]，Python SDK [Beta]

发布日期：2023-09-19

Ontology SDK（OSDK）typescript版本和新的开发者控制台应用程序现已在所有堆栈上正式发布。Python SDK目前处于测试阶段，计划于2023年10月底推出正式版本。

Ontology软件开发工具包（OSDK）允许您直接从开发环境访问Ontology的全部功能。您可以使用开发者控制台生成Ontology SDK，这是一个用于使用Palantir APIs创建和管理第三方应用程序的新门户。有关详细信息和说明，请参阅我们的公共文档。

什么是Ontology SDK和开发者控制台？

开发者控制台是一个新应用程序，允许您生成Ontology SDK，以便便捷访问Ontology APIs。SDK可以生成为TypeScript NPM包和Python PyPi/Conda包（测试版）。Ontology SDK包仅包含开发者在开发者控制台中定义的Ontology实体。

开发人员可以使用Ontology SDK轻松地从Ontology读取数据，写回Foundry，通过操作执行Ontology函数等等。使用SDK提供了一种与我们API交互的类型安全方式。

开发人员可以有效地将Foundry视为后端，依赖Foundry提供的基础设施和中央Ontology管理，从而更专注于组织特有的应用程序开发。

显示Ontology SDK在代码编辑器中集成Foundry Ontology资源的GIF。

显示Ontology SDK在代码编辑器中集成Foundry Ontology资源的GIF。

为什么使用Ontology SDK？

  • 加速开发： OSDK提供了便捷访问Ontology APIs的功能，只需几行代码即可读取和写回Ontology。
  • 强类型安全： 为OSDK生成的函数和类型基于您正在开发的Ontology的选定子集。所有内容都来自您的Ontology，因此您可以在编辑器中查询和探索您的数据。
  • 集中维护： 利用在Foundry中集中构建和管理的Ontology的优势，专注于应用程序构建，而不是在为您的应用程序维护和构建数据基础上重复投资。
  • 跨团队意识： 使用开发者控制台会使应用程序在Foundry的来源系统中显示，就像本地Slate或Workshop应用程序一样，确保可以根据对应用程序的影响评估Ontology的任何更改。
  • 设计安全： OSDK生成的词元仅限于您希望应用程序访问的Ontology实体。

我如何使用它？

Ontology SDK通过开发者控制台生成，这是一个新的Foundry工具，您可以通过它创建和管理使用Palantir APIs构建的应用程序。从工作区导航栏的应用程序门户打开开发者控制台，或使用CMD + J（MacOS）或CTRL + J（Windows）进行搜索。

从应用程序门户搜索开发者控制台

从应用程序门户搜索开发者控制台。

尽管Ontology SDK和开发者控制台将向所有注册者开放，您可以通过在控制面板中禁用它或在访问应用程序页面中为给定组配置细粒度访问来选择退出开发者控制台。

有关如何使用Ontology SDK和开发者控制台的文档，包括不同应用程序工作流程的演练。还有一个基于TypeScript/React的应用程序启动器在我们的公共库中 ↗帮助您开始。

开发者控制台为每个应用程序提供基于选定Ontology实体的自定义文档。

开发者控制台中Aircraft对象类型的API文档视图。

开发者控制台中Aircraft对象类型的API文档视图。

开发路线图上有什么？

  • Python SDK： 我们最近宣布了对Python SDK包的测试支持，计划于10月推出正式版本。
  • 附加功能： 我们正在努力将更多Foundry功能添加到SDK中，包括通过Foundry LMS部署的模型和大型语言模型（LLM）。

推出敏感数据扫描器 [Beta]

发布日期：2023-09-19

敏感数据扫描器（SDS，前称为“Foundry Inference”）帮助组织发现并保护其Palantir Foundry数据集中的敏感数据。现在在测试版中可用，治理用户可以使用SDS指定要识别的敏感数据模式，以及在找到匹配数据时采取的自动化操作。此外，用户可以从更新的界面中受益，以准确跟踪和监控已启动的扫描。

改进的着陆页界面

敏感数据扫描器着陆页现在包括一个进度条，作为每次一次性扫描所扫描数据集的状态摘要。颜色编码的条根据匹配特定条件的数据集数量与扫描队列中总数据集数量的比例填充：

  • 蓝色： 当前正在扫描或待扫描的数据集。
  • 橙色： 匹配条件的数据集。
  • 绿色： 不匹配任何条件的数据集。
  • 红色： 扫描失败或跳过的数据集。
  • 灰色： 取消的扫描。

此外，您可以通过在每个扫描项右侧选择一个下拉箭头，轻松查看每个扫描下的数据集分类。

SDS扫描结果

显示不同分类文件的一次性扫描的详细视图

估算扫描计算时间

用户还可以查看排队等待敏感数据扫描器扫描的数据集数量，提供扫描可能需要的时间估算，并在必要时鼓励审查扫描范围。

SDS扫描配置

设置扫描的最后一步显示将要扫描的数据集数量，并为用户提供创建一次性扫描或重复扫描的选项。

使用AIP生成正则表达式匹配条件

您现在可以使用AIP（在启用AIP的堆栈上）生成正则表达式匹配条件，而无需自己编写正则表达式。要使用此功能，请在创建一次性扫描时，在选择匹配条件步骤中提供描述所需数据格式的自然语言提示，然后选择生成。

SDS匹配条件配置对话框

使用AIP的SDS复杂正则表达式匹配配置

用户使用AIP为电子邮件地址生成正则表达式匹配条件

有关更多信息，请查看敏感数据扫描器文档。

改进的Python库检查现在生效

发布日期：2023-09-19

我们已经更新了Foundry堆栈上的Python库检查性能，进行了有针对性的改进。值得注意的是，所有Python任务在内部堆栈上的平均P95检查完成时间（从开始到结束运行检查所需的时间）从2023年3月的2分15秒减少到2023年6月的约1分15秒，减少了44.4%。

更快检查的改进

我们最近的提高检查效率的工作包括以下更新。

Conda包的Zstandard (ZST) 压缩

之前是“gzip压缩"，现在已实现ZST以显著加快conda-pack ↗的压缩和解压速度，这对运行condaPackRun和/或condaPackTest任务至关重要。

Python库检查持续时间的P95图表

显示平均P95检查完成时间的图表（从2023年3月的2分15秒减少到2023年6月的约1分15秒）

Jemma管理的缓存不再双重压缩

我们的检查运行器Jemma不再双重压缩文件。相反，文件使用ZST压缩，从而减少了资源使用和CPU时间。

避免双重压缩并使用zst压缩缓存目录显著加快了压缩速度（20MBs → 80MB/s）。下图显示了压缩缓存目录并存储压缩文件所需的时间。

缓存存储压缩的P95图表

更快的Gradle Conda任务

以下常见任务通过利用基础Docker镜像并在指定的地方更新Gradle任务将更快地运行：

  • condaInfo：将Conda安装程序捆绑到用于运行检查的Docker镜像中。
  • setupPythonEnv：将支持的Python版本（主版本和次版本）的Conda安装程序捆绑到用于检查的Docker镜像中。
  • vscode：从Gradle的@InputFiles切换到@Input，将任务执行时间从13秒减少到不到1秒。

Conda包的自定义Gradle缓存

使用自定义Gradle缓存避免导致Conda包双重压缩的低效率，从而导致计算时间浪费和整体性能下降。这项改进还受益于工件缓存设计能够根据使用情况刷新条目的TTL。

下图来自一个早期原型，显示了使用我们自定义缓存机制运行任务所需的时间。请注意，随着环境变得更大，改进变得更加显著，例如在建模相关的软件包中。

缓存命中散点图

开发路线图上有什么？

我们目前正在努力加快代码助手在启动时的速度，并改善测试环境的解析和安装。

推出Foundry的语义搜索支持 [Beta]

发布日期：2023-09-11

此功能现已普遍可用。阅读最新公告。

其他亮点

源代码控制启用、新功能标志和小更改

发布日期：2023-09-28

[数据集成/代码库] 代码库用户现在可以访问源代码控制功能，这是一个新面板，显示文件更改并允许用户将其提交到远程库。了解更多信息在相关亮点中。

源代码控制功能

S3兼容API现已GA

发布日期：2023-09-26

[Foundry S3 Proxy] Foundry数据集的S3兼容API现已普遍可用。获取凭证的API被视为稳定，现在提供使用临时凭证和静态凭证的能力。有关如何开始使用此API并与标准AWS客户端和SDK一起使用的详细信息和说明，请查看文档。

Ontology管理器中的可配置仅编辑属性

发布日期：2023-09-26

[Ontology/Ontology管理] 用户现在可以在Ontology Manager中的OSv2中为对象类型设置仅编辑属性。这些属性不与任何列绑定，只能通过操作获取其值，为管理对象类型提供了更大的灵活性。

新的Foundry规则主页和简化的设置过程

发布日期：2023-09-26

[Ontology/Foundry规则] Foundry规则允许用户编写规则逻辑，与数据变换管道无缝连接。

访问Foundry规则应用程序的新主页以查看工作流设置和配置。设置新规则工作流由Foundry Marketplace提供支持，更快地提供价值，并且需要较少的前期配置。

您还可以通过从文件中选择规则工作流配置来访问Foundry规则。

Foundry规则工作流概览列表

Foundry规则工作流概览列表

增强的提案审查功能

发布日期：2023-09-26

[数据集成/管道生成器] 用户现在可以在其提案审查中添加评论，允许他们附带信息进行批准或附带原因拒绝提案。此更新在审查过程中提供了更大的灵活性和沟通。

Ontology管理中的Phonograph去索引倒计时

发布日期：2023-09-26

[Ontology/Ontology管理] Ontology管理应用程序现在在Phonograph部分为对象类型和多对多链接类型显示未使用表自动去索引的倒计时。此功能帮助用户了解自动去索引发生前的剩余时间。

AIP生成现在在管道生成器中普遍可用

发布日期：2023-09-26

[数据集成/管道生成器] AIP生成现在在管道生成器中普遍可用，允许用户通过单个提示创建新的数据变换逻辑。此功能简化了编写复杂数据变换的过程，同时保持生成逻辑的透明性和可读性。

为记事本模板引入值嵌入微件

发布日期：2023-09-13

[分析/记事本] 值嵌入微件允许用户将模板输入中的文本直接插入到文档中。用户可以将值嵌入微件添加到记事本模板中，并使用字符串模板输入进行配置。当从模板生成文档时，文本将插入到微件的位置。了解更多关于值嵌入微件的信息。

带有两个值嵌入微件的记事本模板图片。

带有两个值嵌入微件的记事本模板图片

Quiver AIP的可用性改进

发布日期：2023-09-13

[分析/Quiver] AIP窗口已从下一个操作菜单中移除，现在是一个可拖动和可调整大小的浮动模态窗口。此更新使用户在编写提示时能够保持对画布上的对象集属性和可视化的无障碍视图。用户提示的处理现在在AIP窗口最小化时在后台进行，因此用户可以在等待结果的同时继续他们的工作流程。此外，AIP按钮已重命名以更好地反映其功能；AIP生成将在分析中生成卡片，而AIP配置将更新卡片配置。

运行时最小化的AIP。

运行时最小化的Quiver AIP

新的AIP模态窗口。

新的Quiver AIP模态窗口

AIP下一个操作建议和提示完成

发布日期：2023-09-13

[分析/Quiver] AIP窗口现在包括基于其属性和支持AIP的Quiver卡片对对象或对象集可能采取的下一个操作建议。此外，在键入提示时，AIP显示提示的可能完成。这两个功能帮助用户发现使用AIP探索和分析Ontology数据的新机会。

显示AIP模态窗口的图像，红色矩形突出显示了所选对象集上的AIP建议的下一个操作。

AIP模态窗口中所选对象集的AIP建议的下一个操作

显示AIP模态窗口的图像，红色矩形突出显示了提示完成。

AIP模态窗口中的提示完成

管道生成器中的用户定义函数

发布日期：2023-09-13

[数据集成/管道生成器] 用户定义函数允许您在管道生成器或代码库中运行自己的任意Java代码，可以进行版本控制和升级。您现在可以创建自己的用户定义函数（UDF）以合并外部Java库或在管道中重用复杂逻辑。联系您的Palantir代表以在管道生成器中启用UDF，并在我们的文档中了解更多。

快速搜索现在是唯一支持的搜索接口 [快速搜索GA/传统搜索弃用]

发布日期：2023-09-11

[快速搜索] 在两个月的广泛可用性之后，快速搜索现在是Foundry中唯一的搜索接口。正如在7月主动宣布，传统搜索接口现已弃用。在过渡期间选择退出新搜索体验的用户现在将自动切换到快速搜索。有关更多详细信息，请参阅快速搜索文档和快速搜索GA公告。

访问图现在可用

发布日期：2023-09-05

[安全/项目] 一种基于图的视图，通常称为访问图，现在可以用来可视化项目、用户、组和权限标记等实体之间的关系，使权限检查更简单。有关更多信息，请参阅权限检查文档。

访问图

快速搜索现在与资源选择器集成

发布日期：2023-09-05

[模型集成：工作区] 资源选择器中的快速搜索集成允许用户更快地搜索资源，而无需等待面板加载。通过基于名称提取结果并按搜索相关性排序，快速搜索栏简化了导航，同时仍提供执行完整搜索的选项。

与资源选择器集成的快速搜索

使用资源管理创建预算

发布日期：2023-09-05

[管理：资源管理] 使用资源管理应用程序中的预算选项卡根据计算使用创建财务预算。

管道协作的自定义审批政策

发布日期：2023-09-05

[数据集成：管道生成器] 推出管道提案的自定义审批政策，使用户能够要求来自可配置个人或组列表的审查。通过限制影响主分支的更改来增强版本控制并安全地在生产管道上协作。在配置您的政策时选择无、基于权限（编辑）和自定义政策（组和用户）之间进行选择。

Ontology主页上的收藏夹部分

发布日期：2023-09-05

[Ontology：Ontology管理] 在Ontology主页上推出一个新的收藏夹部分，显示所有收藏的对象类型以便于访问。用户可以根据需要重新排序或禁用此部分，并且对于有收藏对象类型的用户，此部分将默认启用。