注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
提醒: 注册 Foundry 新闻简报,以便直接在您的收件箱中接收平台上新产品、功能和改进的摘要。有关如何订阅的更多信息,请参阅 Foundry 新闻简报和产品反馈渠道公告。
在我们的开发者社区论坛 ↗上分享您对这些公告的看法。
发布日期:2024-09-24
我们很高兴地宣布,Linter 将于 10 月 7 日当周面向所有注册用户全面推出。此更改包括 UI 更新、可扩展性改进、可见性功能的推荐以及帮助用户根据建议采取行动的修复助手。当工作流设计产生不必要的成本、未使用最新的 Palantir 平台功能或未遵循最佳实践时,Linter 会生成有见地的、可操作的建议。您可以使用这些建议来降低成本、优化您的 Ontology,并提高您注册的管道稳定性和弹性。
通过 Linter,您可以更好地了解 Palantir 平台提供的广泛功能,同时监控可能有利于您的应用案例目标的平台更新。默认启用 Linter;如果您是平台管理员,可以通过导航到 控制面板 > 应用程序访问 为正确的组织配置用户组访问 Linter,并选择 Linter 旁边的 管理 选项。
Palantir 平台是托管工作流的最佳场所,虽然应用程序构建者旨在设计优化的工作流,但实际上,设计决策在实践中可能被证明是不理想的。为了解决这一问题,我们创建了 Linter,以确保工作流使用可用技术,并通过更有效地使用资源和功能来实现相同的结果。
Linter 可以随时使用,无论您是刚开始使用 Palantir 平台,还是已经拥有复杂且广泛的工作流。Linter 将监控新的和现有的工作流,并提供持续的建议,定期进行扫描以收集您注册状态的分析。这些扫描会识别与预定义 规则 匹配的资源列表,并根据扫描结果生成 建议 列表。
Linter 的影响跟踪 UI 显示已操作的建议数量
由于 Palantir 平台功能经常更新,Linter 扫描的结果是动态的,并且可能每天都在变化。为了跟上这些变化,您可以设置 扫描计划,定期对属于 空间 的项目中的 Foundry 资源执行扫描。
一个示例扫描计划,生成新计划的选项,操作下拉菜单和最近的扫描状态
Linter 的测试用户调查并消除了大量云成本中的计算小时浪费,带来了定量的改进。对于客户的影响与其平台使用量相关,但即使是相对较小的开发人员基础的注册用户也从 Linter 中受益,实现其云成本目标。
Linter 的影响跟踪 UI 显示已操作的建议数量
一些客户组织冲刺以调查并根据 Linter 的建议采取行动,而其他客户则通过将 Linter 作为资源使用的支持工具来在更长时间内分散注意力。许多客户现在将行动 Linter 建议作为其 Palantir 平台参与的核心部分。
除了成本降低外,Linter 还用于推荐工作流更新,以利用 Palantir 平台中新可用的功能。这些包括使用 轻量级变换 和 原生 Spark 加速 的机会,这些在今年年初都不存在。
自 Linter 的测试版发布以来,除了可扩展性改进之外,还添加了以下功能:
发布日期:2024-09-19
我们很高兴地宣布,平台内的培训应用程序将在未来几周内全面推出。培训应用程序为数据分析师和 AI 工程师等角色提供定制的培训路径,并提供关于如何最好地使用 Palantir 平台的课程、文档和资源集合。
此外,该应用程序允许管理员突出显示组织特定的文档或用户在开始培训旅程时应注意的说明。
了解如何使用 Palantir 平台和我们的 培训 应用程序。
发布日期:2024-09-19
我们很高兴地宣布,管道构建器现已集成 GPT-4o 的视觉功能,将视觉提示的强大功能带入您的工作流中。现在,您可以使用 LLMs 的强大功能来变换您的基于图像的工作流,让您可以通过模型传递图像进行分析,并根据视觉输入接收问题的答案。
要使用 LLMs 的视觉功能,首先在您的管道构建器管道中的数据集节点中添加 使用 LLM 节点。选择添加一个 空提示 以打开 LLM 配置屏幕。在这里,将媒体参考列添加到 提供输入数据 部分并选择 GPT-4o 作为模型。
配置为使用 GPT-4o 参考图像并返回购物车中物品名称和品牌的 LLM 提示。
如果您有一个基于图像的媒体集想要与 LLM 提示一起使用,首先使用 将媒体集转换为表行
变换以输出一个包含媒体参考列的表,然后可以将其添加到 LLM 配置中。
将媒体集转换为表行的变换看板。
了解有关管道构建器中的视觉功能和使用 LLMs 的其他方法的更多信息。
发布日期:2024-09-17
应用程序构建者现在可以通过新的 翻译 功能为 Workshop 应用程序中使用的受支持字符串类型提供翻译。有了翻译,您可以轻松地将 Workshop 应用程序手动或使用 AIP Assist 本地化为各种语言。
如果 Workshop 应用程序已使用此功能翻译成该语言,访客将在其账户设置的语言中看到模块的翻译视图。
有关使用此功能可翻译的内容以及如何作为构建者配置此功能的详细信息,请查看 翻译功能文档。
一个 Workshop 应用程序打开了翻译面板,并在屏幕主部分即时预览。
发布日期:2024-09-17
Llama 3.1 70B Instruct 和 8B Instruct LLMs ↗ 现已全面提供,并可为所有注册用户启用。这些来自 Meta 的新旗舰模型性能可与行业中的其他顶级模型媲美。如果您的注册协议与 Palantir 不涵盖这些模型的使用,注册管理员必须首先通过 AIP 设置控制面板扩展 接受附加合同附录,然后才能启用这些模型。
此模型可用于所有 Palantir AIP 功能,如 函数、变换、逻辑 和 管道构建器。
发布日期:2024-09-17
通过 AWS Bedrock,Claude 3.5 Sonnet 和 Claude 3 Haiku 现在面向所有非地理限制的注册用户全面提供。此外,对于受地理限制的注册用户,这些模型也在所有美国地区和一些欧盟地区可用,其他地区的支持正在积极开发中。有关更多详细信息,请查看 AIP 上与地理相关的模型可用性。
这些来自 Anthropic 的新旗舰模型性能可与行业中的其他顶级模型媲美,并支持多模式工作流,包括视觉。以下是每个模型的详细信息。
Claude 3.5 Sonnet ↗:Sonnet 是 Anthropic 最智能和最先进的模型,在各种任务和评估中表现出色。此外,Sonnet 在标准视觉基准测试中超越了 Claude 3 Opus。这些逐步的改进在需要视觉推理的任务中最为明显,例如解释图表和图形。Claude 3.5 Sonnet 还可以准确地从不完美的图像中转录文本——这是零售、物流和金融服务的核心能力,AI 可以从图像、图形或插图中获得比仅从文本中更多的洞察。
Claude 3 Haiku ↗:Haiku 是 Anthropic 的最快、最紧凑和最实惠的模型,提供接近即时的响应速度。Haiku 是构建模仿人类交互的无缝 AI 体验的最佳选择。企业可以使用 Haiku 来管理内容、优化库存管理、快速准确地翻译、总结非结构化数据等。
如果您的注册协议不涵盖 Claude 3.5 Sonnet 或 Claude 3 Haiku 的使用,注册管理员必须首先通过 AIP 设置控制面板扩展 接受附加合同附录,然后才能启用 LLM。
此模型应可用于所有 AIP 功能,如 函数、变换、逻辑 和 管道构建器。
发布日期:2024-09-12
之前,部署用于实时推理的机器学习模型需要通过 建模目标,我们的生产级建模工作流管理工具,设置实时部署的努力和时间。现在,您可以从模型概览页面一键部署模型,无需通过 建模目标 应用程序流程。此外,我们正在引入多个基础设施改进,以实现更快的启动时间、更清晰的函数集成、通过 计算模块 的自动缩放、自动升级、推理类型安全等。
用户现在可以直接从模型的概览页面部署模型。
模型部署现在可以完全从模型的概览页面管理。您可以启动、停止、更新模型缩放配置,并在同一界面中测试推理。由于部署现在由计算模块支持,您可以从其自动缩放能力中受益,该能力根据模型的推理流量和使用情况动态增加或减少副本。
例如,如果您的请求负载仅在特定时间段出现,您现在可以设置可用和可缩放到实际请求量的副本范围。您甚至可以将副本缩放到最小为零,以便在模型部署周期性不被查询时实现潜在的成本节省。
根据模型部署需求配置运行时缩放和资源可用性。
模型部署遵循用户的模型分支,使更新变得无缝。只需从代码存储库或代码工作区发布新模型版本,现有模型部署将升级,确保所有下游工作流始终指向最新模型。
现在可以轻松将模型部署注册为函数,并直接在 Workshop 中使用,节省您从构建和使用 TypeScript 存储库的时间和精力。此外,支持表格输入和输出,更多类型的模型现在作为函数在建模目标应用程序中支持。具体而言,具有 pandas API(表格输入/输出)的模型现在可以直接集成到 Workshop 应用程序中,这意味着您不再需要将 pandas 数据帧转换为 TypeScript 中的参数。相关的,具有参数输入和输出的模型继续受到支持。
对于其他 API 形状,模型可以使用 API 名称发布,以便在需要时仍可在 TypeScript 存储库中使用,例如启用不能直接被 Workshop 使用的函数。
从模型部署发布函数。
我们还引入了完全容器化模型的使用,这是建模基础设施的一项重大变更,这意味着模型现在是一个 Docker 映像,包含完整的模型环境、适配器实例和模型权重,确保更快的启动时间。此外,容器化映像不需要任何连接到 Palantir 平台即可启动。在内部测试中,模型部署在一分钟内完全准备就绪,而实时部署则需要三分钟;在大型复杂环境中,压缩的启动时间变得越来越有影响力。
我们现在能够通过使用 Apache Arrow 与模型的容器进行通信来保证推理类型安全。这确保了用户的推理输入正好按照模型适配器 API 中指定的方法传递给他们的模型适配器逻辑。例如,如果模型的 API 声明提供一个整数参数,输入值将被转换为整数,或者如果无法成功转换,则抛出。此外,日期时间和时间戳值现在将安全且准确地传递。
打开模型时的类型错误消息。
直接模型部署现在拥有一个新的调试功能:创建和查看模型推理的完整火焰图的能力。此功能使您能够查看模型的不同部分如何交互。通过利用此新视图,您现在可以深入了解哪些代码部分比预期的要慢,从而比以前更容易迭代优化模型性能。
模型部署推理查询的火焰图视图。
要受益于上述功能,请确保使用最新的 palantir_models
库发布您的模型的新版本。请注意,该功能集尚未在本地堆栈中可用,且并非所有模型类型都支持模型部署。外部模型和 SparkML 模型目前被排除在外。
发布日期:2024-09-12
Python 3.8 正在 Palantir 平台中停用,以符合开源 Python 的生命周期结束(EOL)时间表。因此,代码存储库中将尝试自动升级;在代码工作簿和旧的 foundry_ml
模型上需要手动操作。从 Python 3.9 开始,我们将密切关注 Python 的 EOL 停用时间表。请查看文档中的 Python 版本部分 以查看支持的版本和各自的停用时间表。我们建议始终将资源保持在最新支持的 Python 版本上。
开源 Python 每年标记旧的 Python 版本为 生命周期结束(EOL) ↗ 并终止官方支持。Python 3.8 正在接近其 EOL,继续使用 EOL Python 版本会带来安全风险。此外,开源库继续创建与这些不再兼容的 Python 版本不再兼容的新版本,可能导致检查失败和任务失败,未迁移的工作流。
如果您拥有使用已停用 Python 版本的资源,请注意以下重要日期:
Foundry 资源迁移将遵循以下模式:
目前,平台支持的最新 Python 版本是 Python 3.11。
从 Python 3.9 开始,Palantir 平台将密切关注上游的生命周期结束时间表,并将在平台中停用 Python 版本,一旦它们达到上游的生命周期结束。有关更多信息,请参阅文档中的 Python 版本。
发布日期:2024-09-10
我们很高兴地宣布,管道构建器现在可以跳过先前处理的行以用于使用 LLM 节点和文本到嵌入变换,以节省成本并提高性能。之前,在管道构建过程中每一行都会被重新处理。然而,现在行结果可以被缓存,这意味着它们会被存储并在后续构建中重用。通过跳过已处理的行,您可以节省时间和成本;经过测试的应用案例显示构建时间从 3 小时减少到仅 20 分钟。
要开始,请在配置使用 LLM 或文本到嵌入时启用 跳过重新计算行。启用后,行将根据传递到输入提示的列和参数与先前处理的行进行比较。具有相同列和参数值的匹配行将获得缓存的输出值,而无需在将来的部署中重新处理。
跳过重新计算行选项。
如果提示的更改需要重新计算所有行,用户可以手动清除缓存。在这种情况下,LLM 视图上方会出现警告横幅,用户可以在输出类型保持不变的情况下决定保留所有以前缓存的值。
LLM 视图中带有警告横幅,告知用户提示或模型配置已更改。
通过在管道中的使用 LLM 节点和文本到嵌入变换上启用此功能,提高工作流效率并降低计算成本。
了解有关跳过已处理行的更多信息。
发布日期:2024-09-10
我们很高兴地在 Workshop 中引入日程安排日历微件,这是一种可视化和交互时间绑定对象的新方法。日程安排日历提供了一种干净且灵活的方式来显示事件或任务。
日程安排日历微件中的事件示例。
日程安排日历微件的示例应用案例:
日程安排日历微件的关键功能:
我们的团队正在积极开发以下功能,以便在未来的更新中发布:
有关更多信息,请查看 日程安排日历微件文档。
发布日期:2024-09-03
我们很高兴地宣布 实时日志 功能现已作为 Palantir 注册中的 构建 应用程序的一部分提供。实时日志为用户提供了对正在运行的任务的实时可见性,提供了对这些任务在数据资源上的进展的强大而深刻的监控能力,并能够检查长时间运行的任务,如流或计算模块。
构建应用程序中的实时日志功能,实时返回任务报告。
实时日志设计考虑了用户控制;您可以随时使用日志视图右上角的 暂停 选项停止日志,并可以从相同位置轻松重新开始。此外,参数和安全参数以结构化和可读的 JSON 块形式可见,便于使用和理解。
实时日志视图中的“暂停”和“格式化为 JSON”选项。
使用实时日志监控任务的一个关键好处是问题的颜色编码识别。使用这些颜色可以快速识别实时日志提要中的警告和错误,并优先修复以完成成功的构建。
实时日志提要中颜色编码的调试和警告警报示例。
要访问实时日志,请导航到 构建应用程序 并选择查看活动任务。然后,从日志查看器的右上角选择 查看实时。
活动构建的日志视图,右上角有查看实时的选项。
发布日期:2024-09-03
我们自豪地在官方 Palantir 培训网站 ↗上推出了新的 Foundry 和 AIP 构建者基础测验和徽章 ↗。参加十个问题的测验,并获得可以在 LinkedIn 上分享的徽章,作为官方 LinkedIn 证书。
可以作为您的 LinkedIn 个人资料上的凭证显示的徽章。
此测验补充了 Speedrun: Your First End-to-End Workflow ↗ 课程,该课程在 60 分钟内提供管道构建器、Ontology、Workshop 和操作的介绍。熟悉 Foundry 的用户无需完成 Speedrun 课程即可通过测验并获得徽章。您还将获得一张官方证书,确认完成课程。
您可以通过此测验获得的官方证书示例。
如果您没有 Palantir 学习账户,您可以免费注册 ↗以开始学习路径和认证,涵盖数据工程、端到端工作流构建、解决方案设计和平台管理等主题。
发布日期:2024-09-03
您现在可以在管道构建器中保护多个分支,以实现更高水平的治理和防止意外更改。受保护的分支只能通过拉取请求进行修改,并且必须经过指定的审批流程以合并更改。通过实施受保护的分支,您可以确保只有授权的修改被进行,从而提高数据工作流的安全性和完整性。
要开始,请在管道构建器的 设置 > 管理分支 下配置受保护的分支:
设置下拉菜单中的“管理分支”选项。
选择 分支保护 选项卡并选择要保护的分支,以及所需的审批政策。所有受保护的分支将遵循相同的审批政策。
分支保护选项卡,具有两个附加的受保护分支和审批政策选项。
使用多个受保护的分支以最小化意外更改的风险,并创建更受控的发展环境,以获得更大的安心。
记事本中的模板锚链接改进 | 以前,从模板生成新文档会导致锚链接指向模板。通过此最新改进,新生成文档中的锚链接现在正确地引用同一文档中的点,确保无缝的用户导航。
市场中的记事本对象媒体预览微件 | 对象媒体预览现在在市场中的记事本版本的模板中得到支持。在此增强之前,用户必须为每次模板更改创建一个新记事本文档。此改进显著简化了工作流程,因为您现在可以在市场中使用记事本对象媒体预览。
宣布为 Ontology SDK 提供的 AIP Logic 支持的新 Build with AIP 软件包 | 我们很高兴地宣布,Ontology 软件开发工具包(OSDK)现已提供新的 Build with AIP 软件包,具有 AIP Logic 的强大功能。此新包扩展了 先前发布的 Getting Started with Ontology SDK Build with AIP 软件包,展示了如何从任何外部应用程序使用 Palantir AIP 功能,例如运行 AIP Logic 函数、调用使用 LLMs 丰富数据的查询以及使用 AIP Logic 自动化构建 "待办事项" 应用程序。要开始使用新的 Build with AIP 软件包,首先在您的平台应用程序中搜索 Build with AIP 门户。然后,搜索 "OSDK" 找到 Ontology SDK (OSDK) with AIP Logic 软件包。选择安装它,然后指定一个保存位置。安装完成后,选择 打开示例 以遵循指南并开始构建。
研讨会可调整大小的部分 | 研讨会现在支持配置绝对大小的部分,以便访客在查看模式下可以调整大小。可调整大小的部分具有最小和最大尺寸配置、可访问的调整手柄,以及用于带有标题的可折叠部分的自动折叠功能。
水平筛选列表 | 筛选列表设计现在支持水平设置。在此设计中,每个筛选都会显示在一个互动标签内,允许访问相应的筛选。
在管道搭建器中实现接口(测试版) | 您现在可以在管道搭建器中创建的Object上实现接口。接口 提供Object类型多态性,使得与共享结构的Object类型进行一致的建模和交互。它们通过允许多个Object类型实现和扩展共享的属性、链接类型和元数据来促进可组合性。
了解更多关于如何在管道搭建器中实现接口。
改进的市场商店和产品导航 | 我们很高兴在市场中引入了全新的导航体验。通过增强的商店概览,您现在可以通过查看所有可用商店来开始您的市场之旅,更容易深入到特定商店中探索和搜索产品。面包屑导航已添加,以帮助您在商店、产品和安装或草稿阶段之间导航。使用改进的全局搜索,可直接从应用程序内任何地方访问的搜索栏中直观地查找产品。
敏感数据扫描器中现已提供内置匹配条件 | 敏感数据扫描器现在包括多种内置匹配条件,以检测常见类型的个人身份信息(PII),如社会安全号码、电子邮件地址和电话号码。您可以通过展开右侧边栏中的内置匹配条件部分来访问这些条件。
您仍然可以根据您的独特需求创建自定义匹配条件。有关如何导航匹配条件的更多信息,请参阅我们的文档。