注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
以下核心概念对于理解和充分利用AIP Agent Studio至关重要。您可以在入门教程中了解更多关于应用这些概念的信息。
AIP代理是配备了企业特定信息和工具的交互式助手。
系统提示是为大型语言模型(LLM)编写的自然语言指令。以最重要的信息开始,例如任务概述,然后是必要的数据和关于使用参数和工具的指导。请记住,LLM只能访问您特别提供的信息。
提示策略是指如何编写提示以有效引导LLM。提示策略包括通过单次完成或更复杂的迭代过程来结构化提示以实现所需结果。
单次完成是一种策略,其中LLM在一次尝试中生成响应而无需迭代步骤。这适用于简单任务,并确保更快的首次词元时间(TTFT)。
连锁思维推理在您的提示中插入额外的指令,使LLM能够使用工具并采取多次迭代步骤以实现其目标。这种方法通过将复杂任务分解为可管理的步骤来处理更复杂的任务,尽管由于增加了复杂性,可能会增加TTFT。在AIP Agent Studio中,可以使用检查推理选项查看此迭代过程。
检索增强生成利用外部数据源动态提供相关信息给LLM。这种方法通过确保LLM的响应基于最新和上下文相关的数据来增强其响应。
检索上下文是指针对每条消息检索的特定信息,用于生成响应。过程如下:
此过程兼容单次完成的提示策略,提供比连锁思维更快的TTFT。查看检索上下文文档。
首次词元时间(TTFT)衡量LLM在接收到提示后开始生成响应的速度。较低的TTFT表示响应时间更快,对于保持流畅的用户体验至关重要。优化TTFT涉及最小化提示的复杂性和长度,并确保有效检索相关上下文。连锁思维推理可能由于增加了复杂性而增加TTFT。
参数是提示中的变量,用于定制和控制LLM的行为。它们允许动态输入,并可以根据任务要求进行调整。
工具是LLM可以使用的外部功能或API,用于执行特定操作或检索超出其基本能力的信息。配置了工具的AIP代理将使用连锁思维推理。
嵌入是捕获语义意义的文本的数值表示。它们用于高效地比较和检索相似的文本。在AIP Agent Studio中,嵌入有助于识别相关的文档和上下文,以提供准确的响应。
上下文窗口指的是LLM一次可以处理的文本量(通常以词元衡量)。在AIP Agent Studio中,上下文窗口包括系统提示、对话历史和为辅助LLM而注入的信息(包括检索上下文、参数和工具)。超过上下文窗口将导致出错,提示用户创建新会话以继续交互。