LangSmith 聊天 (原 Polly)直接内置于您的 LangSmith 工作空间 中,帮助您分析和理解应用程序数据。
聊天可帮助您从追踪、会话线程和提示词中获取洞察,而无需手动挖掘数据。通过提出自然语言问题,您可以快速了解智能体性能、调试问题并分析用户情感。
<img src="/images/brand/polly-icon.png" alt="LangSmith Chat icon" /> Chat appears in the right-hand bottom corner of the following locations within LangSmith UI:
<br></br><br></br>**可观测性与调试:** - 项目:浏览和筛选项目中的运行。 - 追踪页面:分析单个运行和执行追踪。 - 线程视图:了解会话线程和用户交互。
提示词工程: - 操场:编辑和优化提示词。 - 提示词中心页面:探索和理解共享的提示词。
评估与测试: - 数据集实验:分析实验结果并比较运行。 - 数据集示例:浏览和理解数据集结构。 - 标注队列:审查运行并做出明智的标注决策。 - 评估器:在 AI 辅助下构建和完善评估器。
开始使用
在开始使用聊天之前,您需要为您使用的模型添加 API 密钥:
支持的型号
聊天开箱即支持以下模型提供商:
- - Anthropic (Claude)
- - OpenAI
- - Google Gemini
- - AWS Bedrock
- - Groq
- - Mistral
- - xAI
- - DeepSeek
- - Fireworks AI
您还可以使用在以下位置配置的任何自定义模型 操场设置 通过启用 **在 Chat 中可用** 该配置上的开关。工作区管理员管理哪些自定义模型可用。
键盘快捷键
| Action | Mac | Windows/Linux |
|---|---|---|
| Toggle Chat open/closed | Cmd+I | Ctrl+I |
| 清除当前对话 | Cmd+Shift+O | Ctrl+Shift+O |
可观测性
项目
在项目的运行列表上,Chat 可以浏览和筛选整个项目的运行、创建数据集和添加示例。使用 Chat 可以快速探索追踪中发生的情况,而无需手动翻页查看结果。
示例问题: - 「显示过去 24 小时内的所有失败运行」 - 「哪些运行耗时最长?」 - 「将失败的运行添加到我的测试数据集中」 - 「本周有多少次运行出错?」
追踪页面
在单独的 追踪上,Chat 分析 运行 数据和执行轨迹。Chat 检查完整的追踪上下文,包括 运行元数据、输入、输出、中间步骤和配置,帮助您了解发生了什么并识别改进领域。
示例问题: - 「代理在这里有什么可以做得更好的?」 - 「为什么这次运行失败了?」 - 「这次追踪中耗时最长的是什么?」 - 「总结这次追踪中发生了什么」
对话视图
在 **对话** 标签页下,Chat 分析对话 线程 ,帮助您了解用户情绪、对话结果和交互模式。使用 Chat 来识别用户痛点并了解问题是否已解决。
示例问题: - 「用户看起来是否感到沮丧?」 - 「用户正在遇到什么问题?」 - 「用户的问题解决了吗?」 - 「这个对话的主要话题是什么?」
提示词工程
Playground
在 Playground中,Chat 帮助您编辑和优化 提示词。使用自动化选项,如 **优化提示词**, **生成工具**, or **生成输出模式**,或给 Chat 自定义指令来编辑您的提示词。Chat 可以直接修改 Playground 状态——更新消息、工具、输出模式和示例——以便您可以通过对话方式迭代提示词。
示例问题: - 「让它用意大利语回复」 - 「添加更多关于用户角色的上下文」 - 使语气更加专业 - 简化说明
Prompt Hub 页面
在查看 LangSmith Hub中的 prompt 时,Chat 帮助您理解 prompt 的结构、消息、工具和配置。这对于探索和学习共享 prompt 非常有用。
示例问题: - 这个 prompt 有什么作用? - 这个 prompt 使用哪些工具? - 解释这个 prompt 的结构 - 这个 prompt 中的关键指令是什么?
评估
数据集实验
在 **数据集** 页面中 **实验** 标签页下,Chat 分析实验结果,帮助您比较不同实验的运行情况。Chat 可以识别模式、总结性能,并帮助您了解哪些方法效果最好。
示例问题: - 哪个实验表现最好? - 这些运行之间有哪些主要区别? - 总结这个实验的结果 - 你在失败中看到了什么模式?
数据集示例
在 **数据集** 页面中 **示例** 标签页下,Chat 帮助您理解数据集结构、浏览示例以及识别数据模式。这对于了解您正在处理的数据以及为实验准备数据集非常有用。
示例问题: - 这个数据集中包含什么类型的数据? - 显示包含错误的示例 - 你在输入中看到了什么模式? - 这个数据集中有多少个示例?
标注队列
In **标注队列**,Chat 帮助您在做出标注决策之前分析运行情况。无论您是逐个审查运行还是比较运行,Chat 都能提供关于运行行为、错误和执行模式的洞察,以帮助您进行评分。
示例问题: - 这次运行出了什么问题? - 总结这次运行的情况 - 比较这两个运行 - 评分时我应该考虑什么?
评估器
在 **评估器** 构建器中,Chat 帮助您编写和完善评估器逻辑。Chat 可以生成评估器代码、建议改进,并帮助您针对示例测试评估器。
示例问题: - 编写一个检查幻觉的评估器 - 提高这个评估器的准确性 - 此评估器检查什么? - 添加边缘情况处理
下一步
了解 Chat 帮助您探索的更多功能:
可观测性
了解更多关于追踪和监控您的 LLM 应用程序的信息
线程
了解线程在 LangSmith 中如何工作
提示工程
在 Playground 中创建和迭代提示词
评估
系统地评估和测试您的应用程序