以编程方式使用文档

LangSmith 聊天 (原 Polly)直接内置于您的 LangSmith 工作空间 中,帮助您分析和理解应用程序数据。

聊天可帮助您从追踪、会话线程和提示词中获取洞察,而无需手动挖掘数据。通过提出自然语言问题,您可以快速了解智能体性能、调试问题并分析用户情感。

<img src="/images/brand/polly-icon.png" alt="LangSmith Chat icon" /> Chat appears in the right-hand bottom corner of the following locations within LangSmith UI:

<br></br><br></br>**可观测性与调试:** - 项目:浏览和筛选项目中的运行。 - 追踪页面:分析单个运行和执行追踪。 - 线程视图:了解会话线程和用户交互。

提示词工程: - 操场:编辑和优化提示词。 - 提示词中心页面:探索和理解共享的提示词。

评估与测试: - 数据集实验:分析实验结果并比较运行。 - 数据集示例:浏览和理解数据集结构。 - 标注队列:审查运行并做出明智的标注决策。 - 评估器:在 AI 辅助下构建和完善评估器。

数据集视图侧边栏中的聊天。 数据集视图侧边栏中的聊天。

开始使用

在开始使用聊天之前,您需要为您使用的模型添加 API 密钥:

支持的型号

聊天开箱即支持以下模型提供商:

  • - Anthropic (Claude)
  • - OpenAI
  • - Google Gemini
  • - AWS Bedrock
  • - Groq
  • - Mistral
  • - xAI
  • - DeepSeek
  • - Fireworks AI

您还可以使用在以下位置配置的任何自定义模型 操场设置 通过启用 **在 Chat 中可用** 该配置上的开关。工作区管理员管理哪些自定义模型可用。

键盘快捷键

ActionMacWindows/Linux
Toggle Chat open/closedCmd+ICtrl+I
清除当前对话Cmd+Shift+OCtrl+Shift+O

可观测性

项目

在项目的运行列表上,Chat 可以浏览和筛选整个项目的运行、创建数据集和添加示例。使用 Chat 可以快速探索追踪中发生的情况,而无需手动翻页查看结果。

示例问题: - 「显示过去 24 小时内的所有失败运行」 - 「哪些运行耗时最长?」 - 「将失败的运行添加到我的测试数据集中」 - 「本周有多少次运行出错?」

追踪页面

在单独的 追踪上,Chat 分析 运行 数据和执行轨迹。Chat 检查完整的追踪上下文,包括 运行元数据、输入、输出、中间步骤和配置,帮助您了解发生了什么并识别改进领域。

示例问题: - 「代理在这里有什么可以做得更好的?」 - 「为什么这次运行失败了?」 - 「这次追踪中耗时最长的是什么?」 - 「总结这次追踪中发生了什么」

对话视图

在 **对话** 标签页下,Chat 分析对话 线程 ,帮助您了解用户情绪、对话结果和交互模式。使用 Chat 来识别用户痛点并了解问题是否已解决。

示例问题: - 「用户看起来是否感到沮丧?」 - 「用户正在遇到什么问题?」 - 「用户的问题解决了吗?」 - 「这个对话的主要话题是什么?」

提示词工程

Playground

Playground中,Chat 帮助您编辑和优化 提示词。使用自动化选项,如 **优化提示词**, **生成工具**, or **生成输出模式**,或给 Chat 自定义指令来编辑您的提示词。Chat 可以直接修改 Playground 状态——更新消息、工具、输出模式和示例——以便您可以通过对话方式迭代提示词。

示例问题: - 「让它用意大利语回复」 - 「添加更多关于用户角色的上下文」 - 使语气更加专业 - 简化说明

Prompt Hub 页面

在查看 LangSmith Hub中的 prompt 时,Chat 帮助您理解 prompt 的结构、消息、工具和配置。这对于探索和学习共享 prompt 非常有用。

示例问题: - 这个 prompt 有什么作用? - 这个 prompt 使用哪些工具? - 解释这个 prompt 的结构 - 这个 prompt 中的关键指令是什么?

评估

数据集实验

在 **数据集** 页面中 **实验** 标签页下,Chat 分析实验结果,帮助您比较不同实验的运行情况。Chat 可以识别模式、总结性能,并帮助您了解哪些方法效果最好。

示例问题: - 哪个实验表现最好? - 这些运行之间有哪些主要区别? - 总结这个实验的结果 - 你在失败中看到了什么模式?

数据集示例

在 **数据集** 页面中 **示例** 标签页下,Chat 帮助您理解数据集结构、浏览示例以及识别数据模式。这对于了解您正在处理的数据以及为实验准备数据集非常有用。

示例问题: - 这个数据集中包含什么类型的数据? - 显示包含错误的示例 - 你在输入中看到了什么模式? - 这个数据集中有多少个示例?

标注队列

In **标注队列**,Chat 帮助您在做出标注决策之前分析运行情况。无论您是逐个审查运行还是比较运行,Chat 都能提供关于运行行为、错误和执行模式的洞察,以帮助您进行评分。

示例问题: - 这次运行出了什么问题? - 总结这次运行的情况 - 比较这两个运行 - 评分时我应该考虑什么?

评估器

在 **评估器** 构建器中,Chat 帮助您编写和完善评估器逻辑。Chat 可以生成评估器代码、建议改进,并帮助您针对示例测试评估器。

示例问题: - 编写一个检查幻觉的评估器 - 提高这个评估器的准确性 - 此评估器检查什么? - 添加边缘情况处理

下一步

了解 Chat 帮助您探索的更多功能:

可观测性

了解更多关于追踪和监控您的 LLM 应用程序的信息

线程

了解线程在 LangSmith 中如何工作

提示工程

在 Playground 中创建和迭代提示词

评估

系统地评估和测试您的应用程序