LangSmith Engine 是用于智能体工程开发的 LangSmith 智能体。它从生产环境追踪数据中挖掘反复出现的故障,诊断其根本原因,并在开发生命周期的每个阶段推动修复。
每个问题都经历一个闭环:检测到追踪数据中反复出现的故障,诊断根本原因,提出修复方案,部署评估器以捕获回归问题,如果已关闭的问题再次出现,Engine 会自动重新打开它。
Engine 在整个开发生命周期中的应用
对于每个问题,Engine 展示相关的追踪数据,提出修复方案,生成自定义评估器以防止回归,并从生产环境追踪数据输入中创建真实数据集示例。
Build: Open a pull request
在您关联的仓库中打开拉取请求以应用建议的修复方案。Engine 可以为使用 Deep Agents、LangChain 和 LangGraph 构建的智能体提出代码更改建议。
Test: Generate evaluators and datasets
部署自定义评估器以捕获回归问题,并从生产环境追踪数据创建真实数据集示例,用于离线评估。
Monitor: Detect recurring failures
按计划扫描追踪项目,以发现、优先排序和诊断反复出现的问题。
Engine 的运行方式
Engine 每 6 小时扫描每个关联的追踪项目,按严重程度对问题进行聚类和优先级排序。它使用 LangChain 托管的推理服务,并以 LangChain 计算单元 (LCU) 计费。 查找并修复智能体的故障.
开始使用
Set up Engine
为您的组织启用 Engine 并为追踪项目进行配置。
Engine webhook events
将检测到的问题转发到您的事件管理、寻呼或聊天工具中。