追踪、评估和上线

追踪不是普通日志

官方 LangSmith 文档把 trace 定义为一次请求从输入到输出的完整执行记录。它会保留模型调用、工具调用、延迟、错误和嵌套关系。

有了 trace，才能判断失败来自提示词、模型、工具、检索还是流程控制。

给前面的 Agent 打开追踪

创建 LangSmith API Key 后，在运行 Agent 的同一个终端设置以下变量。LangChain 和 LangGraph 会自动发送 trace。

# Windows PowerShell
$env:LANGSMITH_TRACING="true"
$env:LANGSMITH_API_KEY="你的 LangSmith API Key"
$env:LANGSMITH_PROJECT="xueai-langchain-course"

# macOS 或 Linux
# export LANGSMITH_TRACING=true
# export LANGSMITH_API_KEY="你的 LangSmith API Key"
# export LANGSMITH_PROJECT="xueai-langchain-course"

python agent.py

按正确顺序进入生产

不要在没有数据集和评估的情况下只凭几个手工问题判断效果。上线后的真实 trace 应继续补充到评估集，形成持续改进闭环。

• Tracing，先看清真实执行过程
• Dataset，收集有代表性的输入和预期
• Evaluation，用固定标准比较版本
• Deployment，把验证过的 Agent 暴露为服务
• Monitoring，持续观察质量、错误、延迟和成本