以编程方式使用文档

反馈 是 LangSmith 存储特定追踪或中间运行(跨度)评估标准和评分的方式。反馈可以通过多种方式产生,例如:

  1. 随追踪一起发送 来自 LLM 应用程序
  2. 由应用中的用户生成 内联 or in an 标注队列
  3. 在执行过程中由自动评估器生成 离线评估
  4. 在线评估器

反馈以简单格式存储,包含以下字段:

以下是上述格式的反馈记录的 JSON 表示示例:

{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}