LangSmith Engine 是 LangSmith 中的一个代理，用于监控您的生产追踪数据，将其聚类为问题，根据源代码诊断每个问题，提出修复方案作为 PR，并识别要添加到数据集的基准真值评估。关于产品概述，请参阅 Engine.
本页面说明 Engine 在自托管部署中的运行方式、如何访问托管推理，以及这对您的数据意味着什么。
Engine 使用三种类型的数据：
- 代码 （可选）**:** 代理的源代码，Engine 读取该代码来诊断问题并提出修复建议。
- Traces: 来自代理的运行时数据，可能包括用户消息、工具输出和个人身份信息 (PII)。
- Model: Engine 为运行诊断、生成修复和编写评估器而进行的 LLM 调用。
在自托管部署中，Engine 的编排作为 LangSmith 的一部分在您的 VPC 内运行：读取追踪数据、读取代码，以及运行其检测、修复和验证循环。它调用的模型是例外。Engine 不是在本地运行这些模型，而是通过私有网络连接访问 LangChain 托管的零数据保留 (ZDR) 推理服务。追踪数据是敏感数据类型，下面的架构将追踪数据保留在您的云服务提供商 (CSP) 内的私有网络上。
推理的工作原理
Engine 的推理通过 LangChain 托管的服务 LangSmith Intelligence 提供。该服务与 LangSmith 完全隔离，不会追踪、存储或持久化任何客户数据。
流程如下：
- - 您的自托管部署通过私有链接（AWS 和 Azure 上的 PrivateLink，GCP 上的 Private Service Connect）连接到 LangSmith Intelligence。
- - LangSmith Intelligence 在您的云服务提供商环境内（Bedrock、Vertex 或 Foundry）运行模型，因此数据不会离开您的 CSP。
- - 该服务仅记录用于计费的请求元数据，以及保持服务可靠性所需的遥测数据。
每个推理请求都携带模型推理所需的追踪内容、代码和中间输出。请求由您云服务提供商内运行的模型处理，且不会被存储。您的数据不会有任何副本被持久化在您的 CSP 之外。
AWS
GCP
Azure
模型选择与质量
模型选择是 Engine 高效工作的关键驱动力。Engine 在每个工作步骤使用不同的模型，并进行不同的调优：聚类问题、根据代码诊断根本原因、生成修复方案，以及编写验证评估器。LangChain 针对质量和 token 效率调优这些模型，并随着更好的模型发布而进行升级。
托管推理使这成为可能。因为 Engine 始终运行 LangChain 为每个步骤调优的模型，行为保持一致，并随着这些模型的升级而改进。自带密钥的设置则会将 Engine 绑定到您配置的模型，因此调优和令牌效率会因请求而异。
这对您的数据意味着什么
- 零数据保留 (ZDR)： 推理服务不会存储客户数据，LangChain 仅使用支持 ZDR 的模型。
- 不进行训练： LangChain 不会在您的数据上进行训练。
- 仅限专用网络： 所有数据传输均通过专用链路进行，绝不通过公共互联网。
- In-CSP: 模型在您的云服务提供商内运行，因此数据永远不会离开该环境。
另请参阅
- - Engine
- - 配置 Engine
- - Engine Webhook