在 Google Cloud Platform (GCP) 上运行 LangSmith 时 Google Cloud Platform (GCP), self-hosted 模式会部署一个完整的 LangSmith 平台，并提供可观测性功能。

本页面提供：

• - 初始设置步骤 用于部署到 GKE、配置托管服务以及设置身份验证。
• - GCP 特定架构模式 以及参考图表。
• - 服务建议 以及最佳实践。
• - Google Cloud Well-Architected 最佳实践 涵盖运维卓越性、安全性和可靠性。

初始设置

完成这些初始设置步骤后，您可以查看下面的完整 GCP 架构和最佳实践。

参考架构

我们建议利用 GCP 的托管服务来提供一个可扩展、安全且有弹性的平台。以下架构适用于自托管和混合模式，并符合 Google Cloud Well-Architected Framework:

!显示 GCP 与 LangSmith 服务关系的架构图

- **入口与网络**：请求通过 Cloud Load Balancing 进入您的 VPC，并使用 Cloud Armor 和 IAM进行保护。 - **前端和后端服务：** 容器运行在 Google Kubernetes Engine (GKE)，在负载均衡器后进行编排。根据需要将请求路由到集群内的其他服务。 - **存储和数据库：** - Cloud SQL for PostgreSQL：元数据、项目、用户以及已部署代理的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。 - Memorystore (Redis or Valkey)：缓存和作业队列。Memorystore 可以是单实例或集群模式。LangSmith 需要 Redis OSS 5.0 或更高版本，或 Valkey 8。 - ClickHouse + 永久磁盘：分析和追踪存储。 - 建议使用 外部托管的 ClickHouse 解决方案 除非出于安全或合规原因 阻止您这样做。 - 混合部署不需要 ClickHouse。 - 云存储：用于追踪工件和遥测数据的对象存储。

• LLM 集成： 可选地将请求代理到 Vertex AI 进行 LLM 推理。
• 监控与可观测性： 与 Cloud Monitoring 和 Cloud Logging

计算选项

LangSmith 根据您的需求支持多种计算选项：

Google Cloud 架构最佳实践

本参考旨在与 Google Cloud 架构框架的六大支柱保持一致：

运维卓越

• - 使用 IaC 实现自动化部署（Terraform / Deployment Manager).
• - 使用 Secret Manager 管理配置和敏感数据。
• - 将 LangSmith 实例配置为 导出遥测数据 并持续通过 Cloud Logging.
• - 管理 LangSmith 部署 的首选方法是创建构建 Agent Server 镜像并将其推送到 Artifact Registry。在将新版本部署到暂存或生产环境之前，为拉取请求创建测试部署。

安全性

• - 使用 IAM 具有最小权限策略的角色，并 Workload Identity 实现安全的 Pod 到 GCP 服务身份验证。
• - 启用静态加密（Cloud SQL, Cloud Storage、永久性磁盘）和传输中加密（TLS 1.2+）。
• - 集成 Secret Manager 来管理凭据。
• - 使用 Identity Platform or Workload Identity Federation 作为身份提供商，结合 LangSmith 内置的身份验证和授权功能来保护对代理及其工具的访问。

可靠性

• - 跨区域复制 LangSmith 数据平面 ：将相同的数据平面部署到不同区域的 Kubernetes 集群中以实现 LangSmith 部署。跨多个区域部署 Cloud SQL 和 GKE 服务以实现多可用区部署。
• - 使用 自动扩缩容 为后端工作器实现 Horizontal Pod Autoscaler 和 Cluster Autoscaler.
• - 使用 Cloud DNS 健康检查和故障转移策略。

性能优化

• - 利用 Compute Engine 实例，通过 机器类型选择.
• - 实现优化的计算。使用 Cloud Storage 生命周期策略 管理不经常访问的追踪数据，将其转移到 Nearline or Coldline 存储类别。

成本优化

• - Right-size GKE 集群使用 承诺使用折扣 和 持续使用折扣.
• - 使用 Cloud Billing 仪表板和 成本管理 tools.

监控成本关键绩效指标。可持续性

• - 通过按需计算和 自动扩缩.
• - 使用 Cloud Storage 生命周期策略.
• - 使用 计划操作.

安全与合规

LangSmith 可配置为：

• - Private Service Connect仅限访问（不暴露在公网上，除计费所需的出口流量外）。
• - Cloud KMS基于的加密密钥，用于 Cloud Storage、Cloud SQL 和 Persistent Disk。
• - 审核日志记录至 Cloud Logging 和 Cloud Audit Logs.

客户可部署在 Assured Workloads 区域，以根据需要满足 ISO、HIPAA 或其他监管要求的合规性。

监控与评估

使用 LangSmith 来：

• - 捕获在 Vertex AI.
• - 通过以下方式评估模型输出 LangSmith 数据集.
• - 跟踪延迟、token 使用情况和成功率。

集成至：

• - Cloud Monitoring dashboards.
• - OpenTelemetry 和 Prometheus exporters.