_标注队列_ 为人工审核人员提供专注的工作流程，用于附加反馈到特定的 运行。虽然您始终可以内联标注 追踪 ，但标注队列允许您将运行分组在一起、制定评分标准并跟踪审核人员进度。

LangSmith 支持两种队列样式：

• - **单运行标注队列** 一次呈现一个运行，并让审核人员提交您配置的任何评分标准反馈。单运行队列还支持 断言 用于捕获离线评估的验收标准。
• - **成对标注队列（PAQ）** 并排呈现两个运行，让审核人员可以根据您定义的评分标准项快速决定哪个输出更好（或者是否等效）。

单运行标注队列

单运行队列一次呈现一个运行，并让审核人员提交您配置的任何评分标准反馈。可以通过 **标注队列** 部分直接在 LangSmith UI.

中创建单运行队列

1. 导航至 **标注队列** 在左侧导航栏中。
2. 点击 **+ 标注队列** 在左上角。

!创建标注队列表单，包含基本信息、标注评分标准和反馈部分。

基本信息

1. 填写队列的 **名称** 和 **描述** 。
2. （可选）分配一个 **默认数据集** 以简化将审核过的运行导出为您 LangSmith 工作区.

中的数据集

1. 为标注人员起草一些高层次的 **说明** ，这些说明将在每个运行的侧边栏中显示。
2. 点击 **+ 添加反馈评分标准** 为标注队列添加反馈键。标注人员将在每个运行中看到这些反馈键。
3. 为每个反馈键添加描述，如果是分类反馈，还需要添加每个类别的简短描述。

!带有说明和期望反馈的标注队列评分标准表单已填写完毕。

例如，使用上一张截图中的描述，审阅者将看到 **标注评分标准** UI 右侧窗格中的详情。

!根据示例说明呈现给审阅者的评分标准。

协作者设置

设置审阅者数量或您希望为协作者保留项目的最长时间。当一个运行有多个标注员时，您可以选择让该运行保留在队列中，直到所有审阅者将其标记为 **完成**。设置如下：

• 所有工作区成员审阅每个运行：启用后，运行保留在队列中直到每个 工作区 成员将其审阅标记为 **完成**.
• 启用运行预约：预约运行会将该运行锁定供您审阅一段设定的时间。运行被预约时，其他审阅者可以查看但不能添加反馈或备注。如果所有工作区成员都审阅每个运行，则预约将被禁用。

如果审阅者查看了某个运行但离开时未将其标记为 **完成**，则预约将在指定的 **预约时长**后过期。运行随后会被释放回队列，可以由另一位审阅者预约。

• 每个运行的审阅者数量：这决定了必须将运行标记为 **完成** 才能将其从队列中移除的审阅者数量。
• - 审阅者无法查看其他审阅者留下的反馈。
• - 运行的评论对所有审阅者可见。

• 使用指定的审阅者：启用此开关可使用特定的工作区成员，而不是基于数量的阈值。启用后：
• - 会出现一个多选用户选择器，这样您可以选择特定的工作区成员作为指定的审阅者。
• - 运行被标记为 **已完成** 仅当每个指定的审阅者都提交了他们的审阅。队列项目会经历三个状态： **需要审阅** → **等待他人审阅** → **已完成**.
• - 未指定的工作区成员仍然可以标注运行，但他们的提交不计入完成。
• - 任何工作区成员都可以在队列设置中编辑指定的审核者列表。

由于这些设置，每位审核者可见的运行数量可能与队列总大小不同。

编辑队列设置

1. 打开 **编辑标注队列** 面板，可用于编辑您想要的标注队列。您可以通过两种方式访问此面板：

• - 在 **标注队列** 列表中，点击 **操作** 图标 在队列行的右侧。从下拉菜单中选择 **编辑** 选项
• - 在标注队列视图中，点击 **设置** 图标 位于右上角

1. 在 **编辑标注队列** 面板中，修改您在创建队列时配置的任何设置，然后点击 **保存**.

将运行分配到单运行队列

有多种方法可以向单运行队列填充工作项：

• 从详情视图：点击 **添加到标注队列** 在任意追踪的右上角。您可以添加任意中间 运行，但不能是根跨度

!追踪视图，屏幕顶部高亮显示添加至标注队列按钮

• 从运行表：选择多个运行，然后点击 **添加到标注队列** 在页面底部

!显示已选择运行的运行表视图。页面底部有添加到标注队列按钮

• 自动化规则: 设置规则 自动将符合过滤条件的运行（例如错误或低用户评分）分配到队列中
• 数据集和实验：选择一个或多个 实验 在数据集中，然后点击 ** 标注**。选择现有队列或创建新队列，然后确认（单运行）队列选项

!已选择实验，页面底部有标注按钮

审核单运行队列

1. 导航至 **标注队列** 通过左侧导航栏进入

队列列表包含一个 **分配的审阅者** 列，显示每个队列分配了哪些审阅者。要仅查看分配给您的队列，请点击 **分配给我** 列表顶部的筛选器。

1. 点击您想要审阅的队列。这将带您进入该队列中需要审阅的运行的聚焦循环视图。左侧面板显示每个运行的状态（**需要审阅**, **需要他人审阅**, **已完成**).

1. 添加 **审阅者备注**、评分 **反馈** 标准，或将运行标记为已审阅。要构建数据集，请编辑运行的输入和输出以创建修正的参考示例，然后点击 **添加到数据集**。点击 **删除** 可从队列中移除该运行，适用于所有用户，不受当前预约或队列设置的影响。

除了手动创建修正的参考输出之外，您还可以直接在 审阅侧边面板中编写断言 ，并将其保存为示例的预期输出。

成对标注队列

Pairwise annotation queues (PAQs) present two runs side-by-side so reviewers can quickly decide which output is better (or if they are equivalent) against the rubric items you define. They are designed for fast A/B comparisons between two experiments (often a baseline vs. a candidate model) and must be created from the **数据集与实验** pages.

创建成对队列

1. 导航到 **数据集与实验**，打开一个数据集，然后选择 **恰好两个实验** 您想要比较的。
2. 点击 **标注**。在弹出框中，选择 **添加到成对标注队列**。（在选择恰好两个实验之前，该按钮处于禁用状态。）

!弹出框显示在选择两个实验后高亮的"添加到成对标注队列"卡片。

1. 决定是将实验发送到现有的成对队列还是创建新队列。 1. 提供队列详情： - **基本详情** （名称和描述） - **说明和评分标准** 针对成对评分进行调整 - **协作者设置** （审阅者数量、预约、预约时长） 1. 提交表单以创建队列。LangSmith 会立即配对两个实验中的运行，并填充队列。

PAQ 的关键区别：

• 实验：您必须预先提供两个实验会话。LangSmith 会自动按时间顺序配对其运行，并在创建时填充队列。
• 评分标准成对评分项目只需一个反馈键和（可选的）描述。标注员为每个评分项目决定是 Run A、Run B 还是两者都更好。
• 数据集成对队列不使用默认数据集，因为比较跨越两个实验。
• 预约和审核员相同的协作者控制适用。预约有助于防止两个人同时评判同一比较。

向成对队列添加更多比较

如果之后需要添加更多比较，请返回 **数据集和实验**，再次选择两个实验，然后选择 **添加到成对标注队列** 以追加新配对。

选择两个实验并创建 PAQ 会自动配对运行。当扩展现有 PAQ 时，LangSmith 会保留历史比较并将新配对追加到队列。

查看成对队列

1. 从 **标注队列**，选择要查看的成对队列。 1. 每个队列项目在左侧显示 Run A，右侧显示 Run B，以及您的评分标准。 1. 对于每个评分项目： - 选择 **A 更好**, **B 更好**, or **相同**。界面在后台记录两个运行的二进制反馈。 - 使用快捷键 A, B, or E 来锁定您的选择。 1. 完成所有评分项目后，按 **完成** (or Enter （在最后一个评分项目上）进入下一个比较。 1. 可选操作： - 留下与任一运行相关的评论。 - 如果需要稍后重新查看，请将比较重新加入队列。 - 打开详情视图进行更深入的调试。

预约、审核员阈值和评论在单运行队列中的行为相同，使团队能够使用不同类型的队列而不修改现有工作流程。

!Pairwise review screen showing runs side-by-side with the feedback pane containing A/B/Equal buttons and keyboard shortcuts.

视频指南