数据集 使您能够使用一致的数据随时间执行可重复的评估。数据集由 示例组成，示例存储输入、输出，以及可选的参考输出。
本页面概述了用于 创建 和 管理 中数据集的各种方法 UI.
创建数据集并添加示例
以下部分介绍在 LangSmith 中创建数据集并向其添加示例的不同方式。根据您的工作流程，您可以手动整理示例、自动从追踪中捕获示例、导入文件，甚至生成合成数据：
- - 从追踪项目手动创建
- - 从追踪项目自动创建
- - 从标注队列中的示例
- - 从 Playground
- - 从 CSV 或 JSONL 文件导入数据集
- - 从数据集页面创建新数据集
- - 通过数据集 UI 添加由 LLM 创建的合成示例
从追踪项目手动创建
构建数据集的一种常见模式是将应用程序中的重要追踪转换为数据集示例。这种方法要求您 已配置 LangSmith 追踪.
有两种方法可以手动将数据从追踪项目添加到数据集。导航至 **追踪项目** 并选择一个项目。
- 从运行表中多选运行。在 **运行** 选项卡中多选运行。在页面底部，点击 **添加到数据集**.
- 在 **运行** 选项卡中，从表中选择一个运行。在单个运行详情页面中，选择 **添加到** -> **数据集** ，位于右上角。
当您从运行详情页面选择一个数据集时，一个模态框将弹出，告知您是否应用了任何 转换 或架构验证是否失败。
然后您可以选择在将其添加到数据集之前编辑运行。
从追踪项目自动创建
您可以使用 运行规则 根据特定条件自动将追踪添加到数据集中。例如，您可以添加所有 标记 带有特定用例或拥有 低反馈分数.
来自标注队列中的示例
您可以选择为标注队列配置默认数据集，但您也可以通过使用屏幕底部的数据集切换器将运行添加到任何数据集中。选择正确的数据集后，点击 **添加到数据集** 或按热键 D 将运行添加到其中。
您在标注队列中对运行所做的任何修改都将延续到数据集中，与该运行关联的所有元数据也将被复制。
从 Playground
在 **Playground** page:
- 选择 **设置评估**.
- 点击 **+新建** 如果正在创建新数据集或从现有数据集中选择。
- 编辑示例：
- - 使用 **+行** 向数据集添加新示例。
- - 使用 **⋮** 表格右侧的下拉菜单删除示例。
- - 如果您要创建无参考数据集，请删除 **参考输出** 列，使用 **x** 按钮。注意此操作不可撤销。
从 CSV 或 JSONL 文件导入数据集
在 **数据集与实验** 页面，点击 **+新建数据集**，然后 **导入** 现有数据集（CSV 或 JSONL 文件）。
从数据集与实验页面创建新数据集
- 导航到 **数据集与实验** 页面（从左侧菜单）。
- 点击 **+新建数据集**.
- 在 **新建数据集** 页面，选择 **从零创建** tab.
- 为数据集添加名称和描述。
- （可选）创建 数据集模式 来验证您的数据集。
- 点击 **创建**，这将创建一个空数据集。
- 要内联添加示例，请在数据集页面上转到 **示例** 选项卡。点击 **+ 示例**.
- 以 JSON 格式定义示例，然后点击 **提交**。有关数据集拆分的更多详细信息，请参阅 创建和管理数据集拆分.
添加由 LLM 创建的合成示例
如果您有现有示例和 架构 在数据集上定义，当您点击 **+ 示例** 时，有一个选项可以 **添加 AI 生成的示例**。这将使用 LLM 创建 合成 examples.
In **生成示例**，请执行以下操作：
- 点击 **API 密钥** 在窗格右上角将您的 OpenAI API 密钥设置为 工作区密钥。如果您的工作区已经设置了 OpenAI API 密钥，则可以跳过此步骤。
- 选择 少样本示例：切换 **自动** or **手动** 参考示例。您可以从数据集中手动选择这些示例，也可以使用自动选择选项。
- 输入您要生成的合成示例数量。
- 点击 **生成**.
- 示例将显示在 **选择生成的示例** 页面。选择要添加到数据集的示例，并可在最终确定前进行编辑。点击 **保存示例**.
- 每个示例都将根据您指定的数据集架构进行验证，并标记为 **合成** 在源元数据中。
管理数据集
创建数据集架构
LangSmith 数据集存储任意 JSON 对象。我们建议（但不强制）您为数据集定义一个架构，以确保它们符合特定的 JSON schema。数据集架构使用标准 JSON schema定义，并添加了一些 预构建类型 ，使对消息和工具等常见基本类型的类型定义更加容易。
架构中的某些字段有 + Transformations 选项。转换是预处理步骤，如果启用，会在您将示例添加到数据集时更新它们。例如， convert to OpenAI messages 转换会将类似消息的对象（如 LangChain 消息）转换为 OpenAI 消息格式。
有关可用转换的完整列表，请参阅 数据集转换参考.
创建和管理数据集分割
有关何时以及为何使用分割的概述，请参阅 数据集组织.
在 UI 中创建和管理分割：
- 在数据集中选择示例。
- 点击 **添加到分割**.
- 从弹出的菜单中，您可以为选定的示例选择和取消选择分割，或创建新的分割。
编辑示例元数据
要为示例添加元数据：
- 点击一个示例，然后点击弹出窗口右上角的 **编辑** 。
- 在此页面上，您可以更新或删除现有元数据，或添加新元数据。
您可以使用它来存储有关示例的信息，例如标签或版本信息，然后您可以在分析实验结果时 按分组 或在使用 SDK 调用时 按筛选 使用这些信息。 list_examples 。
筛选示例
You can filter examples by split, metadata key/value or perform full-text search over examples. These filtering options are available to the top left of the examples table:
- 按分割筛选：选择分割 > 选择要筛选的分割。
- 按元数据筛选：筛选器 > 从下拉菜单中选择 **元数据** > 选择要筛选的元数据键和值。
- 全文搜索：筛选器 > 选择 **全文** 从下拉菜单中选择 > 输入搜索条件。
您可以添加多个筛选器，表格中只会显示满足所有筛选条件的示例。
