x xueai 文章库 Claude 官方课程中文版
返回文章库
第 88 页 / 共 100 页 / 飞书修订版 6

7.Computer use

此文档由 学习AI的1000天 翻译制作(抖音，B站，YouTube)

邮箱: szqshan@gmail.com | 微信: szqshan
网址: www.xueai.org

==================================================

Computer Use 是一个强大的功能，让 Claude 能够直接与桌面环境交互，本质上赋予了 AI 像人类一样控制计算机的能力。这项功能为自动化、测试和工作流程辅助开辟了全新的可能性。

image1.jpeg

计算机使用功能的能力

Computer Use 是 Claude 的一项实验性功能，它能够查看屏幕、移动光标、点击按钮和输入文本。这使得 Claude 能够使用计算机的方式与人类相同——通过查看屏幕上的内容并与之交互。

## 主要功能

Computer Use 可以帮助您完成各种需要与计算机界面交互的任务：

- **网页浏览和数据提取**：导航网站、填写表单、提取信息
- **软件操作**：使用桌面应用程序、管理文件和文件夹
- **自动化工作流程**：执行重复性任务，如数据输入或报告生成
- **测试和质量保证**：验证用户界面和用户体验
- **研究和分析**：收集信息、比较选项、生成见解

## 工作原理

Computer Use 通过以下方式运作：

1. **屏幕截图**：Claude 获取当前屏幕的图像
2. **视觉理解**：分析屏幕内容，识别元素和布局
3. **操作规划**：确定实现目标所需的步骤
4. **执行操作**：执行鼠标点击、键盘输入和其他交互
5. **验证结果**：检查操作是否成功并根据需要调整

这种方法使 Claude 能够与任何可视化界面交互，无论是网页、桌面应用程序还是移动应用程序。

Claude不仅仅是生成代码或提供建议，它实际上可以浏览网站、点击按钮、填写表单，并与应用程序进行实时交互。这使得它在以下任务中非常有用：

  • 网页应用程序的自动化QA测试
  • 数据录入和表单填写
  • 网站导航和信息收集
  • UI 测试和验证
  • 重复性桌面任务

真实案例：自动化QA测试

这里有一个实际示例，展示了Computer Use的强大功能。想象一下，你构建了一个带有自动补全功能的React组件——用户可以输入@来提及文件或资源。乍一看，一切似乎都运行正常，但可能还有一些你尚未发现的边缘情况。

image2.jpeg

与其手动测试每一种可能的交互，你可以将这项工作委托给 Claude。你只需要提供如下指令：

您的目标是对托管在 https://test-mentioner.vercel.app/ 的 React 组件进行 QA 测试

测试流程：

1. 打开一个新的浏览器标签页

2. 导航到 https://test-mentioner.vercel.app/

3. 逐一执行以下测试用例

4. 完成所有测试后，编写一份简洁的报告

测试用例：

1. 输入 'Did you read @' 应该显示自动补全选项

2. 输入 'Did you read @' 然后按回车键应该会添加 '@document.pdf'

3. 在添加 '@document.pdf' 后，按退格键应该在文本正下方直接显示自动补全选项，而不是在页面的其他位置

image3.jpeg

**实际工作原理**

Computer Use 运行在受控环境中——通常是一个 Docker 容器，其中包含一个与您主系统完全隔离的浏览器。您通过聊天界面与 Claude 交互，向它提供操作指令，然后观察它如何导航和与应用程序交互。

image4.jpeg

Claude 会逐步执行您的指令，包括截取屏幕截图、点击元素、输入文本并观察结果。在 QA 测试示例中，Claude 会：

  1. 导航到指定的 URL
  2. 输入测试内容并观察自动补全行为
  3. 测试回车键功能
  4. 检查退格键行为以确保正确定位
  5. 生成详细的通过和失败项目报告
image5.jpeg

结果

在运行完所有测试用例后，Claude 会提供一份综合报告。在我们的示例中，它可能会发现前两个测试通过（自动完成正确显示，回车键正常工作），但第三个测试失败，因为在按下退格键时自动完成下拉菜单出现在错误的位置。

这种自动化测试可以为开发者节省大量时间，特别是在处理重复性QA任务或需要快速测试多个场景时。您无需手动点击每个可能的交互操作，只需描述想要测试的内容，让Claude来处理执行过程。

安全性和隔离

Computer Use 在沙盒环境中运行以确保安全性。浏览器和桌面环境在 Docker 容器内运行，与您的主系统完全隔离。这意味着 Claude 可以与 Web 应用程序交互并测试界面，而不会对您的个人文件或系统安全造成任何风险。

这种隔离机制至关重要，因为它允许您授予Claude与应用程序交互的广泛权限，同时完全控制它可以访问和不能访问的内容。

==================================================



此文档由 学习AI的1000天 翻译制作(抖音，B站，YouTube)
邮箱: szqshan@gmail.com | 微信: szqshan
网址: www.xueai.org