Codex Computer Use（电脑操控）

Computer Use（电脑操控） 是 Codex 提供的一项功能，允许 Codex 查看和操作 macOS 或 Windows 上的图形用户界面（GUI）。

当命令行工具或结构化集成无法满足需求时，可以使用此功能来完成桌面应用操作、浏览器交互、应用设置调整等任务。

Computer Use（电脑操控）让 Codex 具备了「看」和「操作」桌面应用的能力，与命令行工具不同，Computer Use 可以直接与图形界面交互，包括点击按钮、输入文字、浏览菜单等操作。

Computer Use（电脑操控）功能适用于需要视觉验证或图形界面交互的场景，例如测试桌面应用、复现仅出现在 GUI 中的 bug、或者操作没有提供插件的数据源。

Computer Use 会影响项目工作区之外的应用和系统状态，建议仅用于范围明确的任务，并在执行过程中留意权限提示。

环境设置

在使用 Computer Use 之前，需要先完成必要的插件安装和权限配置。

安装 Computer Use 插件

打开 Codex 设置，找到 Computer Use 选项，点击 Install 安装 Computer Use 插件。

安装完成后即可让 Codex 开始操作桌面应用。

macOS 权限配置

在 macOS 上，需要授予以下两项系统权限：

权限用途
屏幕录制（Screen Recording）允许 Codex 查看目标应用的界面内容
辅助功能（Accessibility）允许 Codex 执行点击、输入、导航等交互操作

系统会在首次使用时弹出权限请求，按提示授权即可。

Windows 使用说明

在 Windows 上，Computer Use 需要在活动桌面上运行。

执行任务期间，目标应用必须保持在当前活动桌面上可见，Codex 会接管鼠标指针和键盘输入。

在 Windows 上，Computer Use 无法在后台运行。如果你需要同时继续使用桌面，建议使用虚拟机或第二台设备。

接下来我们只要在对话窗口让它打开一个网站，它就会使用 Computer Use:

使用场景

当任务依赖于图形用户界面，且难以仅通过文件或命令行输出来验证时，应选择 Computer Use。

适合使用 Computer Use 的场景

场景说明
桌面应用测试测试 Codex 正在构建的 macOS 应用、Windows 应用、iOS 模拟器流程或其他桌面应用
浏览器操作执行需要通过 Web 浏览器完成的任务
Bug 复现复现仅在图形界面中出现的 bug
应用设置调整修改需要通过 UI 点击才能完成的应用设置
非插件数据源查看或操作没有提供插件的应用或数据源中的信息
macOS 后台任务在 macOS 上运行限定范围的后台任务，同时继续在其他地方工作
跨应用工作流执行涉及多个应用的自动化流程

对于本地构建的 Web 应用，优先使用 Codex 的内置浏览器（in-app browser），而非 Computer Use。

Windows 前台使用

在 Windows 上，Computer Use 运行在当前活动桌面上。

它无法在后台运行，因此在任务执行期间，Codex 会移动鼠标指针、输入文字并接管前台操作。

如果需要让 Windows 任务在你离开时继续运行，有以下两种方案：

  • 保持 Windows 设备解锁并连接到互联网，通过手机的远程控制功能查看进度或发送后续指令。
  • 在 Windows 虚拟机中运行 Codex，这样 Computer Use 接管的是虚拟机而非你的主桌面。

启动 Computer Use 任务

在提示词中提及 @Computer 或 @AppName，或者直接让 Codex 使用 Computer Use。

需要明确描述 Codex 应操作的具体应用、窗口或流程。

可以在输入框输入以下内容调用：

使用 Computer Use 打开应用，复现登录流程中的 bug，并修复导致该 bug 的最简代码路径。
每次修改后，重新运行相同的 UI 流程进行验证。

可以在输入框中使用 @Chrome 调用浏览器浏览器：

例如：

打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。

如果目标应用提供了专用的插件或 MCP 服务器，优先使用这些结构化集成来进行数据访问和可重复操作。只有在需要视觉化检查或操作应用时才选择 Computer Use。

权限与审批

Computer Use 的系统权限与 Codex 中的应用审批是分开的。

在 macOS 上，屏幕录制和辅助功能权限允许 Codex 查看和操作应用。

应用审批则决定你允许 Codex 使用哪些应用。

文件读取、文件编辑和 shell 命令仍然遵循线程的沙箱和审批设置。

应用权限管理

使用 Computer Use 时，Codex 只能查看和操作你允许的应用。

任务执行过程中，Codex 在使用某个应用之前会请求你的许可。

你可以选择 始终允许（Always allow），这样 Codex 以后使用该应用时就无需再次询问。

可以在 Codex 设置的 Computer Use 板块中，从「始终允许」列表中移除应用。

敏感操作审批

对于敏感或具有破坏性的操作，Codex 可能还会额外请求许可。

故障排除

如果 Codex 无法查看或控制某个应用，请按以下步骤检查：

  • 在 macOS 上，打开 系统设置 > 隐私与安全性，检查 Codex 应用的「屏幕录制」和「辅助功能」权限是否已开启。
  • 在 Windows 上，确保目标应用在当前活动桌面会话中可见。

锁定使用（macOS）

锁定使用（Locked Use）是 macOS 专属功能。

它允许 Codex 在你的 Mac 锁屏后继续使用 Computer Use，但需要你事先手动启用。

适用场景：从已连接的设备发起 Codex 任务，任务需要使用桌面应用，但 Mac 已经锁屏。

工作原理

启用锁定使用后，Codex 会安装一个 Apple 授权插件（authorization plug-in），参与 macOS 的解锁流程。

锁定使用的设计范围非常有限：它不是通用的远程解锁路径，也不允许其他应用或本地进程解锁电脑。

启用步骤

  1. 打开 Codex 设置 > Computer Use。
  2. 启用「锁定计算机使用（Locked computer use）」。
  3. 从已连接设备启动一个使用 Computer Use 的任务（在 Mac 屏幕锁定之后）。

安全机制

当 Codex 任务在 Mac 锁屏后通过 Computer Use 访问应用时，Codex 会临时解锁 Mac，同时阻止本地使用并保留锁屏保护。

解锁前，Codex 会验证该解锁请求是否属于一个活跃且受信任的 Computer Use 回合。

在该短暂的授权窗口之外，Codex 会拒绝解锁并提示你手动解锁。

锁定使用的安全保护

保护措施说明
短时效授权窗口授权窗口仅对当前解锁尝试有效，且持续时间很短
仅限 Codex 自动解锁自动解锁仅对活跃的 Computer Use 回合中的 Codex 可用
覆盖所有显示器桌面临时解锁期间，Codex 会覆盖所有显示器画面
本地输入检测如果检测到本地键盘或指针输入，Codex 会立即重新锁定 Mac 并暂停自动解锁，直到你手动解锁

安全指南

使用 Computer Use 时，Codex 可以查看屏幕内容、截取屏幕截图，并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。

目标应用中可见的应用内容、浏览器页面、截图和打开的文件，都可能被 Codex 在任务执行期间作为上下文处理。

安全操作建议

建议说明
一次一个目标每次只给 Codex 一个明确的目标应用或流程
随时可中断你可以随时停止任务或接管电脑的控制权
关闭不必要的敏感应用除非任务需要，否则保持敏感应用处于关闭状态
留意 Windows 前台占用在 Windows 上，Codex 会接管前台输入；建议使用第二台设备、虚拟机，或在亲自使用桌面之前先停止任务
避免涉及密钥的任务除非你在场并能批准每一步操作，否则避免执行需要密钥的任务
审查应用权限提示在允许 Codex 使用某个应用之前，仔细查看权限提示
谨慎使用「始终允许」仅对你信任 Codex 在未来任务中自动使用的应用选择「始终允许」
关键设置需在场涉及账户、安全、隐私、网络、支付或凭证相关设置时，务必在场监督
注意窗口切换如果 Codex 开始与错误的窗口交互，立即取消任务

浏览器使用注意事项

如果 Codex 使用你的浏览器，它可以与你已登录的页面进行交互。

请像自己亲自操作一样审查网站行为：网页可能包含恶意或误导性内容，而网站可能将已批准的点击、表单提交和已登录操作视为来自你的账户。

如果需要在 Codex 工作的同时继续使用浏览器，可以让 Codex 使用另一个不同的浏览器。

功能限制

Computer Use 无法自动化终端应用或 Codex 自身，因为自动化这些可能会绕过 Codex 的安全策略。

它也无法以管理员身份进行身份验证，或批准电脑上的安全和隐私权限提示。

数据说明

文件编辑和 shell 命令仍然遵循 Codex 的审批和沙箱设置。

通过桌面应用所做的更改，在保存到磁盘并被项目追踪之前，可能不会出现在审查面板中。

你的 ChatGPT 数据控制设置适用于通过 Codex 处理的内容，包括 Computer Use 所截取的屏幕截图。