PKU harness

Copilot 手机助手

Copilot 让助手在一块独立的屏幕上替你操作手机里的其他 App。本页面向不熟悉手机设置的同学，一步一步说明开发者选项、无线调试和配对码、无障碍、允许的 App 和截图怎样设置，列出各品牌手机的注意事项，并说明怎样暂停、停止以及彻底关闭。

「Copilot 手机助手」让助手替你使用手机上的其他 App。例如你可以说「用 Copilot 设一个 7:30 的闹钟」或「帮我点一杯常喝的咖啡」。助手会在一块看不见的独立屏幕上打开这个 App，在那里点按和输入，你可以照常使用手机。一个小悬浮窗显示每一步，你可以随时暂停或停止。

Copilot 需要 Android 12 或更高版本。它只能使用你允许的 App；要用其他 App 时，会先问你。

为什么需要这些权限

Android 平时不允许一个 App 操作另一个 App。Copilot 借助 Android 为开发者和读屏软件提供的功能来做到这一点。每一项都有明确的用途。

项目用途
手机助手（通过无线调试）PKU harness 在你手机上启动的一个小助手程序。它创建 Copilot 的独立屏幕，在上面打开 App，并完成每一次点按、滑动和输入。它只连接你自己的手机，不连接电脑，也不连接任何服务器
无障碍让 Copilot 读取被操作 App 的屏幕内容（按钮、文字、列表），并显示悬浮窗。从 1.0.20 版开始，无障碍只用来读取，不再用来点按或输入
允许的 AppCopilot 可以打开的 App 列表，最多 20 个
通知（可选）设置时，在通知里输入配对码；任务进行时，可以在通知里停止任务
截图（默认开启）用于淘宝、微信等不向无障碍显示内容的 App

每一项都可以随时在 Android 的设置中撤销，见关闭 Copilot。

开始之前

  • 连接 Wi-Fi。无线调试只能在 Wi-Fi 下使用，校园网（PKU、PKU Secure）也可以。
  • 准备好锁屏密码。开启开发者选项时，Android 会要求输入。
  • 留出大约五分钟。这些设置只需要做一次。
  • Copilot 是一个插件。如果你在首次设置时关闭了它，请先在「设置 → 插件」中开启。

打开 Copilot 页面

在对话中输入 /copilot，或打开「设置 → 插件 → Copilot 手机助手」，在「打开」下点「Copilot」。首次设置中的「设置 Copilot」也会打开这个页面。

在全部就绪之前，页面顶部显示「开始前的准备」：一个有五步的编号列表，每一步标着「待完成」「建议开启」「自动」或已完成的状态。第一个未完成的步骤会自动展开。从上到下依次完成即可。

一步一步设置 Copilot

允许通知

这一步标着「可选」，但它能让配对简单很多。

点「允许通知」，在系统弹窗中点「允许」。如果你之前关闭过通知，按钮会显示「打开通知设置」，在那里为 PKU harness 打开通知后再回来。

开启开发者选项

「开发者选项」是 Android 设置里一个隐藏的页面，给开发 App 的人使用。开启它本身不会改变手机的任何行为，只是让这个页面显示出来。Copilot 需要用到其中的一个开关：「无线调试」。

如果开发者选项还没有开启，「连接手机助手」这一步会显示「打开「关于手机」」按钮。点按后：

  1. 在「关于手机」页面找到「版本号」，连续点按七次。有些手机上这一项叫别的名字，例如「OS 版本」或「软件版本号」，见下面的表格。
  2. Android 要求输入锁屏密码，输入即可。
  3. 屏幕提示「您已处于开发者模式」或类似的话。
  4. 返回设置首页，打开「开发者选项」。大多数手机把它放在「系统」或「更多设置」里。

如果开发者选项已经开启，按钮会显示「开启无线调试」，并直接打开开发者选项中对应的位置。

开启无线调试

  1. 在 PKU harness 中点「开启无线调试」。App 会打开 Android 的开发者选项，并在那里等你。
  2. 找到「无线调试」，打开它的开关。如果系统问「要允许在此网络上使用无线调试吗？」，点「允许」。勾选「始终允许使用此网络」，以后就不会再问。
  3. 点「无线调试」这几个字（不是开关），进入它的页面。
  4. 点「使用配对码配对设备」。弹窗里会显示一个六位数的「WLAN 配对码」。保持这个弹窗打开。

无线调试原本用于让电脑连接手机。Copilot 用它在手机自己身上启动手机助手，不涉及电脑；没有配对码，手机以外的设备无法借此连接。

输入配对码

  1. 保持配对弹窗打开，下拉通知栏。
  2. 在「Copilot 配对」通知（「输入配对码」）中点「输入配对码」。
  3. 输入弹窗里的六位数字并发送。

通知会先显示「正在配对并启动手机助手…」，然后显示「手机助手已连接」。不需要输入端口号，也不需要分屏。

如果通知提示配对码错误或弹窗已关闭，再点一次「使用配对码配对设备」，在同一条通知里输入新的配对码。

如果你没有允许通知，或者通知没有出现，回到 PKU harness 点「手动输入配对码」，在「配对码」里填写数字，点「配对手机」。「IP 地址和端口」可以留空，App 会自动查找。

配对只需要做一次。配对过的手机会显示「重新连接」标签页；平时它会自己重新连接，重启手机后也一样。

无障碍

手机助手连接后，这一步会自动完成。这一行先显示「正在开启…」，然后显示「已开启」。手机助手还会替你做三件事：

  • 为 PKU harness 允许 Android 13 的「受限制的设置」（见下文）；
  • 把 PKU harness 加入电池优化白名单，让 Copilot 能在后台持续运行；
  • 允许 PKU harness 自己重新打开它的无障碍服务。

如果这一行仍显示「待完成」，点「一键开启」。例如你之前在系统设置中关闭过这个服务时，就会出现这种情况。

手动开启。 如果手机助手连不上，点「改为在系统设置中开启」，再点「打开无障碍设置」，在列表中找到「Copilot」（通常在「已下载的应用」或「已安装的服务」下）并打开。系统可能提示这是「受限制的设置」：从安装包安装的 App 需要你先允许，才能开启无障碍。点「打开应用信息」，点右上角的「⋮」，选择「允许受限制的设置」，用锁屏密码确认，然后回去打开「Copilot」。

选择允许的 App

  1. 点「选择应用」。「应用权限」下的「全部应用」列出手机上的 App。可以用「搜索应用」或右侧的 A–Z 字母索引查找；中文名称按拼音首字母排列。
  2. 打开你允许 Copilot 使用的每个 App 右侧的开关，最多 20 个。
  3. 选择会自动保存。「已允许」标签页列出你选中的 App。

标有「系统界面 · 由其他应用打开」的条目是系统界面，例如其他 App 打开的设置页。只有 Copilot 需要在这些界面里操作时才允许它们。

如果某个允许的 App 已被卸载，它会出现在「已不可用的应用」下。点「移除不可用的应用」即可。

开启 Copilot

点「开启 Copilot」。页面显示「Copilot 已就绪」，点「去对话」开始使用。

之后，页面顶部会显示「启用 Copilot」开关、「权限」一行（没有缺少的权限时显示「必需权限均已就绪」）和「允许 AI 查看截图」开关。

各品牌手机上的开关位置

每家手机厂商都会改动这些菜单的名称和位置。最快的方法是使用系统设置顶部的搜索框：先搜「版本号」，再搜「无线调试」。下表列出常见的位置，可能因机型和系统版本而不同。

品牌（系统）连续点按七次以开启开发者选项开发者选项在哪里
Google Pixel 及其他多数手机（Android）设置 → 关于手机 → 「版本号」设置 → 系统 → 开发者选项
三星（One UI）设置 → 关于手机 → 软件信息 → 「编译编号」设置 → 开发者选项（列表最底部）
小米、Redmi、POCO（澎湃 OS、MIUI）设置 → 我的设备 → 全部参数与信息 → 「OS 版本」（HyperOS 版本 / MIUI 版本）设置 → 更多设置 → 开发者选项
华为（HarmonyOS 4 及更早）设置 → 关于手机 → 「版本号」设置 → 系统和更新 → 开发者选项
荣耀（MagicOS）设置 → 关于手机 → 「版本号」设置 → 系统和更新 → 开发者选项
OPPO（ColorOS）、一加（ColorOS、OxygenOS）设置 → 关于本机 → 版本信息 → 「版本号」设置 → 其他设置 → 开发者选项
vivo、iQOO（OriginOS）设置 → 系统管理 → 关于手机 → 「软件版本号」设置 → 系统管理 → 开发者选项

Google 的通用说明见配置设备端开发者选项。

各品牌的常见问题

  • 小米、Redmi、POCO。 如果 Copilot 能读取 App 的内容，但点按或输入没有反应，请在开发者选项中打开「USB 调试（安全设置）」。它和「USB 调试」是两个不同的开关。小米要求登录小米账号才能打开它，可能还需要插着 SIM 卡。打开后重启手机。另外请允许 PKU harness「自启动」，并把它的省电策略设为「无限制」，否则系统可能在后台停掉手机助手。
  • OPPO、一加。 如果设置时无法开启无障碍，或点按没有反应，请在开发者选项中打开「禁止权限监控」，然后重试。
  • 三星。 Copilot 可以正常设置。如果键盘每个键要点两次，见键盘每个键要点两次。如果开启了「自动拦截器」（设置 → 安全和隐私），它可能拦截从安装包安装的 App；设置失败时请先关闭它。
  • 华为。 HarmonyOS NEXT（HarmonyOS 5 及以后）的手机不能安装 Android 应用，所以无法运行 PKU harness。较早的 HarmonyOS 可能没有「无线调试」，或报告的 Android 版本低于 12，这时 Copilot 会提示「Copilot 需要 Android 12 或更高版本。」
  • 所有品牌。 省电功能可能停掉手机助手。如果 Copilot 经常断开，请在系统的应用设置中把 PKU harness 的电池使用设为不受限制。

截图

有些 App，例如淘宝和微信，不向无障碍显示内容，Copilot 看到的几乎是一个空白屏幕。对这些 App，助手会改为截一张图、看图，再按图上的位置点按。Copilot 页面上的「允许 AI 查看截图」控制这项功能。它默认开启，你可以随时关闭。

  • 只截取 Copilot 正在操作的 App，也就是独立屏幕上的画面，不会截取你自己的屏幕。
  • 不会截取密码、支付等受保护的画面。
  • 截图只在这一次回复中发送给你的 AI 服务商，不会保存在对话里。
  • 模型需要能看图片。DeepSeek-V4.1-Flash 可以；DeepSeek-V4-Pro 和通过「OpenAI 兼容」接入的模型不行。当前模型看不了图片时，助手会告诉你。

使用 Copilot

在对话中描述任务即可，例如「在浏览器里搜索北大图书馆」。不需要每次手动开始任务。助手会在独立屏幕上打开允许的 App，一直做到任务完成或你按停止，步骤数没有上限。

如果任务需要一个你还没有允许的 App，助手会先问你：「「Copilot」想使用」加上这个 App 的名字。可以选「仅本次允许」（只用于这次任务）、「始终允许」（加入允许列表）或「不允许」（助手会停下并告诉你）。只有你的点按才能授权。你不在 PKU harness 里时，请求会以通知或悬浮窗的形式出现。

定时任务不能使用 Copilot。

确认、暂停和接管

Copilot 读取屏幕时不会询问。默认情况下，它每次点按、输入或提交之前都会请你确认，因为 Copilot 的「修改」「资金」「公开」权限初始为「每次询问」。如果想让它不经询问直接操作，在「设置 → 插件 → Copilot 手机助手 → AI 可以做什么」中把「修改」改为「直接执行」。

  • PKU harness 在前台时，确认请求出现在 App 里。
  • 你在其他 App 里时，请求出现在悬浮窗中。点「允许一次」或「拒绝」。

悬浮窗显示当前步骤和实时预览，上面有「暂停」/「继续」和「停止」按钮，「更多选项」菜单里有「接管操作」和「打开 Harness」。

  • 点「最小化」可以把悬浮窗缩成一个小圆形图标。红点表示 Copilot 正在操作，橙点表示需要你处理，灰点表示已暂停或由你控制。拖动图标可以移动位置，点按图标重新打开悬浮窗。缩小后，下拉通知栏或打开最近任务都不会让它展开；只有需要你确认或交给你操作时，悬浮窗才会自己展开。在 PKU harness 里不显示悬浮窗，对话里已经能看到任务进度。
  • 拖动预览的一角可以调整大小。

你只需要付款。 选商品、地址、选项和优惠券，再到点「提交订单」或「立即支付」，都由 Copilot 完成（点之前它会说明金额和商家）。弹出付款界面（选择支付宝或微信支付、收银台、密码或指纹）时，Copilot 不能在上面点按，它会把 App 交到你的主屏幕上，并附一句说明，例如「支付 ¥23.5，然后点完成」。你用指纹、面容或密码付款后，在悬浮窗中点「完成 · 继续」，Copilot 会检查结果并把任务做完。遇到密码和登录验证时也是这样。你也可以随时在 Copilot 页面点「我来接管」，完成后点「交还给 Copilot」。如果开启了免密支付，订单可能不弹付款界面就直接扣款，这时 Copilot 会检查结果并告诉你。

离开 App 和锁屏

交给 Copilot 的任务不需要你一直看着：

  • 切到其他 App 或锁屏都没关系。 Copilot 在自己的独立屏幕上操作，这块屏幕不受锁屏影响，任务会继续。
  • 任务进行时屏幕保持点亮（变暗）。 Android 会让 Copilot 的屏幕和手机屏幕一起熄灭，所以任务进行中屏幕不会自动熄屏。
  • 按电源键关掉屏幕后，Copilot 会暂停。 锁屏上会显示一条安静的通知「Copilot 已暂停：屏幕已关闭」。点亮屏幕即可继续，不需要解锁。
  • 需要你时会点亮屏幕。 需要你确认操作，或需要你接手（例如付款、登录）时，手机会点亮屏幕，并在锁屏上显示通知。确认请求要打开 PKU harness 处理；接手时解锁后 App 已经在你的屏幕上，完成后在悬浮窗中点「完成 · 继续」。助手最多等你 30 分钟，之后会结束这次回复，你回来后发一条消息即可继续。

微信

微信有自己的防自动化检测，由腾讯的服务器控制。检测到 Copilot 时，微信会隐藏界面内容、禁止截图并忽略输入。Copilot 会直接告诉你：微信现在正在阻止自动操作，需要你自己完成这一步，然后停下。请你自己在微信里完成这一步。Copilot 不会尝试绕过这种拦截。

微信的服务条款禁止自动化操作，腾讯可能限制使用自动化工具的账号。助手在一个对话中第一次使用微信时会提到这一点。是否让 Copilot 使用微信，请你自己判断。

键盘每个键要点两次

为了能在微信等 App 里读取界面，Copilot 的无障碍服务使用了一个读屏软件的服务名。有些输入法（例如三星键盘）在这类服务开启时会切换到读屏输入方式，每个键都要点两次。

为了避免这个问题，Copilot 在两次任务之间会关闭自己的无障碍服务，下次任务开始时再打开。任务进行中，你在 PKU harness 里打字（键盘打开）时，服务也会在两次操作之间关闭，下一步操作前再打开。它也会在每次操作前检查这个服务，如果被系统或你关掉了，就重新打开。这需要手机助手处于连接状态；没有连接时，服务会一直开着，键盘问题可能再次出现。如果任务结束后键盘仍要点两次，打开 Copilot 页面让手机助手重新连接，服务会在大约 20 秒内关闭。

如果 Copilot 无法重新打开无障碍服务，助手会请你到「系统设置 → 无障碍」中打开，然后停下。

停止任务

下面任意一种方式都会立即结束当前的手机任务：

  • 点悬浮窗或 Copilot 通知中的「停止」。
  • 在 Copilot 页面的「当前任务」下点「停止 Copilot」。
  • 关闭「启用 Copilot」。

停止后，当前这次回复不能再自行开始任务。要开始新任务，请发送一条新消息。

关闭 Copilot

不再使用 Copilot：在 Copilot 页面关闭「启用 Copilot」。允许的 App 列表会保留，新的任务不会再开始。也可以直接告诉助手，例如「关闭 Copilot」。

同时撤销系统权限：在 Android 的设置中完成下面几步。

  1. 打开「开发者选项 → 无线调试」，在「已配对的设备」下点 PKU harness 配对的设备，再点「取消保存」（或「忘记」）。之后手机助手要重新配对才能连接。
  2. 关闭「无线调试」，或者用开发者选项页面顶部的开关关闭整个开发者选项。
  3. 在「设置 → 无障碍」中关闭「Copilot」。

Copilot 开启并且已配对时，PKU harness 会在需要时自己重新打开无线调试和无障碍服务，所以第 1 步很重要。手机助手授予 PKU harness 的「修改系统安全设置」权限会一直保留，直到你卸载 App；它只用于 Copilot 自己的无障碍服务和无线调试。

哪些内容留在手机上

  • 手机助手只连接你自己的手机，不连接电脑或服务器。
  • 助手读取被操作 App 屏幕上的文字和控件。这些内容，以及使用截图时的截图，会作为对话的一部分发送给你的 AI 服务商，和其他消息一样。
  • 悬浮窗和 Copilot 页面上的预览画面只在你的手机上显示。
  • Copilot 看不到你在密码框里输入的内容，也不会替你付款。

本页目录

为什么需要这些权限开始之前打开 Copilot 页面一步一步设置 Copilot允许通知开启开发者选项开启无线调试输入配对码无障碍选择允许的 App开启 Copilot各品牌手机上的开关位置各品牌的常见问题截图使用 Copilot确认、暂停和接管离开 App 和锁屏微信键盘每个键要点两次停止任务关闭 Copilot哪些内容留在手机上