让 AI 在手机的独立副屏上操作应用,你继续正常使用主屏。
Continuo 是一个原生 Android 客户端(Kotlin + Jetpack Compose),连接手机本机运行的 DSH 智能体(@deepseek-ai/dsh-*)。核心是 Cowork 模式:在 Android 工作资料里开一块 AI 独占的虚拟副屏,AI 只在这块屏上读界面、点击、输入,碰不到你的主屏、应用和数据。AI 有你起的名字和头像,下拉通知栏就能看它在干什么、叫它、给它留便条。
项目状态:只面向一加 Ace 3V(Android 16,ColorOS,KernelSU root)的个人项目,不是开箱即用的应用,依赖 root、手机本机的 DSH 和手动创建的工作资料。见局限。
包名 dev.dsh.pocket · 版本 0.8.1(versionCode 11)· minSdk 28 / targetSdk 36 · MIT
让 AI 代你操作手机,通常意味着它和你抢同一块屏幕:你一碰手机,任务就被打断;它一执行,你就没法用手机。
| 常见做法 | Continuo Cowork | |
|---|---|---|
| AI 操作的屏幕 | 主屏 | 独占的虚拟副屏 |
| 你同时用主屏 | 会打断任务 | 随意用,不影响任务 |
| AI 能碰到的应用 | 全部,或靠白名单 | 工作资料里的应用,与个人数据隔离 |
| 观察与干预 | 事后查看 | 实时画面,随时暂停、接管、交还 |
┌────────────────────────── 手机 ──────────────────────────┐
│ Continuo App(个人空间) DSH 服务 │
│ ├ 首页 / 设置 / 记忆 Node + Ubuntu chroot │
│ ├ CoworkControllerService ◄──HMAC──► 127.0.0.1:3080 │
│ └ 状态卡 / 叫它 / 看画面 └ cowork-phone 插件 │
│ ▲ 控制 / 状态 / 实时画面 │ 工具调用 │
│ │ ▼ │
│ ┌──────┴────────────────────────────────────────────┐ │
│ │ Broker(root,app_process,127.0.0.1:3091) │ │
│ │ 常驻虚拟副屏 · UID 定向输入 · UID 过滤截图 │ │
│ │ UiAutomation 读界面结构 · 接管 · 看门狗 · 实时流 │ │
│ └──────┬────────────────────────────────────────────┘ │
│ ▼ │
│ 工作资料(userId 10)里的应用 ──► AI 独占副屏 │
│ 个人主屏:你自己用,不在 AI 操作范围内 │
└───────────────────────────────────────────────────────────┘
| 组件 | 作用 |
|---|---|
cowork-phone 插件(cowork-plugin/) |
给模型一组固定的手机工具、受限的文件读写和网页工具,没有 Shell、代码执行和子代理。限制落在工具注册和执行守卫上,不只靠提示词。 |
Broker(app/.../cowork/broker/) |
root 经 app_process 启动的原生服务,所有安全边界的最终执行者:持有副屏、注入输入、截图、读界面、管理暂停与接管。 |
| Continuo App | 状态卡、叫它和留便条的半屏、首页、全屏看画面与接管、设置。控制令牌与模型令牌分开,模型不能审批、恢复或接管。 |
工作资料(isolation/) |
你经系统确认创建的隔离层。Broker 只认验证过的资料,不认包名或窗口标题。 |
关键做法:
- 虚拟副屏:常驻、焦点独立,主屏怎么用都不打断任务。
- 按 UID 输入和截图:每个输入事件绑定“副屏 + 应用 UID”,没有无定向回退;截图按 UID 过滤、不抓安全层,密码框内容被遮蔽。
- 结构优先:模型按界面树里的元素操作,每个动作必须引用 60 秒内、只能用一次的观察;输入后界面变化不大时只发变化。截图只在结构不够用时用。
- 实时画面:副屏直接送进硬件 H.264 编码器,推给小画面和全屏看画面。
细节见 Cowork 实现细节。
它(细节)
- 名字和头像:新装引导里起名、选头像;8 个贴纸角色,每个 9 种状态,带动画。
- 状态卡:常驻通知写着它在干什么,按钮是叫它 / 写便条 / 看画面;要你接手时弹“找你”。
- 叫它:浮在当前应用上的半屏,打字或按住说话,它干活时显示在做什么。入口有状态卡、快捷开关、长按图标、分享菜单、系统数字助理和长按电源键(
runtime/powerkey/)。叫它是唯一直接派活的方式。 - 留便条:必须选时间,原话由 App 直接存进 DSH,不经过模型。
- 首页:聊天、事件(巡视和被通知叫醒时它做了什么)、便条、日记(每晚 11 点写一篇)四栏,左右滑切换。
- 看画面:全屏只看;点“接手”自己操作,“交还”还给它。
Cowork:22 个手机工具,加上受限的文件读写和网页工具。
| 类别 | 工具 |
|---|---|
| 观察 | phone_ui_tree、phone_screenshot(可局部放大)、phone_read_page(自动下翻读长文)、phone_read_chat(往上翻读聊天记录) |
| 操作 | phone_tap、phone_long_press、phone_swipe、phone_scroll、phone_type_text、phone_key、phone_batch(同屏 2–5 步)、phone_gesture(任意轨迹与两指手势) |
| 应用与控制 | phone_status、phone_apps、phone_start、phone_launch_app、phone_wait、phone_pause、phone_stop、phone_request_intervention、phone_notify_owner、phone_grant_permission、phone_uninstall_app |
- 一个会话:你和它的聊天、它的巡视和便条、所有应用的通知都在同一个会话里,它记得自己在哪做过什么。聊天页只显示你们俩说的话,其余的在事件里。
- 便条与巡视:到点要做的事都是便条(基于 DSH 的
dsh-schedule)。你让它记的照做,它自己留的由它判断还做不做。巡视是一张周期便条,每次轮流照看几个应用;定了性格以后巡视并进它自己的时间。 - 性格与主动性:你用荣格八维给它定性格(选类型再微调 8 个值)。它有能量和心境:做什么累、靠什么回血因性格而异;歇够了会自己起来用手机,也会像朋友一样在 Continuo、QQ、微信上找你(有上限、夜里和勿扰时不找)。说话更放得开,被惹到可以回怼,但有写死的底线。
- 通知叫醒:Broker 读通知,判断模型 Jev 认为值得才叫醒它;它正在自己忙时直接插进去,你们在聊时等聊完。模型可以给每个应用写关注说明,但私聊和 @ 一定算、广告一定不算。
- 自主但有边界:像普通人一样用副屏上的账号;社交只做低侵入的,不主动私聊、加好友,敏感内容不碰。付款、账号安全、清空聊天记录要你决定。副屏同一时间只给一个回合用,你的消息优先。
- 省上下文:工具按需加载,旧屏幕压成一行,用插件自己的上下文压缩:用到窗口的四分之一(小于 50 万的窗口用到一半)才压,每轮最多一次。
- 其他:Code 模式(设置 → 开发者)、运行中插话、记忆管理、DSH 运行环境管理。
| 目录 | 内容 |
|---|---|
app/ |
主应用:ui/ 界面、data/ DSH 接口、cowork/ 控制连接与接管、island/ 任务状态、avatar/ 头像、notify/ 通知触发 |
app/.../cowork/broker/ |
原生 Broker,入口 BrokerMain,副屏驱动 ProfileWorkspace;可在 JVM 上测的纯逻辑单独成类 |
isolation/ |
工作资料的创建、资料拥有者与“AI 桌面” |
fixture/ |
无网络、无权限的测试夹具应用 |
platform-stubs/ |
Android 16 隐藏 API 的编译期桩 |
cowork-plugin/ |
DSH 插件(Node.js ≥ 22),入口 src/restricted.mjs |
runtime/ |
手机端运行时脚本(cowork-service.sh、pocket-control.sh、powerkey/) |
scripts/ |
经 ADB 的部署、验收与探测脚本(绑定测试设备) |
docs/ |
设计文档与更新日志 |
旧代码 Broker 的 AndroidWorkspace、*ProbeMain 和插件的 src/index.mjs、bridge.mjs、files.mjs、policy.mjs 不在主流程里;cowork-plugin/t-tmp.mjs 和一个以 {console.log( 开头的空文件是误提交的。
环境:JDK 21、Gradle 8.13(AGP 8.13.2、Kotlin 2.2.21)、Android SDK 36,仓库不含 local.properties。
.\test-unit.ps1 # 构建 debug APK,编译并运行 JVM 测试(在仓库根目录运行)
.\test-unit.ps1 -SkipBuild # 只跑测试cd cowork-plugin
node --test test/strict-*.test.mjs # 插件离线测试test-unit.ps1从仓库上两级的tools\android-build\取工具链;测试类写死在脚本里,新增的要加进去。- Kotlin 编译报
AccessDeniedException …alive时,把TEMP/TMP指向仓库内的.kctmp\,并给 Gradle 加-Pkotlin.compiler.execution.strategy=in-process。 - 插件的
strict-integration测试依赖未入库的 DSH 运行时副本(cowork-plugin/research/)。
没有一键安装,步骤与设备强相关:
- 手机已 root(KernelSU),本机运行 DSH 0.2.1-rc.2(Ubuntu chroot,
127.0.0.1:3080);插件声明的版本必须与之一致,见升级说明。 - 经系统确认创建工作资料,见创建说明。
adb install -r装 Continuo,授予悬浮窗与通知权限。- DSH 停止时把
cowork-plugin/装进 DSH 的插件目录(先备份、核对哈希)。 - 用 root 运行
runtime/cowork-service.sh start启动 Broker。 - 正常连接 Cowork 时自动安装 APK 内置的聊天通知保活脚本(KernelSU):名单上的工作资料应用(默认 QQ、微信,可在设置里改)已运行的主进程和推送进程由独立 root keeper 保护,跨 Broker/副屏重建继续运行;开机自动启动 keeper,聊天应用仍懒启动。源码随主 APK 编译,升级自动检测 APK 路径与哈希,不再额外部署 jar;部署与停用说明。
更新时:插件与 APK 的协议要匹配,一起更新;adb install -r 后在跑的 Broker 仍是旧代码,要在 DSH 空闲时重启它。scripts/ 写死了设备序列号和本机路径,部分已过期。
- 依赖 root、手机本机 DSH 和手动创建的工作资料,只在一加 Ace 3V 上验证过。
- 工作资料不是虚拟机,也不是防恶意应用的完整沙箱;跨资料、跨显示的跳转只会被检测和处理,不是系统级阻断。
- 系统弹窗通常不接受注入的点击:权限和卸载有专门工具,其他弹窗要你接管。
- WebView、游戏、自绘界面常缺结构节点,只能靠截图;第三方应用只做过抽样验证。
- 便条和通知叫醒依赖 DSH 和 Broker 常驻;开启通知叫醒后,未排除应用的通知会发给判断模型,建议排除银行、验证码类应用。
- 自主行动主要靠提示词约束,去哪些应用、做到什么程度由模型判断。
- ColorOS 从最近任务划掉应用会强杀进程,建议在最近任务里锁定 Continuo。
更多见实现细节里的已知限制。
- Cowork 实现细节 · 更新日志
- Broker 协议 v1 · 插件说明 · 集成约定
- 创建隔离工作资料
- 性格、能量与主动性
- 早期设计:Cowork 与任务岛 · 主屏自由使用与后台并行 · phone_batch
早期设计文档的细节以代码为准。文档引用的实机证据(test-evidence/)含个人数据,没有随仓库提交。
MIT。内置字体 JetBrains Mono 遵循 SIL OFL 1.1(见 app/src/main/assets/licenses/)。