包含本次会话修复: - iOS clickReady 警告 bug(默认 false 永远显示) - BLE 'handle is invalid' 排查(stale handle auto-retry 实验 + 回退) 项目结构: - glass-mouse/: 眼镜端原生 Kotlin App,前台服务 MouseService + 自定义 BLE GATT 桥接 ProxyBleServer + 无障碍 GestureDescription 注入 - ios/GlassRemote/: iPhone 端 SwiftUI + CoreBluetooth,通过 BLE 直连眼镜 - HTTP 投屏服务(:8000) 接 PPT/WPS 备注宏 POST 推送 技术栈: Android Kotlin (gradle 8.14.4, compileSdk 34), iOS Swift 5.10 (Xcode 26.5)
10 KiB
10 KiB
GlassMouse —— 蓝牙遥控智能眼镜(iPhone BLE 遥控 + PPT 备注投屏)
绕过 INMO 官方「仅 Android 手机伴侣可做鼠标/投屏」的限制:在眼镜端装一个原生接收 App, iPhone 用 GlassRemote(BLE) 直连遥控;PPT 演讲备注由 Mac(WPS/PowerPoint 宏)经 HTTP 推到眼镜投屏。 无需 root、无需 Mac、无需网页。
一、项目简介
INMO Air3 官方手机伴侣的「模拟鼠标 / 文字投屏」只在 Android 版可用(私有 BLE / MediaProjection)。
难点「把指令变成眼镜真实输入」发生在眼镜端(Android),所以眼镜上有一个原生接收器即可。
- 遥控 / 投屏长文本:iPhone 原生 App GlassRemote 走 BLE 直连(绕开 INMO 绑定墙),低延迟。
- PPT 备注投屏:Mac 上 WPS/PowerPoint 放映时,宏把当前页备注
POST到眼镜:8000,眼镜全屏自动滚动显示(提词)。 - 本项目「文字投屏」是把一段文本从外部推到眼镜屏幕全屏显示,不是镜像 iPhone 整屏(受 iOS 限制做不到)。
二、架构
iPhone(GlassRemote App) ──BLE GATT A9E0ABCD…──▶ ProxyBleServer ──▶ handleCommand
│ (控制指令 + 投屏长文本分片发送)
▼
眼镜 App 前台服务(MouseService)
├─ 悬浮光标(可隐藏,需悬浮窗权限)
├─ 文字投屏(全屏 Activity:翻页大字 / 自动滚动三行跳)
├─ 无障碍服务注入 点击/主页/返回(可选)
└─ Camera2 拍照存相册(可选)
Mac(WPS/PowerPoint 宏) ──http POST :8000/ppt/remark──▶ HttpRemoteServer ──▶ 投屏(自动滚动提词)
- 主通道(遥控):BLE。iPhone GlassRemote 走自定义 GATT(UUID
A9E0ABCD-0000-1000-8000-00805F9B34FB),命令 JSON 与旧 WS 协议完全一致,由ProxyBleServer重组分片后交handleCommand。 - PPT 投屏通道:HTTP
:8000仅接收POST /ppt/remark({pageNum, remark}),回调投屏层自动滚动显示;GET /仅返回一个小状态页(含「眼镜控制器」标识,方便手动扫网段定位眼镜)。 - 已移除(网络版遥控):Safari 网页遥控器(
remote.html)、WebSocket:8080命令服务、密码鉴权、mDNS 发现。统一由 BLE 替代。 - 全程不经任何云端。
三、目录结构
glass-mouse/
├── android/ # 眼镜端 Kotlin App(Gradle,compileSdk 34 / minSdk 24 / Java 17)
│ └── app/src/main/
│ ├── java/com/glass/mouse/
│ │ ├── MainActivity.kt # 主界面 + 投屏显示(翻页大字/自动滚动) + 显示 BLE 状态与 WiFi IP
│ │ ├── MouseService.kt # 核心:前台服务 + 命令分发 + 光标/拍照/投屏调度 + IP 刷新
│ │ ├── GlassMouseService.kt # 无障碍服务:点击/主页/返回注入(可选)
│ │ ├── GlassCamera.kt # Camera2 抓拍存相册 Pictures/GlassMouse/
│ │ ├── HttpRemoteServer.kt # :8000 仅接收 POST /ppt/remark(PPT 投屏)
│ │ └── ProxyBleServer.kt # BLE GATT 桥接(主遥控通道)
│ └── res/layout/activity_main.xml # 启动页(BLE 状态 + 本机 IP)+ 投屏层
├── docs/
│ ├── ble_protocol.md # 早期 BLE 协议逆向研究
│ └── ble_probe_guide.md # BLE 探测笔记
├── macros/
│ ├── ppt-remark-macro.bas # PowerPoint VBA 宏(备注→眼镜投屏)
│ └── ppt-remark-macro-wps.js # WPS JS 宏(备注→眼镜投屏)
├── scripts/ # Python 辅助脚本(参考 / 备用)
│ ├── ble_proxy.py # Mac 端通过 BLE 桥接发命令
│ ├── ble_bind_pyobjc.py / ble_diag.py / ble_scan.py # BLE 探测/绑定/扫描
│ ├── ws_probe.py / test_ws_server.py # ⚠️ 已弃用(网络版 WS 已移除)
│ ├── inmo_proto.py # INMO 协议解析
│ └── _*.py # 早期逆向/破解/字符串提取脚本(归档参考)
├── download/app-debug.apk # 已编译 debug 包(侧载到眼镜),实际位于仓库根目录 download/
└── README.md
四、功能清单
| 功能 | 说明 |
|---|---|
| 光标控制 | 触摸板相对移动;「滚动」开关下上下滑=滚动;「光标:开/关」可隐藏悬浮圈 |
| 点击 / 导航 | 触摸板轻点=点击;系统导航键(返回/主页/最近)经无障碍注入 |
| 拍照 | Camera2 抓拍(眼镜前向摄像头),存 Pictures/GlassMouse/ |
| 文字投屏·翻页模式 | 整页粗体大字、四周 10% 黑边、屏幕常亮 |
| 文字投屏·自动滚动 | 全文粗体、光标自动移到最右侧;间隔跳三行(非平滑);10 档速度(最慢 20s/三行、最快 5s/三行、默认≈10s);到末尾循环 |
| PPT 备注投屏 | Mac WPS/PowerPoint 放映时,宏 POST 当前页备注 → 眼镜自动滚动提词 |
| 投屏常亮 | 投屏期间 FLAG_KEEP_SCREEN_ON,关闭后恢复自动熄屏 |
五、通信协议(JSON over BLE,复用同一 handleCommand)
iPhone → 眼镜(经 BLE 分片重组后):
{"type":"mouse","action":"move","dx":5,"dy":-3} // 相对移动光标
{"type":"mouse","action":"click"} // 在光标处点按
{"type":"mouse","action":"scroll","dy":-50} // 滚动(负=上)
{"type":"key","action":"home"|"back"|"recent"} // 系统导航键
{"type":"cursor","visible":false} // 隐藏/显示悬浮光标
{"type":"text","content":"要投屏的文字…"} // 翻页模式:整页大字显示
{"type":"text","action":"close"} // 关闭投屏
{"type":"text","action":"auto_scroll","content":"…","speed":7} // 自动滚动(三行跳),speed=档位1..10
{"type":"text","action":"stop_scroll"} // 暂停滚动(保留位置)
{"type":"text","action":"resume_scroll"} // 继续滚动
{"type":"text","action":"set_speed","speed":7} // 运行中实时调速
{"type":"camera","action":"capture"} // 拍照
{"type":"sys","action":"ip"} // 查询本机 WiFi IP(回传供 PPT 宏参考)
眼镜 → iPhone(经 BLE 通知 bleAckSink):
{"type":"ack","action":"click","result":"ok"|"no_instance","x":..,"y":..}
{"type":"ack","action":"cast","result":"ok"|"paused"|"resumed"|"app_not_foreground"}
{"type":"ack","action":"camera","result":"ok"|"no_camera_permission"|"open_error"}
{"type":"ack","action":"ip","result":"ok","ip":"192.168.1.x"}
点击结果:
ok=已注入;no_instance=未开无障碍服务(重装后系统会重置,需去眼镜「设置→无障碍→GlassMouse」重新开启)。
六、PPT 备注投屏(Mac WPS / PowerPoint)
- 宏文件:
macros/ppt-remark-macro-wps.js(WPS JS 宏)或macros/ppt-remark-macro.bas(PowerPoint VBA)。 - 工作原理:放映翻页时,宏读取当前页「备注」,向
http://<眼镜IP>:8000/ppt/remark发送{"pageNum":N,"remark":"…"};眼镜收到后全屏自动滚动显示(演讲提词)。 - 眼镜屏显本机 IP,手填进宏顶部
GLASS_IP常量(IP 随路由器变,变了改一行重填)。 pageNum==0视作演示结束,自动收起投屏。
七、构建与部署
前置:Android SDK(compileSdk 34)、JDK 17、Gradle 8.14+。
cd glass-mouse/android
gradle assembleDebug --no-daemon # 或 ./gradlew
# 产物:android/app/build/outputs/apk/debug/app-debug.apk
# 复制到仓库根 download/app-debug.apk 供侧载
adb install -r app-debug.apk # 侧载到眼镜(需 USB 调试)
依赖:无第三方库(BLE 用 Android BluetoothGatt,HTTP 用 ServerSocket,均原生 API)。
八、使用指南
- 安装:把
download/app-debug.apk(或自编译包)侧载到眼镜,打开 GlassMouse App。 - iPhone 遥控:Mac 上用 Xcode(免费 Apple ID 签名)跑
ios/GlassRemote,数据线装到 iPhone; 打开 GlassRemote,BLE 连眼镜(设备名INMO AIR3 …)。 - PPT 投屏:Mac 打开 WPS/PowerPoint,把对应宏粘进 VBA/JS 宏编辑器,宏顶部
GLASS_IP填眼镜屏显示的 IP; 放映时每翻一页,备注自动滚到眼镜上。 - 眼镜主界面显示:BLE 连接状态 + 本机 WiFi IP(供 PPT 宏手填)。
⚠️ 每次重装 APK 后,系统会重置无障碍服务为关闭 → 点击/返回失效。去眼镜「设置 → 无障碍 → GlassMouse」重新开启,约 3 秒恢复。
九、安全
- 遥控走 BLE(近场、需物理邻近),不经网络,无云端。
- PPT 投屏 HTTP
:8000仅接受同网段POST /ppt/remark,无鉴权(同 WiFi 均为自己人);不暴露任何控制指令。
十、已知问题 / 排查
| 现象 | 原因 / 处理 |
|---|---|
| 能移动光标但不能点击 | 无障碍被重置 → 眼镜「设置→无障碍→GlassMouse」重开 |
| PPT 备注没上屏 | 宏 GLASS_IP 与眼镜屏 IP 不一致 / 眼镜 App 未在前台 / 同 WiFi |
| 拍照返回红字 | 多为未授权相机(装后首次允许)或相机被占用 |
| BLE 连不上 | 眼镜 App 在前台;iPhone 蓝牙开;设备名 INMO AIR3 … |
十一、Python 辅助脚本(参考 / 备用,均在 scripts/ 目录)
scripts/ble_proxy.py:Mac 端通过 BLE 桥接发命令(需pyobjc+bleak)。scripts/ble_bind_pyobjc.py/scripts/ble_diag.py/scripts/ble_scan.py:早期 BLE 探测、绑定、扫描。scripts/ws_probe.py/scripts/test_ws_server.py:已弃用(网络版 WebSocket 已移除)。docs/ble_protocol.md/docs/ble_probe_guide.md:INMO 官方 BLE GATT 逆向研究笔记。
项目记忆见 .workbuddy/memory/(按日期日志 + MEMORY.md 长期笔记)。