Files
glass/glass-mouse/docs/ble_protocol.md
T
admin 2840e82685 Initial commit: Android GlassMouse + iOS GlassRemote 智能眼镜遥控项目
包含本次会话修复:
- iOS clickReady 警告 bug(默认 false 永远显示)
- BLE 'handle is invalid' 排查(stale handle auto-retry 实验 + 回退)

项目结构:
- glass-mouse/: 眼镜端原生 Kotlin App,前台服务 MouseService + 自定义 BLE GATT 桥接 ProxyBleServer + 无障碍 GestureDescription 注入
- ios/GlassRemote/: iPhone 端 SwiftUI + CoreBluetooth,通过 BLE 直连眼镜
- HTTP 投屏服务(:8000) 接 PPT/WPS 备注宏 POST 推送

技术栈: Android Kotlin (gradle 8.14.4, compileSdk 34), iOS Swift 5.10 (Xcode 26.5)
2026-08-26 10:34:23 +08:00

153 lines
7.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# INMO Air3 官方 BLE 控制协议 · 逆向分析
> 来源:官方伴侣 App `2.0.052-CH_79454350.apk`(项目根目录)
> 方法:APK 解包 → `.proto` 源码还原 + dex 字符串/字段名挖掘
> 日期:2026-07-22
> 状态:**消息格式已 100% 逆向(已编码验证);GATT 特征角色 + 加密细节待实测**
---
## 一、整体架构(已确认)
```
官方手机 App (控制端) ──BLE GATT(私有)──▶ INMO Air3 眼镜 (Android 14 固件)
│
└─ 固件层系统权限注入 (鼠标/按键/文本)
= 真正的系统级输入,第三方 App 复刻不了
```
- 鼠标/按键指令 = `ControlCommand` protobuf,经 BLE 写入眼镜 GATT **写特征**。
- 官方 APK **无** `INJECT_EVENTS`/`BIND_INPUT_METHOD` 权限,也**未实际调用** `InputManager.injectInputEvent`/`Instrumentation.sendPointerSync`——它只是构造 protobuf 并发 BLE,注入发生在**眼镜固件层**(系统签名)。
- 因此第三方 App 想"原生"控眼镜,只有两条路:
1. 逆向 BLE 协议,直连眼镜发 `ControlCommand`(本文件目标);
2. 或退而用 AccessibilityService.dispatchGesture(我们眼镜端 App 已实现,受 `canPerformGestures` 限制)。
---
## 二、GATT 服务结构(已定位,角色待实测)
### 候选 UUID(同一 128-bit base `…f69a-11e8-8eb2-f2801f1b9fd1`)
```
e49a25e0-f69a-11e8-8eb2-f2801f1b9fd1
e49a25f8-f69a-11e8-8eb2-f2801f1b9fd1
e49a28e1-f69a-11e8-8eb2-f2801f1b9fd1
```
### dex 内确认存在的常量字段名(铁证)
```
BLE_UUID_SERVICE
BLE_UUID_SERVICE_WRITE ← 手机→眼镜发 ControlCommand
BLE_UUID_SERVICE_READ ← 眼镜→手机回 ControlResponse(notify)
UUID_CHAR_WRITE
UUID_CHAR_READ
```
**结论**:眼镜暴露一个 GATT 服务,含 **WRITE**(发指令)和 **READ/NOTIFY**(收响应)两个特征。上面 3 个 `e49a…` UUID 即 服务 / 写特征 / 读特征(具体哪个是哪个,**需实测确认**,见第五节)。
### 其他线索
- `setCharacteristicNotification` 命中 → 确实有 notify 回传(ControlResponse)。
- `requestMtu` 命中 → 会协商 MTU,可能 247/512;若 ControlCommand 超 MTU 需分包(按 protobuf 帧切)。
---
## 三、ControlCommand 消息格式(已 100% 逆向,已编码验证)
完整定义见 APK 内 `ControlCommand.proto`。核心:
### 顶层 ControlCommand
```
ControlCommand {
CommandType type = 1; // 见枚举
uint32 type_status = 2;
bool is_no_open = 3;
oneof Command {
CommandMouseEvent mouse_event = 16; // 鼠标
CommandTouchCtrl touch_ctrl = 13; // 导航键 HOME/MENU/BACK/GO
CommandChangeMode mode_set = 7; // 切模式
CommandInputTextEvent input_text = 18;// 文本/KEYCODE
...
}
}
```
### 关键枚举
- `CommandType`: `MOUSE_CTRL=23`, `TOUCH_CTRL=20`, `CHANGE_MODE=3`, `BACK_INDEX=4`, `HOME_INDEX=5`, `GO_INDEX=7`, `INPUT_TEXT=25`
- `CommandMouseAction`: `ACTION_DOWN=0`, `ACTION_UP=1`, `ACTION_MOVE=2`, `ACTION_HOVER=3`, `ACTION_SCROLL=5`
- `CommandMouseEvent{ action, x:float, y:float }` —— **x/y 是 0.0~1.0 的归一化坐标**(不是像素!这点很重要)
- `CommandTouchCtrl{ key_source, key_code, key_state, systick_ms }`
- `key_code`: `KEY_CODE_HOME=1`, `KEY_CODE_MENU=2`, `KEY_CODE_BACK=3`, `KEY_CODE_GO=4`
- `key_state`: `KEY_STATE_PRESS=1`, `KEY_STATE_RELEASE=0`
- `key_source`: `KEY_SOURCE_APP=1`(我们作为 App 来源)
### 可用 Python 编码器
见同目录 `inmo_proto.py`(纯标准库,手工 protobuf 编码,已自测通过):
```python
from inmo_proto import mouse_move, mouse_click, key_press, switch_mouse_mode
mouse_click(0.5, 0.5) # 返回 [DOWN字节, UP字节]
key_press(KEY_HOME) # 返回 [PRESS字节, RELEASE字节]
```
自测输出示例(鼠标移动到 0.5,0.5):
```
08 17 82 01 0c 08 02 15 0000003f 1d 0000003f
└type=23 └len12 └act=2(MOVE) └x=0.5(float) └y=0.5(float)
```
---
## 四、绑定鉴权(第三方直连的最大风险,已确认流程)
`BleConnectBind.proto` 定义:手机连上眼镜后需走绑定流程,
携带 `userAccount`(用户唯一 id)。眼镜回 `BleBindStatusResponse{is_bound, bound_user_id, error_code}`,
`error_code=1` 表示"已绑定其他账号"。
**含义**:眼镜可能只接受**已绑定账号**来源的指令。若如此,第三方直连需先伪造/复用该 `userAccount`,否则 ControlCommand 被拒。是否真正阻塞,需实测(见第五节)。
---
## 五、待实测确认项(建议用 nRF Connect,比反编译快)
| 待确认 | 方法 | 影响 |
|---|---|---|
| `e49a25e0/25f8/28e1` 哪个是 service/write/read | **Android 手机装 nRF Connect → 连眼镜 BLE → 看服务/特征 UUID + 属性(WRITE/READ/NOTIFY)** | 决定我们往哪个特征 write |
| ControlCommand 是否加密 + 密钥 | 抓包对比明文 protobuf 与空中数据;或 jadx 看 `encryptToken`/`secretKey` 派生 | 若加密,第三方直连需先逆向密钥 |
| 绑定是否阻塞指令 | nRF Connect 连上后直接 write 一个 ControlCommand,看眼镜有无反应 / 回什么 | 决定是否要先过绑定 |
| 是否需先切 MOUSE_MODE | write `CHANGE_MODE(mode=MOUSE_MODE=2)` 再发鼠标事件试 | 决定指令序列 |
### nRF Connect 实测步骤(你有 Android 手机,最快)
1. 手机关掉已配对的眼镜蓝牙(避免眼镜不可发现),让眼镜进入可发现/配对态。
2. 手机装 **nRF Connect**,扫描,找 INMO 眼镜设备。
3. 连接 → 展开 GATT 服务,记录 `e49a…` 三个 UUID 各自属性(WRITE / NOTIFY)。
4. 在 WRITE 特征用 **Byte/HEX** 模式写入 `mouse_click` 的 DOWN 字节(如 `08 17 82 01 0c 08 00 15 0000003f 1d 0000003f`),看眼镜是否点击。
- 若动 → 协议通,无加密无绑定阻塞(最佳情况)。
- 若不动 → 看 NOTIFY 回什么(可能返回 `UNSUPPORTED_CMD`/`INVALID_PARAM` 或绑定错误)。
---
## 六、实现路径建议
### 路径 A:BLE central 中转(推荐原型)
```
iPhone 浏览器触摸板 ──WS──▶ Mac(我们写的 bleak 服务) ──BLE──▶ 眼镜原生接收 ControlCommand
```
- 复用现有"网络触摸板"思路,把眼镜端 WS 接收器换成 **Mac 上的 BLE central**。
- 眼镜**无需装任何 App**,系统原生处理鼠标/按键(绕过无障碍限制)。
- 需要:上述 UUID/加密/绑定全部确认 + Mac BLE 可用(本机沙箱 BLE 受限,需在你本机跑)。
### 路径 B:iPhone CoreBluetooth 直连
- 写极简 iOS App 用 CoreBluetooth 连眼镜发 ControlCommand。
- 最"干净"但需 iOS 开发 + 签名,工作量最大。
### 路径 C:维持现状(WS + 无障碍)
- 我们眼镜端 App 已实现,修 `canPerformGestures` 后应可用。
- 最快见效,但点击依赖无障碍(部分 ROM 受限)。
---
## 七、当前结论
- **消息格式**:已完全逆向,编码器可用,可直接构造眼镜识别的指令。
- **GATT 服务**:已定位(service+write+read 三特征,UUID 候选已知)。
- **最大未知**:绑定鉴权是否阻塞 + 传输是否加密 —— 这两道坎决定"直连"是否可行。
- **下一步**:用 nRF Connect 在你 Android 手机上 5 分钟实测确认 UUID 角色与是否加密/绑定阻塞,再决定走路径 A 还是维持路径 C。