包含本次会话修复: - iOS clickReady 警告 bug(默认 false 永远显示) - BLE 'handle is invalid' 排查(stale handle auto-retry 实验 + 回退) 项目结构: - glass-mouse/: 眼镜端原生 Kotlin App,前台服务 MouseService + 自定义 BLE GATT 桥接 ProxyBleServer + 无障碍 GestureDescription 注入 - ios/GlassRemote/: iPhone 端 SwiftUI + CoreBluetooth,通过 BLE 直连眼镜 - HTTP 投屏服务(:8000) 接 PPT/WPS 备注宏 POST 推送 技术栈: Android Kotlin (gradle 8.14.4, compileSdk 34), iOS Swift 5.10 (Xcode 26.5)
153 lines
7.3 KiB
Markdown
153 lines
7.3 KiB
Markdown
# INMO Air3 官方 BLE 控制协议 · 逆向分析
|
||
|
||
> 来源:官方伴侣 App `2.0.052-CH_79454350.apk`(项目根目录)
|
||
> 方法:APK 解包 → `.proto` 源码还原 + dex 字符串/字段名挖掘
|
||
> 日期:2026-07-22
|
||
> 状态:**消息格式已 100% 逆向(已编码验证);GATT 特征角色 + 加密细节待实测**
|
||
|
||
---
|
||
|
||
## 一、整体架构(已确认)
|
||
|
||
```
|
||
官方手机 App (控制端) ──BLE GATT(私有)──▶ INMO Air3 眼镜 (Android 14 固件)
|
||
│
|
||
└─ 固件层系统权限注入 (鼠标/按键/文本)
|
||
= 真正的系统级输入,第三方 App 复刻不了
|
||
```
|
||
|
||
- 鼠标/按键指令 = `ControlCommand` protobuf,经 BLE 写入眼镜 GATT **写特征**。
|
||
- 官方 APK **无** `INJECT_EVENTS`/`BIND_INPUT_METHOD` 权限,也**未实际调用** `InputManager.injectInputEvent`/`Instrumentation.sendPointerSync`——它只是构造 protobuf 并发 BLE,注入发生在**眼镜固件层**(系统签名)。
|
||
- 因此第三方 App 想"原生"控眼镜,只有两条路:
|
||
1. 逆向 BLE 协议,直连眼镜发 `ControlCommand`(本文件目标);
|
||
2. 或退而用 AccessibilityService.dispatchGesture(我们眼镜端 App 已实现,受 `canPerformGestures` 限制)。
|
||
|
||
---
|
||
|
||
## 二、GATT 服务结构(已定位,角色待实测)
|
||
|
||
### 候选 UUID(同一 128-bit base `…f69a-11e8-8eb2-f2801f1b9fd1`)
|
||
|
||
```
|
||
e49a25e0-f69a-11e8-8eb2-f2801f1b9fd1
|
||
e49a25f8-f69a-11e8-8eb2-f2801f1b9fd1
|
||
e49a28e1-f69a-11e8-8eb2-f2801f1b9fd1
|
||
```
|
||
|
||
### dex 内确认存在的常量字段名(铁证)
|
||
|
||
```
|
||
BLE_UUID_SERVICE
|
||
BLE_UUID_SERVICE_WRITE ← 手机→眼镜发 ControlCommand
|
||
BLE_UUID_SERVICE_READ ← 眼镜→手机回 ControlResponse(notify)
|
||
UUID_CHAR_WRITE
|
||
UUID_CHAR_READ
|
||
```
|
||
|
||
**结论**:眼镜暴露一个 GATT 服务,含 **WRITE**(发指令)和 **READ/NOTIFY**(收响应)两个特征。上面 3 个 `e49a…` UUID 即 服务 / 写特征 / 读特征(具体哪个是哪个,**需实测确认**,见第五节)。
|
||
|
||
### 其他线索
|
||
- `setCharacteristicNotification` 命中 → 确实有 notify 回传(ControlResponse)。
|
||
- `requestMtu` 命中 → 会协商 MTU,可能 247/512;若 ControlCommand 超 MTU 需分包(按 protobuf 帧切)。
|
||
|
||
---
|
||
|
||
## 三、ControlCommand 消息格式(已 100% 逆向,已编码验证)
|
||
|
||
完整定义见 APK 内 `ControlCommand.proto`。核心:
|
||
|
||
### 顶层 ControlCommand
|
||
```
|
||
ControlCommand {
|
||
CommandType type = 1; // 见枚举
|
||
uint32 type_status = 2;
|
||
bool is_no_open = 3;
|
||
oneof Command {
|
||
CommandMouseEvent mouse_event = 16; // 鼠标
|
||
CommandTouchCtrl touch_ctrl = 13; // 导航键 HOME/MENU/BACK/GO
|
||
CommandChangeMode mode_set = 7; // 切模式
|
||
CommandInputTextEvent input_text = 18;// 文本/KEYCODE
|
||
...
|
||
}
|
||
}
|
||
```
|
||
|
||
### 关键枚举
|
||
- `CommandType`: `MOUSE_CTRL=23`, `TOUCH_CTRL=20`, `CHANGE_MODE=3`, `BACK_INDEX=4`, `HOME_INDEX=5`, `GO_INDEX=7`, `INPUT_TEXT=25`
|
||
- `CommandMouseAction`: `ACTION_DOWN=0`, `ACTION_UP=1`, `ACTION_MOVE=2`, `ACTION_HOVER=3`, `ACTION_SCROLL=5`
|
||
- `CommandMouseEvent{ action, x:float, y:float }` —— **x/y 是 0.0~1.0 的归一化坐标**(不是像素!这点很重要)
|
||
- `CommandTouchCtrl{ key_source, key_code, key_state, systick_ms }`
|
||
- `key_code`: `KEY_CODE_HOME=1`, `KEY_CODE_MENU=2`, `KEY_CODE_BACK=3`, `KEY_CODE_GO=4`
|
||
- `key_state`: `KEY_STATE_PRESS=1`, `KEY_STATE_RELEASE=0`
|
||
- `key_source`: `KEY_SOURCE_APP=1`(我们作为 App 来源)
|
||
|
||
### 可用 Python 编码器
|
||
见同目录 `inmo_proto.py`(纯标准库,手工 protobuf 编码,已自测通过):
|
||
```python
|
||
from inmo_proto import mouse_move, mouse_click, key_press, switch_mouse_mode
|
||
mouse_click(0.5, 0.5) # 返回 [DOWN字节, UP字节]
|
||
key_press(KEY_HOME) # 返回 [PRESS字节, RELEASE字节]
|
||
```
|
||
自测输出示例(鼠标移动到 0.5,0.5):
|
||
```
|
||
08 17 82 01 0c 08 02 15 0000003f 1d 0000003f
|
||
└type=23 └len12 └act=2(MOVE) └x=0.5(float) └y=0.5(float)
|
||
```
|
||
|
||
---
|
||
|
||
## 四、绑定鉴权(第三方直连的最大风险,已确认流程)
|
||
|
||
`BleConnectBind.proto` 定义:手机连上眼镜后需走绑定流程,
|
||
携带 `userAccount`(用户唯一 id)。眼镜回 `BleBindStatusResponse{is_bound, bound_user_id, error_code}`,
|
||
`error_code=1` 表示"已绑定其他账号"。
|
||
|
||
**含义**:眼镜可能只接受**已绑定账号**来源的指令。若如此,第三方直连需先伪造/复用该 `userAccount`,否则 ControlCommand 被拒。是否真正阻塞,需实测(见第五节)。
|
||
|
||
---
|
||
|
||
## 五、待实测确认项(建议用 nRF Connect,比反编译快)
|
||
|
||
| 待确认 | 方法 | 影响 |
|
||
|---|---|---|
|
||
| `e49a25e0/25f8/28e1` 哪个是 service/write/read | **Android 手机装 nRF Connect → 连眼镜 BLE → 看服务/特征 UUID + 属性(WRITE/READ/NOTIFY)** | 决定我们往哪个特征 write |
|
||
| ControlCommand 是否加密 + 密钥 | 抓包对比明文 protobuf 与空中数据;或 jadx 看 `encryptToken`/`secretKey` 派生 | 若加密,第三方直连需先逆向密钥 |
|
||
| 绑定是否阻塞指令 | nRF Connect 连上后直接 write 一个 ControlCommand,看眼镜有无反应 / 回什么 | 决定是否要先过绑定 |
|
||
| 是否需先切 MOUSE_MODE | write `CHANGE_MODE(mode=MOUSE_MODE=2)` 再发鼠标事件试 | 决定指令序列 |
|
||
|
||
### nRF Connect 实测步骤(你有 Android 手机,最快)
|
||
1. 手机关掉已配对的眼镜蓝牙(避免眼镜不可发现),让眼镜进入可发现/配对态。
|
||
2. 手机装 **nRF Connect**,扫描,找 INMO 眼镜设备。
|
||
3. 连接 → 展开 GATT 服务,记录 `e49a…` 三个 UUID 各自属性(WRITE / NOTIFY)。
|
||
4. 在 WRITE 特征用 **Byte/HEX** 模式写入 `mouse_click` 的 DOWN 字节(如 `08 17 82 01 0c 08 00 15 0000003f 1d 0000003f`),看眼镜是否点击。
|
||
- 若动 → 协议通,无加密无绑定阻塞(最佳情况)。
|
||
- 若不动 → 看 NOTIFY 回什么(可能返回 `UNSUPPORTED_CMD`/`INVALID_PARAM` 或绑定错误)。
|
||
|
||
---
|
||
|
||
## 六、实现路径建议
|
||
|
||
### 路径 A:BLE central 中转(推荐原型)
|
||
```
|
||
iPhone 浏览器触摸板 ──WS──▶ Mac(我们写的 bleak 服务) ──BLE──▶ 眼镜原生接收 ControlCommand
|
||
```
|
||
- 复用现有"网络触摸板"思路,把眼镜端 WS 接收器换成 **Mac 上的 BLE central**。
|
||
- 眼镜**无需装任何 App**,系统原生处理鼠标/按键(绕过无障碍限制)。
|
||
- 需要:上述 UUID/加密/绑定全部确认 + Mac BLE 可用(本机沙箱 BLE 受限,需在你本机跑)。
|
||
|
||
### 路径 B:iPhone CoreBluetooth 直连
|
||
- 写极简 iOS App 用 CoreBluetooth 连眼镜发 ControlCommand。
|
||
- 最"干净"但需 iOS 开发 + 签名,工作量最大。
|
||
|
||
### 路径 C:维持现状(WS + 无障碍)
|
||
- 我们眼镜端 App 已实现,修 `canPerformGestures` 后应可用。
|
||
- 最快见效,但点击依赖无障碍(部分 ROM 受限)。
|
||
|
||
---
|
||
|
||
## 七、当前结论
|
||
- **消息格式**:已完全逆向,编码器可用,可直接构造眼镜识别的指令。
|
||
- **GATT 服务**:已定位(service+write+read 三特征,UUID 候选已知)。
|
||
- **最大未知**:绑定鉴权是否阻塞 + 传输是否加密 —— 这两道坎决定"直连"是否可行。
|
||
- **下一步**:用 nRF Connect 在你 Android 手机上 5 分钟实测确认 UUID 角色与是否加密/绑定阻塞,再决定走路径 A 还是维持路径 C。
|