Files
glass/glass-mouse
adminandClaude Opus 4.8 b8cfb58e96 feat(glass+ios): 新增音量/亮度调节 + 眼镜状态回读 + 亮度授权引导
- 眼镜端 MouseService: 新增 volume/brightness/status/grant_write_settings 命令, adjustVolume/adjustBrightness(currentBrightness 走 Settings.System), 亮度依赖 WRITE_SETTINGS

- AndroidManifest: 声明 WRITE_SETTINGS 特殊权限(需眼镜手动授予一次)

- iOS GlassBLEManager: volumeUp/Down brightnessUp/Down queryStatus, 新增 glassVolume/Brightness/WriteSettings 等 @Published 状态, brightness no_permission 纠正

- ControlView: 音量/亮度 avBar + 未授权引导条, 链路 ready 时回读眼镜状态纠正 UI

Co-Authored-By: Claude Opus 4.8 <[email protected]>
2026-09-17 19:11:11 +08:00
..

GlassMouse —— 蓝牙遥控智能眼镜(iPhone BLE 遥控 + PPT 备注投屏)

绕过 INMO 官方「仅 Android 手机伴侣可做鼠标/投屏」的限制:在眼镜端装一个原生接收 App, iPhone 用 GlassRemote(BLE) 直连遥控;PPT 演讲备注由 Mac(WPS/PowerPoint 宏)经 HTTP 推到眼镜投屏。 无需 root、无需 Mac、无需网页。

一、项目简介

INMO Air3 官方手机伴侣的「模拟鼠标 / 文字投屏」只在 Android 版可用(私有 BLE / MediaProjection)。 难点「把指令变成眼镜真实输入」发生在眼镜端(Android),所以眼镜上有一个原生接收器即可。

  • 遥控 / 投屏长文本:iPhone 原生 App GlassRemote 走 BLE 直连(绕开 INMO 绑定墙),低延迟。
  • PPT 备注投屏:Mac 上 WPS/PowerPoint 放映时,宏把当前页备注 POST 到眼镜 :8000,眼镜全屏自动滚动显示(提词)。
  • 本项目「文字投屏」是把一段文本从外部推到眼镜屏幕全屏显示,不是镜像 iPhone 整屏(受 iOS 限制做不到)。

二、架构

iPhone(GlassRemote App) ──BLE GATT A9E0ABCD…──▶ ProxyBleServer ──▶ handleCommand
        │  (控制指令 + 投屏长文本分片发送)
        ▼
  眼镜 App 前台服务(MouseService)
        ├─ 悬浮光标(可隐藏,需悬浮窗权限)
        ├─ 文字投屏(全屏 Activity:翻页大字 / 自动滚动三行跳)
        ├─ 无障碍服务注入 点击/主页/返回(可选)
        └─ Camera2 拍照存相册(可选)

Mac(WPS/PowerPoint 宏) ──http POST :8000/ppt/remark──▶ HttpRemoteServer ──▶ 投屏(自动滚动提词)
  • 主通道(遥控):BLE。iPhone GlassRemote 走自定义 GATT(UUID A9E0ABCD-0000-1000-8000-00805F9B34FB),命令 JSON 与旧 WS 协议完全一致,由 ProxyBleServer 重组分片后交 handleCommand。
  • PPT 投屏通道:HTTP :8000 仅接收 POST /ppt/remark({pageNum, remark}),回调投屏层自动滚动显示;GET / 仅返回一个小状态页(含「眼镜控制器」标识,方便手动扫网段定位眼镜)。
  • 已移除(网络版遥控):Safari 网页遥控器(remote.html)、WebSocket :8080 命令服务、密码鉴权、mDNS 发现。统一由 BLE 替代。
  • 全程不经任何云端。

三、目录结构

glass-mouse/
├── android/                          # 眼镜端 Kotlin App(Gradle,compileSdk 34 / minSdk 24 / Java 17)
│   └── app/src/main/
│       ├── java/com/glass/mouse/
│       │   ├── MainActivity.kt       # 主界面 + 投屏显示(翻页大字/自动滚动) + 显示 BLE 状态与 WiFi IP
│       │   ├── MouseService.kt       # 核心:前台服务 + 命令分发 + 光标/拍照/投屏调度 + IP 刷新
│       │   ├── GlassMouseService.kt  # 无障碍服务:点击/主页/返回注入(可选)
│       │   ├── GlassCamera.kt        # Camera2 抓拍存相册 Pictures/GlassMouse/
│       │   ├── HttpRemoteServer.kt   # :8000 仅接收 POST /ppt/remark(PPT 投屏)
│       │   └── ProxyBleServer.kt     # BLE GATT 桥接(主遥控通道)
│       └── res/layout/activity_main.xml  # 启动页(BLE 状态 + 本机 IP)+ 投屏层
├── docs/
│   ├── ble_protocol.md               # 早期 BLE 协议逆向研究
│   └── ble_probe_guide.md            # BLE 探测笔记
├── macros/
│   ├── ppt-remark-macro.bas          # PowerPoint VBA 宏(备注→眼镜投屏)
│   └── ppt-remark-macro-wps.js       # WPS JS 宏(备注→眼镜投屏)
├── scripts/                          # Python 辅助脚本(参考 / 备用)
│   ├── ble_proxy.py                  # Mac 端通过 BLE 桥接发命令
│   ├── ble_bind_pyobjc.py / ble_diag.py / ble_scan.py  # BLE 探测/绑定/扫描
│   ├── ws_probe.py / test_ws_server.py  # ⚠️ 已弃用(网络版 WS 已移除)
│   ├── inmo_proto.py                 # INMO 协议解析
│   └── _*.py                         # 早期逆向/破解/字符串提取脚本(归档参考)
├── download/app-debug.apk            # 已编译 debug 包(侧载到眼镜),实际位于仓库根目录 download/
└── README.md

四、功能清单

功能 说明
光标控制 触摸板相对移动;「滚动」开关下上下滑=滚动;「光标:开/关」可隐藏悬浮圈
点击 / 导航 触摸板轻点=点击;系统导航键(返回/主页/最近)经无障碍注入
拍照 Camera2 抓拍(眼镜前向摄像头),存 Pictures/GlassMouse/
文字投屏·翻页模式 整页粗体大字、四周 10% 黑边、屏幕常亮
文字投屏·自动滚动 全文粗体、光标自动移到最右侧;间隔跳三行(非平滑);10 档速度(最慢 20s/三行、最快 5s/三行、默认≈10s);到末尾循环
PPT 备注投屏 Mac WPS/PowerPoint 放映时,宏 POST 当前页备注 → 眼镜自动滚动提词
投屏常亮 投屏期间 FLAG_KEEP_SCREEN_ON,关闭后恢复自动熄屏

五、通信协议(JSON over BLE,复用同一 handleCommand)

iPhone → 眼镜(经 BLE 分片重组后):

{"type":"mouse","action":"move","dx":5,"dy":-3}             // 相对移动光标
{"type":"mouse","action":"click"}                            // 在光标处点按
{"type":"mouse","action":"scroll","dy":-50}                 // 滚动(负=上)
{"type":"key","action":"home"|"back"|"recent"}              // 系统导航键
{"type":"cursor","visible":false}                           // 隐藏/显示悬浮光标

{"type":"text","content":"要投屏的文字…"}                   // 翻页模式:整页大字显示
{"type":"text","action":"close"}                            // 关闭投屏
{"type":"text","action":"auto_scroll","content":"…","speed":7}  // 自动滚动(三行跳),speed=档位1..10
{"type":"text","action":"stop_scroll"}                      // 暂停滚动(保留位置)
{"type":"text","action":"resume_scroll"}                    // 继续滚动
{"type":"text","action":"set_speed","speed":7}              // 运行中实时调速

{"type":"camera","action":"capture"}                        // 拍照
{"type":"sys","action":"ip"}                                // 查询本机 WiFi IP(回传供 PPT 宏参考)

眼镜 → iPhone(经 BLE 通知 bleAckSink):

{"type":"ack","action":"click","result":"ok"|"no_instance","x":..,"y":..}
{"type":"ack","action":"cast","result":"ok"|"paused"|"resumed"|"app_not_foreground"}
{"type":"ack","action":"camera","result":"ok"|"no_camera_permission"|"open_error"}
{"type":"ack","action":"ip","result":"ok","ip":"192.168.1.x"}

点击结果:ok=已注入;no_instance=未开无障碍服务(重装后系统会重置,需去眼镜「设置→无障碍→GlassMouse」重新开启)。

六、PPT 备注投屏(Mac WPS / PowerPoint)

  • 宏文件:macros/ppt-remark-macro-wps.js(WPS JS 宏)或 macros/ppt-remark-macro.bas(PowerPoint VBA)。
  • 工作原理:放映翻页时,宏读取当前页「备注」,向 http://<眼镜IP>:8000/ppt/remark 发送 {"pageNum":N,"remark":"…"};眼镜收到后全屏自动滚动显示(演讲提词)。
  • 眼镜屏显本机 IP,手填进宏顶部 GLASS_IP 常量(IP 随路由器变,变了改一行重填)。
  • pageNum==0 视作演示结束,自动收起投屏。

七、构建与部署

前置:Android SDK(compileSdk 34)、JDK 17、Gradle 8.14+。

cd glass-mouse/android
gradle assembleDebug --no-daemon        # 或 ./gradlew
# 产物:android/app/build/outputs/apk/debug/app-debug.apk
# 复制到仓库根 download/app-debug.apk 供侧载
adb install -r app-debug.apk            # 侧载到眼镜(需 USB 调试)

依赖:无第三方库(BLE 用 Android BluetoothGatt,HTTP 用 ServerSocket,均原生 API)。

八、使用指南

  1. 安装:把 download/app-debug.apk(或自编译包)侧载到眼镜,打开 GlassMouse App。
  2. iPhone 遥控:Mac 上用 Xcode(免费 Apple ID 签名)跑 ios/GlassRemote,数据线装到 iPhone; 打开 GlassRemote,BLE 连眼镜(设备名 INMO AIR3 …)。
  3. PPT 投屏:Mac 打开 WPS/PowerPoint,把对应宏粘进 VBA/JS 宏编辑器,宏顶部 GLASS_IP 填眼镜屏显示的 IP; 放映时每翻一页,备注自动滚到眼镜上。
  4. 眼镜主界面显示:BLE 连接状态 + 本机 WiFi IP(供 PPT 宏手填)。

⚠️ 每次重装 APK 后,系统会重置无障碍服务为关闭 → 点击/返回失效。去眼镜「设置 → 无障碍 → GlassMouse」重新开启,约 3 秒恢复。

九、安全

  • 遥控走 BLE(近场、需物理邻近),不经网络,无云端。
  • PPT 投屏 HTTP :8000 仅接受同网段 POST /ppt/remark,无鉴权(同 WiFi 均为自己人);不暴露任何控制指令。

十、已知问题 / 排查

现象 原因 / 处理
能移动光标但不能点击 无障碍被重置 → 眼镜「设置→无障碍→GlassMouse」重开
PPT 备注没上屏 宏 GLASS_IP 与眼镜屏 IP 不一致 / 眼镜 App 未在前台 / 同 WiFi
拍照返回红字 多为未授权相机(装后首次允许)或相机被占用
BLE 连不上 眼镜 App 在前台;iPhone 蓝牙开;设备名 INMO AIR3 …

十一、Python 辅助脚本(参考 / 备用,均在 scripts/ 目录)

  • scripts/ble_proxy.py:Mac 端通过 BLE 桥接发命令(需 pyobjc + bleak)。
  • scripts/ble_bind_pyobjc.py / scripts/ble_diag.py / scripts/ble_scan.py:早期 BLE 探测、绑定、扫描。
  • scripts/ws_probe.py / scripts/test_ws_server.py:已弃用(网络版 WebSocket 已移除)。
  • docs/ble_protocol.md / docs/ble_probe_guide.md:INMO 官方 BLE GATT 逆向研究笔记。

项目记忆见 .workbuddy/memory/(按日期日志 + MEMORY.md 长期笔记)。