feat: 激活 mic 延后到 role 判定通过后
影响 - 鼠标按到非输入框(空白桌面 / Finder)长按时,菜单栏 mic 图标不再亮起; mic 路由只在 AX role 判定通过后(确认是输入框)才激活。 改动 - src/xtype.swift - ASREngine protocol 新增 armRecording(),prepare() 注释改为「不碰 mic 路由」 - AppleEngine.prepare() 拆走 installTap + engine.start,新方法 armRecording() 接管(单 apple 分支) - XunfeiEngine.prepare() 拆走 installTap + engine.start,新方法 armRecording() 接管 - AppleLLMEngine / DualEngine 新增 armRecording() 转发(dual 模式下 apple.useSharedTap=true 内部 no-op,xunfei 是 mic 唯一启动入口) - AppleEngine.cancel() 加 if engine.isRunning 守卫,避免 armRecording 没跑过的部分状态 stop() 打 warning - 长按 thread startRec() 在 Engine.ready check 之后插入 Engine.current.armRecording() 异步调用 - AGENTS.md - 补 line 7(已存在,随会话合入):Swift 不接 ObjC NSException,新增 ObjC API 必须经 XTObjCRun 桥接 - 核心设计 +2 条:ObjCBridge 通用 helper、Dual 模式 AVAudioEngine 共享 Co-Authored-By: Claude Code <[email protected]>
This commit is contained in:
1 parent
dd0d1b4e74
commit
d6861f34fd
2 files changed
+52
-13
No files matched your search
@@ -5,7 +5,9 @@ macOS 工具:**长按鼠标左键 → 说话 → 松开自动粘贴到光标处*
|
||||
## 布局
|
||||
|
||||
```
|
||||
src/xtype.swift 全部源码(单文件探针,~330 行)
|
||||
src/xtype.swift 全部源码(主程序)
|
||||
src/ObjCBridge.h ObjC NSException 桥接头(供 xtype.swift -import-objc-header)
|
||||
src/ObjCBridge.m ObjC @try/@catch 实现,必须 swiftc 一同编译
|
||||
src/Info.plist app 包描述(权限声明)
|
||||
src/build.sh 构建+签名+安装+重启一条龙
|
||||
docs/xtype/ 详细文档(用法/架构/踩坑)
|
||||
@@ -53,6 +55,7 @@ model=GLM-5.3-Flash
|
||||
4. **长按状态机:一次按下只判定一次**(激活/跳过后进 `.dead`,松开才复位)。打回 idle 会在按住期间循环重启录音引擎(已踩过)。
|
||||
5. **讯飞凭据永不落盘**:源码/git/日志/argv/历史都不能出现 APPID/APISecret/APIKey 明文。运行时统一经 `xop run --secret KEY=xf_xt_* -- open ...` 注入到 `ProcessInfo.processInfo.environment["XUNFEI_*"]`。引擎拿到空 env 时**直接报错退出**,不静默回退 apple(避免"以为用了讯飞结果识别差"的误判)。
|
||||
6. **LLM 凭据明文存于 `~/ssw.ini`**(用户偏好,不进 xop);`key` 字段不进源码/git/日志。LLM 失败/超时/未配 → 保留 Apple 原文,不静默丢弃。
|
||||
7. **Swift 不接 ObjC NSException**:所有可能抛 NSException 的 ObjC API 必须经 `src/ObjCBridge.h/.m` 桥接(`XTObjCTryInstallTap` / `XTObjCRun`)。Swift 直接调会 SIGSEGV(EXC_BAD_ACCESS 0xD,`_Unwind_RaiseException`)。**已观测抛点**:`installTapOnBus` / `webSocketTask(with:)` / `recognitionTask(with:)` / `SFSpeechAudioBufferRecognitionRequest()` init。**XunfeiEngine.session 必须用 lazy var 同生命周期复用**,反复 `invalidateAndCancel` + 新建会让 self delegate 同时关联 invalidated 旧 session + 新 session,`webSocketTask(with:)` 抛 `INVALIDATED_SESSION`。新引入 ObjC API 也要先过 `XTObjCRun`。
|
||||
|
||||
## 核心设计(为什么这么做)
|
||||
|
||||
@@ -61,6 +64,8 @@ model=GLM-5.3-Flash
|
||||
- **判定三层**:AX 焦点角色严格判断 → `AXManualAccessibility` 强开 Chromium 系 AX 再查 → 完全不透明则 app 级兜底放行。
|
||||
- **注入 = 写剪贴板 + 合成 ⌘V**,1.5s 后恢复原剪贴板(与微信同款)。
|
||||
- **识别引擎可插拔**:`protocol ASREngine` + `pickEngine()` 读 `~/.xtype-engine`。默认 **Apple 端侧 SFSpeechRecognizer**(zh-CN,离线流式);备选 **讯飞 IAT v2 流式 WebSocket**(端点 `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权,40ms 切片推送,服务端逐条返回拼接)。微信自家 ASR 是私有鉴权协议,外部不可用。
|
||||
- **ObjCBridge 通用 helper**:`XTObjCRun(void (^)(void))` 接受任意 Swift block,在 ObjC 端 `@try/@catch (NSException *)` 跑,失败 NSLog reason 并返回 1。`XTObjCTryInstallTap` 是 installTap 特化版(只需把参数列清楚,block 内逻辑一致)。Swift 端用 `if XTObjCRun({ ... }) != 0 { ... return }` 优雅降级——不抛也能用,抛了不崩。
|
||||
- **Dual 模式 AVAudioEngine 共享**:AppleEngine / XunfeiEngine 各自 `let engine = AVAudioEngine()`(独立实例,但底层 inputNode 同源)。macOS AVAudioSession.input 同一进程只能一个 stream,**DualEngine 让 xunfei 接管 tap,tap 回调里把同一份 PCM 转发给 `apple.request?.append(buf)`**——单一 tap 槽 + 双消费者,既不撞 bus 0 也不让 apple 收不到音频。AppleEngine 加 `useSharedTap` flag 区分 single / dual 模式路径。
|
||||
|
||||
详细原理与全部踩坑:`docs/xtype/README.md`、`docs/xtype/GOTCHAS.md`。
|
||||
|
||||
|
||||
+46
-12
@@ -86,9 +86,10 @@ let suppressDrag = Box<Bool>(false)
|
||||
|
||||
// ---------- ASR 引擎抽象 ----------
|
||||
protocol ASREngine {
|
||||
func prepare() // 鼠标按下瞬间: 预卷/连WS
|
||||
func beginTask() // 长按激活: 开始识别
|
||||
func cancel() // 普通点击抬起: 丢弃
|
||||
func prepare() // 鼠标按下瞬间: 预卷/连WS(不碰 mic 路由)
|
||||
func armRecording() // role 判定通过后: 装 tap + 启 engine → 激活 mic 路由(菜单栏 mic 图标)
|
||||
func beginTask() // armRecording 之后: 开始识别
|
||||
func cancel() // 普通点击抬起 / role 判定不通过: 丢弃(含部分状态)
|
||||
func stop() -> String // 录音中抬起: 阻塞等最终结果(dual 模式下返回 apple 的)
|
||||
func flushNow() -> String // force-stop / maxRecSec: 不等,直接拿当前累计文本
|
||||
var readyForBegin: Bool { get } // prepare() 是否成功(凭据检查等)
|
||||
@@ -173,20 +174,30 @@ final class AppleEngine: ASREngine {
|
||||
log("apple: SFSpeechAudioBufferRecognitionRequest raised NSException")
|
||||
return
|
||||
}
|
||||
if useSharedTap {
|
||||
// dual 模式: PCM 由 XunfeiEngine 的 tap 回调转发过来,
|
||||
// 自身不装 tap 不启动 engine(避免和 xunfei 抢 bus 0)
|
||||
prepared = true
|
||||
// 不再在此处 installTap / engine.start —— 那是 armRecording() 的事,
|
||||
// role 判定通过后才会激活 mic 路由(菜单栏 mic 图标)。
|
||||
prepared = true
|
||||
}
|
||||
|
||||
// role 判定通过后调: 装 tap + 启动 engine,激活 mic。
|
||||
// dual 模式下 xunfei 是 mic 的唯一入口,AppleEngine 这边 no-op(等 xunfei 的 tap 回调把 PCM 转过来)。
|
||||
func armRecording() {
|
||||
guard prepared else {
|
||||
log("apple: armRecording before prepare(); skip")
|
||||
return
|
||||
}
|
||||
if useSharedTap { return }
|
||||
let input = engine.inputNode
|
||||
let fmt = input.outputFormat(forBus: 0)
|
||||
input.removeTap(onBus: 0)
|
||||
input.installTap(onBus: 0, bufferSize: 2048, format: fmt) { [weak self] buf, _ in
|
||||
let tapRC = XTObjCTryInstallTap(input, 0, 2048, fmt) { [weak self] buf, _ in
|
||||
self?.request?.append(buf)
|
||||
}
|
||||
if tapRC != 0 {
|
||||
log("apple: installTap raised NSException")
|
||||
return
|
||||
}
|
||||
do { try engine.start() } catch { log("apple engine start failed: \(error)") }
|
||||
prepared = true
|
||||
}
|
||||
|
||||
func beginTask() {
|
||||
@@ -215,7 +226,9 @@ final class AppleEngine: ASREngine {
|
||||
func cancel() {
|
||||
guard prepared else { return }
|
||||
engine.inputNode.removeTap(onBus: 0)
|
||||
engine.stop()
|
||||
// 部分状态:prepare 已 prepared 但 armRecording 没跑过 → engine.isRunning == false。
|
||||
// stop() 对未启动的 engine 是 no-op 但会打 warning,加守卫与 XunfeiEngine.cleanup() 对齐。
|
||||
if engine.isRunning { engine.stop() }
|
||||
request = nil
|
||||
task = nil
|
||||
prepared = false
|
||||
@@ -258,6 +271,7 @@ final class AppleLLMEngine: ASREngine {
|
||||
var readyForBegin: Bool { apple.readyForBegin }
|
||||
|
||||
func prepare() { apple.prepare() }
|
||||
func armRecording() { apple.armRecording() }
|
||||
func beginTask() { apple.beginTask() }
|
||||
func cancel() { apple.cancel() }
|
||||
func flushNow() -> String { return apple.flushNow() }
|
||||
@@ -390,6 +404,18 @@ final class XunfeiEngine: NSObject, ASREngine {
|
||||
return
|
||||
}
|
||||
|
||||
// installTap + engine.start 已搬到 armRecording(),不在这里激活 mic。
|
||||
prepared = true
|
||||
log("xunfei: ws connecting (hw=\(hwFmt!.sampleRate)Hz fmt=\(hwFmt!.commonFormat.rawValue))")
|
||||
}
|
||||
|
||||
// role 判定通过后调: 装 tap + 启 engine,激活 mic 路由(菜单栏 mic 图标)。
|
||||
// dual 模式下这里也是 mic 唯一启动入口 —— xunfei.engine 是 dual 共享的 AVAudioEngine。
|
||||
func armRecording() {
|
||||
guard prepared else {
|
||||
log("XUNFEI: armRecording before prepare(); skip")
|
||||
return
|
||||
}
|
||||
// tap 回调是音频实时线程,绝对禁止在这里 log / 阻塞 / 分配大对象。
|
||||
// 只做一次 unsafe 指针复制 + 把字节扔到 serial queue。
|
||||
engine.inputNode.removeTap(onBus: 0)
|
||||
@@ -422,8 +448,7 @@ final class XunfeiEngine: NSObject, ASREngine {
|
||||
log("XUNFEI: \(lastErr!)")
|
||||
return
|
||||
}
|
||||
prepared = true
|
||||
log("xunfei: ws connecting + recording (hw=\(hwFmt!.sampleRate)Hz fmt=\(hwFmt!.commonFormat.rawValue))")
|
||||
log("xunfei: mic started")
|
||||
}
|
||||
|
||||
private func cleanup() {
|
||||
@@ -729,6 +754,13 @@ final class DualEngine: ASREngine {
|
||||
xunfei.beginTask()
|
||||
}
|
||||
|
||||
// dual 模式: apple.useSharedTap=true → apple.armRecording() 内部 no-op;
|
||||
// xunfei 是 mic 唯一启动入口,装 tap + engine.start 都在这里发生。
|
||||
func armRecording() {
|
||||
apple.armRecording()
|
||||
xunfei.armRecording()
|
||||
}
|
||||
|
||||
func cancel() {
|
||||
apple.cancel()
|
||||
xunfei.cancel()
|
||||
@@ -934,6 +966,8 @@ Thread.detachNewThread {
|
||||
DispatchQueue.global().async { Engine.current.cancel() }
|
||||
return
|
||||
}
|
||||
// role 判定通过后才激活 mic(installTap + engine.start),菜单栏图标现在才亮
|
||||
DispatchQueue.global().async { Engine.current.armRecording() }
|
||||
suppressDrag.v = true
|
||||
state.v = .recording(origin: origin, start: start)
|
||||
DispatchQueue.global().async { Engine.current.beginTask() }
|
||||
|
||||
Reference in new issue
Block a user