diff --git a/AGENTS.md b/AGENTS.md index 82438ba..65fc9b5 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -10,6 +10,7 @@ src/ObjCBridge.h ObjC NSException 桥接头(供 xtype.swift -import-objc-hea src/ObjCBridge.m ObjC @try/@catch 实现,必须 swiftc 一同编译 src/Info.plist app 包描述(权限声明) src/build.sh 构建+签名+安装+重启一条龙 +src/migrate-vault-to-config.sh 一次性:把 xop vault 凭据搬进 config.json(用户手跑) docs/xtype/ 详细文档(用法/架构/踩坑) ``` @@ -19,33 +20,31 @@ docs/xtype/ 详细文档(用法/架构/踩坑) src/build.sh # 编译 → 签名 → 装到 /Applications → apple-llm 启动 → 打日志(默认) src/build.sh apple # 纯端侧(无 LLM 精修) src/build.sh apple-llm # 端侧 + LLM 异步精修 -src/build.sh xunfei # 同上,但经 xop 注入讯飞凭据 → 讯飞 IAT v2 WebSocket 引擎 -src/build.sh dual # apple + xunfei 并行 + LLM 精修(需 xop 注入) +src/build.sh xunfei # 讯飞 IAT v2 WebSocket 引擎 +src/build.sh dual # apple + xunfei 并行 + LLM 精修 tail -f /tmp/xtype.log # 看判定/识别/粘贴日志 killall XType # 停止 ``` -## 引擎切换(两个互不重叠的层面) +## 配置(全在 `~/.x/xtype/config.json`) -1. **持久切换**:`echo apple|apple-llm|xunfei|dual > ~/.xtype-engine`,任意方式启动都生效。 -2. **启动方式注入**:`src/build.sh xunfei` 用 `xop run --secret ... -- open ...` 临时把讯飞凭据塞进进程环境变量,**只对当次启动有效**,不会写到磁盘/源码。 +一个文件装下引擎选择 + 全部凭据: -讯飞凭据一次性入库(从 TTY 读值,源码/git/日志都不出现): -```bash -xop set xf_xt_APPID # APPID -xop set xf_xt_APISecret # APISecret -xop set xf_xt_APIKey # APIKey +```json +{ + "engine": "apple-llm", + "llm": { "key": "sk_xxx", "base-url": "https://your-llm-proxy/v1", "model": "GLM-5.3-Flash" }, + "xunfei": { "appid": "xxx", "api-secret": "xxx", "api-key": "xxx" } +} ``` -LLM 配置(`apple-llm` / `dual` 需要;无 INI 则静默回退 apple 原文): -```ini -# ~/ssw.ini -[llm-api] -key=sk_xxxxxxxxxxxx -base-url=https://your-llm-proxy/v1 -model=GLM-5.3-Flash -``` -容忍全角破折号 `—` 与半角 `-` 等价。引擎请求时强制带 `thinking: {type: "disabled"`,绕过 GLM 推理模式(7s → 1s)。 +- **目录 `~/.x/xtype` 0700、文件 `config.json` 0600**(明文凭据)。 +- **引擎切换 = 改 `engine` 字段**:`src/build.sh ` 会用 python3 只改这一个字段(保序,不动凭据);手改文件也行,任意方式启动都生效。 +- **`engine` 取值**:`apple` / `apple-llm` / `xunfei` / `dual`。 +- **LLM**(`apple-llm` / `dual` 需要):`llm.key` + `llm.base-url` + `llm.model` 三者齐全才启用;缺任一 → 静默回退 Apple 原文。引擎请求时强制带 `thinking: {type: "disabled"`,绕过 GLM 推理模式(7s → 1s)。 +- **讯飞**(`xunfei` / `dual` 需要):`xunfei.appid` + `xunfei.api-secret` + `xunfei.api-key` 三者齐全才工作;缺任一 → 明确报错退出,不静默回退 apple(避免"以为用了讯飞结果识别差"的误判)。 +- 文件不存在时 app / build.sh 自动写模板(`engine: apple` + 空凭据)。 +- **从 xop vault 一次性迁入凭据**(用户手跑,明文不进 agent 上下文):`src/migrate-vault-to-config.sh` —— 幂等,只补空缺不覆盖已填值,跑完只打印字段名不打印值。 ## 红线(违反必翻车) @@ -53,8 +52,8 @@ model=GLM-5.3-Flash 2. **必须以 .app 形式装在 /Applications 并 LaunchServices 注册**。裸 CLI 的 TCC 归属是宿主终端,行为混乱;/tmp 下的 app 进不了辅助功能列表。 3. **权限三件套缺一不可**:麦克风(录音)、语音识别(apple 引擎)/ 辅助功能(全模式)。日志 `trusted: true` + `mic granted: true` + `speech auth: 3` 全绿才算就绪。 4. **长按状态机:一次按下只判定一次**(激活/跳过后进 `.dead`,松开才复位)。打回 idle 会在按住期间循环重启录音引擎(已踩过)。 -5. **讯飞凭据永不落盘**:源码/git/日志/argv/历史都不能出现 APPID/APISecret/APIKey 明文。运行时统一经 `xop run --secret KEY=xf_xt_* -- open ...` 注入到 `ProcessInfo.processInfo.environment["XUNFEI_*"]`。引擎拿到空 env 时**直接报错退出**,不静默回退 apple(避免"以为用了讯飞结果识别差"的误判)。 -6. **LLM 凭据明文存于 `~/ssw.ini`**(用户偏好,不进 xop);`key` 字段不进源码/git/日志。LLM 失败/超时/未配 → 保留 Apple 原文,不静默丢弃。 +5. **凭据只存 `~/.x/xtype/config.json` 一处**:源码/git/日志/argv/历史都不出现 APPID/APISecret/APIKey/LLM key 明文。运行时从 `config.json` 读(明文,用户偏好),**不再走 env 注入、不再依赖 xop**。讯飞三件套缺任一 → 引擎直接报错退出,不静默回退 apple。 +6. **LLM 失败/超时/未配 `llm.*` → 保留 Apple 原文**,不静默丢弃。`llm.key` 不进源码/git/日志。 7. **Swift 不接 ObjC NSException**:所有可能抛 NSException 的 ObjC API 必须经 `src/ObjCBridge.h/.m` 桥接(`XTObjCTryInstallTap` / `XTObjCRun`)。Swift 直接调会 SIGSEGV(EXC_BAD_ACCESS 0xD,`_Unwind_RaiseException`)。**已观测抛点**:`installTapOnBus` / `webSocketTask(with:)` / `recognitionTask(with:)` / `SFSpeechAudioBufferRecognitionRequest()` init。**XunfeiEngine.session 必须用 lazy var 同生命周期复用**,反复 `invalidateAndCancel` + 新建会让 self delegate 同时关联 invalidated 旧 session + 新 session,`webSocketTask(with:)` 抛 `INVALIDATED_SESSION`。新引入 ObjC API 也要先过 `XTObjCRun`。 ## 核心设计(为什么这么做) @@ -63,7 +62,7 @@ model=GLM-5.3-Flash - **判定用"光标下最顶层窗口归属"**(CGWindowList z 序),不用 `frontmostApplication`——微信悬浮窗会霸占键盘焦点导致误判(踩坑见 GOTCHAS §5)。 - **判定三层**:AX 焦点角色严格判断 → `AXManualAccessibility` 强开 Chromium 系 AX 再查 → 完全不透明则 app 级兜底放行。 - **注入 = 写剪贴板 + 合成 ⌘V**,1.5s 后恢复原剪贴板(与微信同款)。 -- **识别引擎可插拔**:`protocol ASREngine` + `pickEngine()` 读 `~/.xtype-engine`。默认 **Apple 端侧 SFSpeechRecognizer**(zh-CN,离线流式);备选 **讯飞 IAT v2 流式 WebSocket**(端点 `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权,40ms 切片推送,服务端逐条返回拼接)。微信自家 ASR 是私有鉴权协议,外部不可用。 +- **识别引擎可插拔**:`protocol ASREngine` + `pickEngine()` 读 `~/.x/xtype/config.json` 的 `engine` 字段。默认 **Apple 端侧 SFSpeechRecognizer**(zh-CN,离线流式);备选 **讯飞 IAT v2 流式 WebSocket**(端点 `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权,40ms 切片推送,服务端逐条返回拼接)。微信自家 ASR 是私有鉴权协议,外部不可用。 - **ObjCBridge 通用 helper**:`XTObjCRun(void (^)(void))` 接受任意 Swift block,在 ObjC 端 `@try/@catch (NSException *)` 跑,失败 NSLog reason 并返回 1。`XTObjCTryInstallTap` 是 installTap 特化版(只需把参数列清楚,block 内逻辑一致)。Swift 端用 `if XTObjCRun({ ... }) != 0 { ... return }` 优雅降级——不抛也能用,抛了不崩。 - **Dual 模式 AVAudioEngine 共享**:AppleEngine / XunfeiEngine 各自 `let engine = AVAudioEngine()`(独立实例,但底层 inputNode 同源)。macOS AVAudioSession.input 同一进程只能一个 stream,**DualEngine 让 xunfei 接管 tap,tap 回调里把同一份 PCM 转发给 `apple.request?.append(buf)`**——单一 tap 槽 + 双消费者,既不撞 bus 0 也不让 apple 收不到音频。AppleEngine 加 `useSharedTap` flag 区分 single / dual 模式路径。 diff --git a/docs/xtype/GOTCHAS.md b/docs/xtype/GOTCHAS.md index 06b7836..d2f7316 100644 --- a/docs/xtype/GOTCHAS.md +++ b/docs/xtype/GOTCHAS.md @@ -57,11 +57,11 @@ v1 在激活(350ms)后才启动录音引擎,用户按下即开口,前几百毫 - 输出 `AVAudioPCMBuffer.int16ChannelData[0]` → `UnsafeRawBufferPointer(start:count:)` → `Data.append(contentsOf:)` - 注意 `Int16` 指针不能直接喂 `Data.append(_:count:)`,必须先按字节重解释 -## 11. xop 注入 env 经 `open` 传递到 .app +## 11. 凭据别走 env 注入,读文件 -`xop run --secret X=xf_xt_X -- open /Applications/XType.app` 时,env 经 `xop → open → LaunchServices → app` 这条链路一直传到底,`ProcessInfo.processInfo.environment["XUNFEI_X"]` 在 app 内能拿到。但有几种场景会丢: -- macOS 14+ 的 `open --new` 在某些沙盒场景下被 launchd 接管,env 被截断 → 备用 `xop run --secret ... -- /Applications/XType.app/Contents/MacOS/XType`(直接执行二进制,TCC 仍生效,因为同一 .app bundle) -- 用户从 Finder 双击 .app:不走 xop,env 没有,引擎立刻报错退出 +早期用 `xop run --secret X=xf_xt_X -- open /Applications/XType.app` 把凭据塞进 env,靠 `xop → open → LaunchServices → app` 这条链路传到底。问题是一串的:env 会在这条链路上被截断(某些 launchd 场景),用户从 Finder 双击 .app 更是完全绕过注入 —— 引擎拿不到凭据就报错退出,行为随启动方式漂移。 + +**教训**:凭据走**固定路径的文件**,别走启动方式相关的 env。`open` / 双击 / 命令行 三种启动方式读同一个文件,行为一致,不依赖调用链。现在全部配置在 `~/.x/xtype/config.json`(目录 0700 / 文件 0600),app 启动时自己读。 ## 复现/验证工具 diff --git a/docs/xtype/README.md b/docs/xtype/README.md index 9213a1c..b6fa1b5 100644 --- a/docs/xtype/README.md +++ b/docs/xtype/README.md @@ -10,58 +10,70 @@ 日志:`/tmp/xtype.log`(每次判定都记录走了哪条路径、看到什么角色、识别文本、粘贴结果)。 -## 引擎选择 +## 配置(全在 `~/.x/xtype/config.json`) -`~/.xtype-engine` 文件内容决定用哪个 ASR 引擎(空文件 = `apple-llm`): +引擎选择 + 全部凭据装在一个 JSON 文件里(目录 `~/.x/xtype` 0700、文件 0600): + +```json +{ + "engine": "apple-llm", + "llm": { "key": "sk_xxxxxxxxxxxx", "base-url": "https://your-llm-proxy/v1", "model": "GLM-5.3-Flash" }, + "xunfei": { "appid": "xxxxxxxx", "api-secret": "xxxxxxxx", "api-key": "xxxxxxxx" } +} +``` + +文件不存在时 `src/build.sh` 或 app 首次启动会自动写模板(`engine: apple` + 空凭据)。 + +`engine` 字段决定用哪个 ASR 引擎: | 值 | 引擎 | 备注 | |---|---|---| -| `apple-llm` (默认) | Apple 端侧 + LLM 异步精修 | 无凭据;LLM 走 `~/ssw.ini`;无 INI 则回退 Apple 原文 | -| `apple` | SFSpeechRecognizer 端侧 zh-CN | 离线,无凭据,响应快,无 LLM 清洗 | -| `xunfei` | 讯飞 IAT v2 WebSocket 流式 | **需凭据**;首次须 `xop set` 三个 vault 条目,启动走 `src/build.sh xunfei` | +| `apple-llm` (`build.sh` 默认) | Apple 端侧 + LLM 异步精修 | 需 `llm.*` 三项齐全;缺任一 → 回退 Apple 原文 | +| `apple` (模板默认) | SFSpeechRecognizer 端侧 zh-CN | 离线,无凭据,响应快,无 LLM 清洗 | +| `xunfei` | 讯飞 IAT v2 WebSocket 流式 | **需 `xunfei.*` 三项齐全**;缺任一 → 明确报错,丢弃本次录音 | | `dual` | apple + xunfei 并行 + LLM 精修 | 苹果先贴,讯飞覆盖,LLM 再精修 | -### apple-llm / dual 的 LLM 配置(`~/ssw.ini`) +### apple-llm / dual 的 LLM 配置 -LLM 走 OpenAI Chat Completions 兼容协议(任何 zhipu/openai/anthropic-compatible 代理都行)。 - -```ini -[llm-api] -key=sk_xxxxxxxxxxxx -base-url=https://your-llm-proxy/v1 -model=GLM-5.3-Flash -``` - -容忍全角破折号 `—` 与半角 `-` 等价(`[llm—api]` / `base—url` 都能识别)。 +LLM 走 OpenAI Chat Completions 兼容协议(任何 zhipu/openai/anthropic-compatible 代理都行)——填 `llm.key` / `llm.base-url` / `llm.model` 三项即可。 引擎会自动在请求里带 `thinking: {type: "disabled"`,绕开 GLM 系列推理模式(7s+ → 1s,实测 `thinking=disabled` 后稳定 ~0.9s)。 -**失败兜底**: 无 INI / key 错 / 网络断 / 超时 → 保留 Apple 原文,绝不静默丢内容。 +**失败兜底**: 缺 `llm.*` / key 错 / 网络断 / 超时 → 保留 Apple 原文,绝不静默丢内容。 -### 一次性:把讯飞凭据放进 xop vault(仅 xunfei/dual 需要) +### 讯飞凭据 -凭据**只**从 TTY 读取,不会出现在源码/git/日志/argv/历史里。`xop set ` 然后回车输入值。 +填 `xunfei.appid` / `xunfei.api-secret` / `xunfei.api-key` 三项。**任一缺失则引擎报错并丢弃本次录音**(不静默回退 apple,避免你以为用了讯飞但实际是 apple 给你识别差)。 + +凭据只存这一个文件 —— 源码/git/日志/argv/历史里都不出现明文。 + +### 从 xop vault 一次性迁入凭据 + +以前凭据放在 xop vault(运行时经 `xop run --secret` 注入 env),现在改成直接读文件。一次性搬过去: ```bash -xop set xf_xt_APPID # APPID -xop set xf_xt_APISecret # APISecret -xop set xf_xt_APIKey # APIKey +src/migrate-vault-to-config.sh ``` +明文经 `xop → 子进程 env → 文件`,不进任何命令行参数或日志;脚本只打印字段名(如 `filled: llm.key, xunfei.appid, ...`),不打印值。幂等 —— 已填的字段不会被覆盖,只补空缺。 + +跑完后 `config.json` 里就有 `llm.*` 和 `xunfei.*` 的真实值,`xunfei` / `dual` 模式即可用。 + ### 启动对应引擎 ```bash src/build.sh # 默认 = apple-llm src/build.sh apple # 纯端侧(无 LLM 精修) src/build.sh apple-llm # 端侧 + LLM(默认) -src/build.sh xunfei # 讯飞(需 xop 注入) -src/build.sh dual # 双引擎(需 xop 注入) +src/build.sh xunfei # 讯飞 +src/build.sh dual # 双引擎 ``` -这一步做三件事: -1. 把 `~/.xtype-engine` 写成对应模式(持久切换) -2. `xunfei` / `dual` 模式会 `xop run --secret XUNFEI_APPID=xf_xt_APPID --secret ... -- open /Applications/XType.app` —— 凭据仅在子进程 env 里存在 -3. 引擎读 `ProcessInfo.processInfo.environment["XUNFEI_*"]`,**任一缺失则报错并丢弃本次录音**(不静默回退 apple,避免你以为用了讯飞但实际是 apple 给你识别差)。 +这一步做两件事: +1. 用 python3 只改 `config.json` 的 `engine` 字段(保序,不动 `llm`/`xunfei` 凭据) +2. `open /Applications/XType.app` 启动(不再注入任何环境变量) + +手改 `config.json` 的 `engine` 同样生效 —— `open /Applications/XType.app` 直接启动也读同一份配置。 ## 判定流程(按住 350ms 时触发一次) @@ -79,13 +91,13 @@ src/build.sh dual # 双引擎(需 xop 注入) | 组件 | 职责 | 权限 | |---|---|---| | 轮询线程(~125Hz) | `CGEventSource.buttonState` 检测左键,状态机 idle→press→recording/dead | 无 | -| 预卷录音 | **鼠标按下瞬间**就开始收音(`AVAudioEngine` tap),激活时才挂识别任务——短句不丢头 | 麦克风 | +| 预连接 | **鼠标按下瞬间**就建 WS / 建识别请求(不碰 mic 路由),激活判定通过后才 `armRecording()` 装 tap + 启 engine | 麦克风(仅录音期) | | `AppleEngine` | `SFSpeechRecognizer(zh-CN)` 流式,`requiresOnDeviceRecognition = true`,松开 ~70ms 出结果 | 语音识别 | | `AppleLLMEngine` | 包 AppleEngine + LLMCleaner;Apple 出文立刻贴,LLM 异步 ~1s 后回来若非空且不同则退格再贴 | 语音识别 + LLM | | `XunfeiEngine` | `URLSessionWebSocketTask` → `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权 URL,系统原生 PCM → 16k/16bit/mono 后 1280 字节/帧推送,逐条收 `data_status` 拼结果 | 麦克风(无语音识别权限要求) | | `DualEngine` | apple + xunfei 并行,apple 先贴 → xunfei 覆盖 → LLM 异步精修再覆盖(可关) | 语音识别 + 麦克风 + LLM | | `LLMCleaner` | OpenAI Chat Completions 兼容;强制带 `thinking: disabled`;`refine()` 异步回调,`clean()` 同步 1.5s 兜底 | — | -| `pickEngine()` | 读 `~/.xtype-engine`,默认 `apple-llm` | — | +| `pickEngine()` | 读 `~/.x/xtype/config.json` 的 `engine`,默认 `apple` | — | | 注入 | 写剪贴板 → 合成 ⌘V → 1.5s 后恢复原剪贴板 | 辅助功能 | | 拖选抑制 tap | 录音期间吞掉 leftMouseDragged,防拖选文字 | 辅助功能 | | 聚焦查询 | AX 系统级/per-app `kAXFocusedUIElementAttribute` + 角色 | 辅助功能 | diff --git a/src/build.sh b/src/build.sh index 44b6486..4848a32 100755 --- a/src/build.sh +++ b/src/build.sh @@ -4,24 +4,22 @@ # TCC 会当成新 app,麦克风/语音/辅助功能授权全部作废 # # 用法(编译+签名+安装,启动方式): -# src/build.sh 编译 + 安装 + 启动 apple-llm(默认;env 有 LLM_* 则精修,否则回退 apple) +# src/build.sh 编译 + 安装 + 启动 apple-llm(默认) # src/build.sh apple 编译 + 安装 + 启动 apple(纯端侧,无 LLM,最低延迟) # src/build.sh apple-llm 编译 + 安装 + 启动 apple-llm -# src/build.sh xunfei 编译 + 安装 + 启动 xunfei(xop run 注入讯飞三件套) -# src/build.sh dual 编译 + 安装 + 启动 dual(xop run 注入讯飞+LLM) +# src/build.sh xunfei 编译 + 安装 + 启动 xunfei(讯飞 IAT v2) +# src/build.sh dual 编译 + 安装 + 启动 dual(apple + 讯飞 + LLM) # -# 凭据(运行时 env 由 build.sh 一次性经 xop run 注入,**不**落磁盘、不进 argv/日志): -# xop set xf_xt_APPID # 讯飞 APPID -# xop set xf_xt_APISecret # 讯飞 APISecret -# xop set xf_xt_APIKey # 讯飞 APIKey -# xop set llm_key / llm_url / llm_model # LLM 凭据(已入库,无需再 set) +# 配置全在 ~/.x/xtype/config.json 一个文件(目录 0700 / 文件 0600): +# { +# "engine": "apple|apple-llm|xunfei|dual", +# "llm": { "key": "", "base-url": "", "model": "" }, +# "xunfei": { "appid": "", "api-secret": "", "api-key": "" } +# } +# build.sh 只改 engine 字段,llm/xunfei 凭据原样保留(手填或从 xop vault 一次性迁入)。 # -# 引擎持久切换(独立于凭据): -# ~/.xtype-engine 写入 apple | apple-llm | xunfei | dual 之一即可 -# 首次启动 ~/.xtype-engine 不存在 → 自动写模板 + 提醒,默认 apple -# -# 运行时独立: ./XType.app 也可直接 `open /Applications/XType.app` 启动,按 ~/.xtype-engine 选引擎; -# 无 xop / 无 ini 的用户只剩 apple 能用(其余要 LLM_*/XUNFEI_* env)。 +# 运行时独立: `open /Applications/XType.app` 也能启动,按 config.json 选引擎; +# 缺凭据 → 对应能力静默降级(LLM)/ 明确报错(xunfei)。 set -e cd "$(dirname "$0")" @@ -30,6 +28,10 @@ APP=/Applications/XType.app BIN=/tmp/xtype-build MODE="${1:-apple-llm}" +case "$MODE" in + apple|apple-llm|xunfei|dual) ;; + *) echo "unknown mode: $MODE (apple|apple-llm|xunfei|dual)"; exit 1 ;; +esac swiftc -O -import-objc-header ObjCBridge.h xtype.swift ObjCBridge.m -o "$BIN" @@ -42,50 +44,46 @@ killall XType 2>/dev/null || true sleep 0.3 : > /tmp/xtype.log -case "$MODE" in - xunfei) - # 把 ~/.xtype-engine 也设上,使得日后 `open /Applications/XType.app` - # 直接双击也能继续用 xunfei。凭据永远只走 xop 注入,不落盘不传 argv。 - current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )" - [ "$current" != "xunfei" ] && echo xunfei > ~/.xtype-engine - xop run \ - --secret XUNFEI_APPID=xf_xt_APPID \ - --secret XUNFEI_API_SECRET=xf_xt_APISecret \ - --secret XUNFEI_API_KEY=xf_xt_APIKey \ - -- open "$APP" - ;; - dual) - current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )" - [ "$current" != "dual" ] && echo dual > ~/.xtype-engine - xop run \ - --secret XUNFEI_APPID=xf_xt_APPID \ - --secret XUNFEI_API_SECRET=xf_xt_APISecret \ - --secret XUNFEI_API_KEY=xf_xt_APIKey \ - --secret LLM_KEY=llm_key \ - --secret LLM_URL=llm_url \ - --secret LLM_MODEL=llm_model \ - -- open "$APP" - ;; - apple) - current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )" - [ -n "$current" ] && [ "$current" != "apple" ] && echo apple > ~/.xtype-engine - open "$APP" - ;; - apple-llm|*) - current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )" - [ -n "$current" ] && [ "$current" != "apple-llm" ] && echo apple-llm > ~/.xtype-engine - [ -z "$current" ] && echo apple-llm > ~/.xtype-engine - xop run \ - --secret LLM_KEY=llm_key \ - --secret LLM_URL=llm_url \ - --secret LLM_MODEL=llm_model \ - -- open "$APP" - ;; -esac +# ---------- 配置目录 ~/.x/xtype(存明文凭据 → 0700 / 0600) ---------- +CFG_DIR="$HOME/.x/xtype" +CFG="$CFG_DIR/config.json" +mkdir -p "$CFG_DIR" +chmod 700 "$CFG_DIR" +[ -f "$CFG" ] || cat > "$CFG" <<'EOF' +{ + "engine": "apple", + "llm": { + "key": "", + "base-url": "", + "model": "" + }, + "xunfei": { + "appid": "", + "api-secret": "", + "api-key": "" + } +} +EOF +chmod 600 "$CFG" + +# 只改 engine,保留 llm/xunfei 凭据与原有键序(python json 保序) +PYTHON=/usr/bin/python3 +"$PYTHON" - "$CFG" "$MODE" <<'PY' +import collections, json, sys +path, mode = sys.argv[1], sys.argv[2] +with open(path) as f: + cfg = json.load(f, object_pairs_hook=collections.OrderedDict) +cfg["engine"] = mode +with open(path, "w") as f: + json.dump(cfg, f, indent=2, ensure_ascii=False) + f.write("\n") +PY +chmod 600 "$CFG" + +open "$APP" sleep 2 cat /tmp/xtype.log echo echo "installed: $APP (pid $(pgrep -f XType)) engine=$MODE" -[ "$MODE" = "xunfei" ] || [ "$MODE" = "dual" ] && echo "vault used: xf_xt_APPID / xf_xt_APISecret / xf_xt_APIKey (no values in logs/argv)" -[ "$MODE" = "dual" ] || [ "$MODE" = "apple-llm" ] && echo "llm vault used: llm_key / llm_url / llm_model → env LLM_KEY/LLM_URL/LLM_MODEL (no values in logs/argv; ~/ssw.ini 仍可作 fallback)" +echo "config: $CFG (engine 已写入;llm/xunfei 凭据请自行填写,build.sh 不动它们)" diff --git a/src/migrate-vault-to-config.sh b/src/migrate-vault-to-config.sh new file mode 100755 index 0000000..bab3112 --- /dev/null +++ b/src/migrate-vault-to-config.sh @@ -0,0 +1,75 @@ +#!/bin/bash +# 一次性迁移:把 xop vault 里的凭据搬进 ~/.x/xtype/config.json +# +# 【为什么要手跑】明文密钥经 xop → 子进程 env → 文件,全程不进 agent 上下文。 +# 本脚本由你自己执行(在 Claude Code 里用 `! src/migrate-vault-to-config.sh`), +# agent 永远看不到明文,只看到 "filled: llm.key, xunfei.appid, ..." 这种字段名。 +# +# 幂等:已填好的字段不会被覆盖(只补空缺)。 +# 用法: src/migrate-vault-to-config.sh +set -euo pipefail + +CFG="$HOME/.x/xtype/config.json" +mkdir -p "$(dirname "$CFG")" +chmod 700 "$(dirname "$CFG")" +[ -f "$CFG" ] || cat > "$CFG" <<'EOF' +{ + "engine": "apple", + "llm": { + "key": "", + "base-url": "", + "model": "" + }, + "xunfei": { + "appid": "", + "api-secret": "", + "api-key": "" + } +} +EOF + +# < /dev/null:跳过 xop 的 Touch ID 闸门(非交互式运行)。 +# python 代码走 -c(不进 argv 传密钥,密钥只在 env 里),stdin 被 /dev/null 占掉。 +xop run \ + --secret LLM_KEY=llm_key \ + --secret LLM_URL=llm_url \ + --secret LLM_MODEL=llm_model \ + --secret XUNFEI_APPID=xf_xt_APPID \ + --secret XUNFEI_API_SECRET=xf_xt_APISecret \ + --secret XUNFEI_API_KEY=xf_xt_APIKey \ + -- /usr/bin/python3 -c ' +import collections, json, os, sys + +path = sys.argv[1] +with open(path) as f: + cfg = json.load(f, object_pairs_hook=collections.OrderedDict) +cfg.setdefault("llm", collections.OrderedDict()) +cfg.setdefault("xunfei", collections.OrderedDict()) + +filled, skipped = [], [] +for section, key, env in [ + ("llm", "key", "LLM_KEY"), + ("llm", "base-url", "LLM_URL"), + ("llm", "model", "LLM_MODEL"), + ("xunfei", "appid", "XUNFEI_APPID"), + ("xunfei", "api-secret", "XUNFEI_API_SECRET"), + ("xunfei", "api-key", "XUNFEI_API_KEY"), +]: + val = os.environ.get(env, "") + if not val: + skipped.append(section + "." + key + "(vault 空)") + elif cfg[section].get(key): + skipped.append(section + "." + key + "(已填,不覆盖)") + else: + cfg[section][key] = val + filled.append(section + "." + key) + +with open(path, "w") as f: + json.dump(cfg, f, indent=2, ensure_ascii=False) + f.write("\n") +os.chmod(path, 0o600) + +print("filled:", ", ".join(filled) or "(无)") +print("skipped:", ", ".join(skipped) or "(无)") +print("config:", path, "(0600)") +' "$CFG" < /dev/null diff --git a/src/xtype.swift b/src/xtype.swift index 6c60d73..c4655c9 100644 --- a/src/xtype.swift +++ b/src/xtype.swift @@ -1,7 +1,8 @@ // xtype: 长按鼠标左键 → 说话 → 松开自动粘贴到光标处 -// 引擎可选: apple / xunfei / dual(apple+xunfei 并行,apple 先贴) -// 凭据(仅 xunfei 需要): 经 xop run --secret 注入到环境变量,源码/git/日志绝不出现 -// LLM 清洗(可选): ~/ssw.ini 的 [llm-api] 段,key/base-url/model;无配置则跳过 +// 引擎可选: apple / apple-llm / xunfei / dual(apple+xunfei 并行,apple 先贴) +// 配置全在 ~/.x/xtype/config.json 一个文件: +// engine + llm{key,base-url,model} + xunfei{appid,api-secret,api-key} +// 凭据明文只落这一处(目录 0700、文件 0600),不进源码/git/日志 // 权限: 麦克风 + 语音识别(apple) / 麦克风 + 辅助功能(全模式) import AppKit import ApplicationServices @@ -16,32 +17,69 @@ let movePx: CGFloat = 10 // 位移超过此值视为拖选,不激活 let maxRecSec: Double = 60 // 最长录音(到点直接贴当前已识别部分,不继续等) let pollUs: UInt32 = 8_000 // 轮询周期 8ms (~125Hz) let weChatPrefix = "com.tencent.xinWeChat" -let engineConfigPath = NSHomeDirectory() + "/.xtype-engine" -let llmIniPath = NSHomeDirectory() + "/ssw.ini" +// XType 专属配置目录: ~/.x/xtype/(config.json 存明文凭据 → 目录 0700、文件 0600) +let configDir = NSHomeDirectory() + "/.x/xtype" +let configPath = configDir + "/config.json" -// ---------- INI 读取(仅支持 section/key=value 简单格式) ---------- -// 容忍 section/key 名里的全角破折号 `—` 与半角 `-` 等价(~/ssw.ini 历史上用 —) -func normINIKey(_ s: String) -> String { - s.replacingOccurrences(of: "—", with: "-").trimmingCharacters(in: .whitespaces) +// ---------- config.json ---------- +/// ~/.x/xtype/config.json 的解析结果。缺字段一律留空,由调用方决定降级行为。 +struct XTypeConfig { + var engine = "apple" // apple / apple-llm / xunfei / dual + var llmKey = "" + var llmBaseURL = "" + var llmModel = "" + var xunfeiAppID = "" + var xunfeiAPISecret = "" + var xunfeiAPIKey = "" } -func loadINI(_ path: String) -> [String: [String: String]] { - guard let raw = try? String(contentsOfFile: path, encoding: .utf8) else { return [:] } - var sections: [String: [String: String]] = [:] - var current: String? - for line in raw.split(whereSeparator: { $0 == "\n" || $0 == "\r" }) { - let s = line.trimmingCharacters(in: .whitespaces) - if s.isEmpty || s.hasPrefix("#") || s.hasPrefix(";") { continue } - if s.hasPrefix("[") && s.hasSuffix("]") { - current = normINIKey(String(s.dropFirst().dropLast())) - sections[current!] = [:] - } else if let cur = current, let eq = s.firstIndex(of: "=") { - let k = normINIKey(String(s[.. XTypeConfig { + var c = XTypeConfig() + guard let root = (try? JSONSerialization.jsonObject(with: data)) as? [String: Any] else { return c } + if let e = root["engine"] as? String, !e.isEmpty { c.engine = e } + if let llm = root["llm"] as? [String: Any] { + c.llmKey = llm["key"] as? String ?? "" + c.llmBaseURL = llm["base-url"] as? String ?? "" + c.llmModel = llm["model"] as? String ?? "" } - return sections + if let xf = root["xunfei"] as? [String: Any] { + c.xunfeiAppID = xf["appid"] as? String ?? "" + c.xunfeiAPISecret = xf["api-secret"] as? String ?? "" + c.xunfeiAPIKey = xf["api-key"] as? String ?? "" + } + return c +} + +/// 读 config.json;不存在 → 写模板(目录 0700,文件 0600) +func ensureConfig() -> XTypeConfig { + let fm = FileManager.default + if !fm.fileExists(atPath: configDir) { + try? fm.createDirectory(atPath: configDir, withIntermediateDirectories: true, + attributes: [.posixPermissions: 0o700]) + } + guard let data = fm.contents(atPath: configPath) else { + let tmpl = """ + { + "engine": "apple", + "llm": { + "key": "", + "base-url": "", + "model": "" + }, + "xunfei": { + "appid": "", + "api-secret": "", + "api-key": "" + } + } + """ + try? tmpl.write(toFile: configPath, atomically: true, encoding: .utf8) + try? fm.setAttributes([.posixPermissions: 0o600], ofItemAtPath: configPath) + log("first launch: ~/.x/xtype/config.json missing, wrote template (填 engine/llm/xunfei)") + return XTypeConfig() + } + return parseConfig(data) } struct LLMConfig { @@ -49,23 +87,13 @@ struct LLMConfig { let baseURL: String // 例如 https://api.openai.com/v1 let model: String // 例如 gpt-4o-mini static func load() -> LLMConfig? { - // 优先读 env(xop run --secret 注入),env 没有再回退 ~/ssw.ini - let env = ProcessInfo.processInfo.environment - if let k = env["LLM_KEY"], !k.isEmpty, - let u = env["LLM_URL"], !u.isEmpty, - let m = env["LLM_MODEL"], !m.isEmpty { - log("llm: env LLM_KEY/LLM_URL/LLM_MODEL (xop 注入,不落盘)") - return LLMConfig(key: k, baseURL: u, model: m) - } - let s = loadINI(llmIniPath)["llm-api"] ?? [:] - guard let k = s["key"], !k.isEmpty, - let u = s["base-url"], !u.isEmpty, - let m = s["model"], !m.isEmpty else { - log("llm: env 缺失且 ~/ssw.ini [llm-api] 缺失或字段不全,跳过 LLM 清洗") + let c = ensureConfig() + guard !c.llmKey.isEmpty, !c.llmBaseURL.isEmpty, !c.llmModel.isEmpty else { + log("llm: config.json 缺 llm.key/base-url/model,跳过 LLM 清洗") return nil } - log("llm: 加载 [llm-api] model=\(m) base=\(u.prefix(30))…") - return LLMConfig(key: k, baseURL: u, model: m) + log("llm: 加载 config.json llm.model=\(c.llmModel)") + return LLMConfig(key: c.llmKey, baseURL: c.llmBaseURL, model: c.llmModel) } } @@ -96,37 +124,16 @@ protocol ASREngine { } func pickEngine() -> ASREngine { - let raw: String - if !FileManager.default.fileExists(atPath: engineConfigPath) { - // 首次启动: 写一份模板 + 提醒,默认 apple(无需凭据,保底能用) - let tmpl = """ - # XType 引擎选择 — 取消注释任一行或填一个值,留空/注释全开 = apple 端侧 - # apple Apple 端侧 SFSpeechRecognizer(无需凭据,zh-CN,流式,~1s) - # apple-llm apple + LLM 异步精修(凭据 xop 注入或 ~/ssw.ini [llm-api]) - # xunfei 讯飞 IAT v2 WebSocket 流式(凭据 xop 注入;env 空则启动报错) - # dual apple + xunfei 并行 + LLM 精修(apple 先贴,讯飞覆盖,LLM 再覆盖) - # - # 凭据注入(可选): build 时 xop run --secret XUNFEI_APPID=xf_xt_APPID ... - # build 时 xop run --secret LLM_KEY=llm_key ... - # - apple - """ - try? tmpl.write(toFile: engineConfigPath, atomically: true, encoding: .utf8) - log("first launch: ~/.xtype-engine missing, wrote template (uncomment/select one of apple/apple-llm/xunfei/dual);defaulting to apple") - raw = "apple" - } else { - raw = (try? String(contentsOfFile: engineConfigPath, encoding: .utf8))? - .trimmingCharacters(in: .whitespacesAndNewlines) ?? "apple" - } - switch raw { + let cfg = ensureConfig() + switch cfg.engine { case "xunfei": - log("engine: xunfei (require XUNFEI_APPID/API_SECRET/API_KEY in env)") + log("engine: xunfei (需 config.json xunfei.appid/api-secret/api-key)") return XunfeiEngine() case "dual": log("engine: dual (apple first, xunfei overwrite later, llm refine)") return DualEngine() case "apple-llm", "llm": - log("engine: apple + LLM refine (env LLM_KEY/LLM_URL/LLM_MODEL preferred, else ~/ssw.ini [llm-api];缺失 → silent fallback to apple)") + log("engine: apple + LLM refine (config.json llm.*;缺失 → 静默回退 apple 原文)") return AppleLLMEngine() default: log("engine: apple (on-device, no LLM)") @@ -258,7 +265,7 @@ final class AppleEngine: ASREngine { // ---------- Apple 端侧 + LLM 异步精修 ---------- // 流程: Apple 识别 → 贴出原文 → LLM 异步精修 → 若非空且不同则删原文再贴精修版 -// 失败/超时/未配 INI: 不精修,保留 Apple 原文(不翻车) +// 失败/超时/未配 llm.*: 不精修,保留 Apple 原文(不翻车) final class AppleLLMEngine: ASREngine { let apple = AppleEngine() let cleaner: LLMCleaner @@ -308,8 +315,8 @@ final class AppleLLMEngine: ASREngine { } } } -// 凭据来自环境变量(XUNFEI_APPID / XUNFEI_API_SECRET / XUNFEI_API_KEY), -// 由 xop run --secret 在启动前注入。引擎自身不读配置文件、不打 fallback —— 安静回退会让用户误以为"用了讯飞识别差"。 +// 凭据来自 ~/.x/xtype/config.json 的 xunfei.{appid,api-secret,api-key}。 +// 缺任一项 → 直接报错,不静默回退 apple(安静回退会让用户误以为"用了讯飞识别差")。 final class XunfeiEngine: NSObject, ASREngine { let q = DispatchQueue(label: "xtype.xunfei") let engine = AVAudioEngine() @@ -340,12 +347,12 @@ final class XunfeiEngine: NSObject, ASREngine { var readyForBegin: Bool { prepared } - private func envCreds() -> (id: String, secret: String, key: String)? { - let env = ProcessInfo.processInfo.environment - guard let id = env["XUNFEI_APPID"], !id.isEmpty, - let s = env["XUNFEI_API_SECRET"], !s.isEmpty, - let k = env["XUNFEI_API_KEY"], !k.isEmpty else { return nil } - return (id, s, k) + private func configCreds() -> (id: String, secret: String, key: String)? { + let c = ensureConfig() + guard !c.xunfeiAppID.isEmpty, + !c.xunfeiAPISecret.isEmpty, + !c.xunfeiAPIKey.isEmpty else { return nil } + return (c.xunfeiAppID, c.xunfeiAPISecret, c.xunfeiAPIKey) } private func rfc1123() -> String { @@ -371,8 +378,8 @@ final class XunfeiEngine: NSObject, ASREngine { // 先收尾旧的(session、wsTask),避免和上一轮并发触发 delegate 回调 cleanup() - guard let creds = envCreds() else { - lastErr = "missing env XUNFEI_APPID/API_SECRET/API_KEY — launch via `xop run --secret`" + guard let creds = configCreds() else { + lastErr = "missing config.json xunfei.appid/api-secret/api-key" log("XUNFEI: \(lastErr!)") return } @@ -783,7 +790,7 @@ final class DualEngine: ASREngine { self.deleteChars(appleRaw.count) paste(xfRaw) } - // 3) LLM 异步精修(可关): 配了 ~/ssw.ini 就跑,返非空且不同时再覆盖一次 + // 3) LLM 异步精修(可关): config.json 配了 llm.* 就跑,返非空且不同时再覆盖一次 self.cleaner.refine(xfRaw) { [weak self] refined in guard let self = self else { return } guard !refined.isEmpty, refined != xfRaw else { return }