feat: 配置统一到 ~/.x/xtype/config.json,去掉 env/xop 注入

**影响**
- 配置从三处散落(~/.xtype-engine ~/ssw.ini + 运行时 env 注入)收成一个
  ~/.x/xtype/config.json:engine + llm{key,base-url,model} +
  xunfei{appid,api-secret,api-key}。手改这一个文件即可切引擎 / 换凭据。
- 凭据从「运行时经 xop run --secret 注入 env」改为「明文存 config.json」
  (目录 0700 / 文件 0600)。启动方式不再影响行为:open / 双击 / 命令行
  读同一份配置,不再依赖 xop→open→LaunchServices 这条会被截断的 env 链。
- 旧路径 ~/.xtype-engine ~/ssw.ini 一律忽略,不迁移。

**改动**
- src/xtype.swift: 删 loadINI/normINIKey 与两处 ProcessInfo.environment 读取;
  新增 XTypeConfig/parseConfig/ensureConfig(JSON 解析 + 首启写模板);
  LLMConfig.load() 与 XunfeiEngine 凭据改读 config.json。
- src/build.sh: 删全部 xop run --secret 块,改普通 open;python3 只改
  engine 字段(OrderedDict 保序,不动凭据);首启建目录 0700 / 配置 0600;
  模式名非法直接报错退出。
- src/migrate-vault-to-config.sh: 一次性把 xop vault 凭据搬进 config.json,
  用户手跑(明文不进 agent 上下文),幂等只补空缺。
- AGENTS.md 红线 5/6 重写(凭据只存 config.json、不再走 env 注入);
  docs/xtype/README.md 引擎选择章节重写;docs/xtype/GOTCHAS.md §11 改写成
  「凭据别走 env 注入,读文件」的教训。

Co-Authored-By: Claude <[email protected]>
This commit is contained in:
adminandClaude committed 2026-10-22 19:03:01 +08:00
1 parent d6861f34fd
commit d2263b16c7
6 files changed
+280 -189

No files matched your search

+21 -22
View File
@@ -10,6 +10,7 @@ src/ObjCBridge.h ObjC NSException 桥接头(供 xtype.swift -import-objc-hea
src/ObjCBridge.m ObjC @try/@catch 实现,必须 swiftc 一同编译
src/Info.plist app 包描述(权限声明)
src/build.sh 构建+签名+安装+重启一条龙
src/migrate-vault-to-config.sh 一次性:把 xop vault 凭据搬进 config.json(用户手跑)
docs/xtype/ 详细文档(用法/架构/踩坑)
```
@@ -19,33 +20,31 @@ docs/xtype/ 详细文档(用法/架构/踩坑)
src/build.sh # 编译 → 签名 → 装到 /Applications → apple-llm 启动 → 打日志(默认)
src/build.sh apple # 纯端侧(无 LLM 精修)
src/build.sh apple-llm # 端侧 + LLM 异步精修
src/build.sh xunfei # 同上,但经 xop 注入讯飞凭据 → 讯飞 IAT v2 WebSocket 引擎
src/build.sh dual # apple + xunfei 并行 + LLM 精修(需 xop 注入)
src/build.sh xunfei # 讯飞 IAT v2 WebSocket 引擎
src/build.sh dual # apple + xunfei 并行 + LLM 精修
tail -f /tmp/xtype.log # 看判定/识别/粘贴日志
killall XType # 停止
```
## 引擎切换(两个互不重叠的层面)
## 配置(全在 `~/.x/xtype/config.json`)
1. **持久切换**:`echo apple|apple-llm|xunfei|dual > ~/.xtype-engine`,任意方式启动都生效。
2. **启动方式注入**:`src/build.sh xunfei` 用 `xop run --secret ... -- open ...` 临时把讯飞凭据塞进进程环境变量,**只对当次启动有效**,不会写到磁盘/源码。
一个文件装下引擎选择 + 全部凭据:
讯飞凭据一次性入库(从 TTY 读值,源码/git/日志都不出现):
```bash
xop set xf_xt_APPID # APPID
xop set xf_xt_APISecret # APISecret
xop set xf_xt_APIKey # APIKey
```json
{
"engine": "apple-llm",
"llm": { "key": "sk_xxx", "base-url": "https://your-llm-proxy/v1", "model": "GLM-5.3-Flash" },
"xunfei": { "appid": "xxx", "api-secret": "xxx", "api-key": "xxx" }
}
```
LLM 配置(`apple-llm` / `dual` 需要;无 INI 则静默回退 apple 原文):
```ini
# ~/ssw.ini
[llm-api]
key=sk_xxxxxxxxxxxx
base-url=https://your-llm-proxy/v1
model=GLM-5.3-Flash
```
容忍全角破折号 `—` 与半角 `-` 等价。引擎请求时强制带 `thinking: {type: "disabled"`,绕过 GLM 推理模式(7s → 1s)。
- **目录 `~/.x/xtype` 0700、文件 `config.json` 0600**(明文凭据)。
- **引擎切换 = 改 `engine` 字段**:`src/build.sh <mode>` 会用 python3 只改这一个字段(保序,不动凭据);手改文件也行,任意方式启动都生效。
- **`engine` 取值**:`apple` / `apple-llm` / `xunfei` / `dual`。
- **LLM**(`apple-llm` / `dual` 需要):`llm.key` + `llm.base-url` + `llm.model` 三者齐全才启用;缺任一 → 静默回退 Apple 原文。引擎请求时强制带 `thinking: {type: "disabled"`,绕过 GLM 推理模式(7s → 1s)。
- **讯飞**(`xunfei` / `dual` 需要):`xunfei.appid` + `xunfei.api-secret` + `xunfei.api-key` 三者齐全才工作;缺任一 → 明确报错退出,不静默回退 apple(避免"以为用了讯飞结果识别差"的误判)。
- 文件不存在时 app / build.sh 自动写模板(`engine: apple` + 空凭据)。
- **从 xop vault 一次性迁入凭据**(用户手跑,明文不进 agent 上下文):`src/migrate-vault-to-config.sh` —— 幂等,只补空缺不覆盖已填值,跑完只打印字段名不打印值。
## 红线(违反必翻车)
@@ -53,8 +52,8 @@ model=GLM-5.3-Flash
2. **必须以 .app 形式装在 /Applications 并 LaunchServices 注册**。裸 CLI 的 TCC 归属是宿主终端,行为混乱;/tmp 下的 app 进不了辅助功能列表。
3. **权限三件套缺一不可**:麦克风(录音)、语音识别(apple 引擎)/ 辅助功能(全模式)。日志 `trusted: true` + `mic granted: true` + `speech auth: 3` 全绿才算就绪。
4. **长按状态机:一次按下只判定一次**(激活/跳过后进 `.dead`,松开才复位)。打回 idle 会在按住期间循环重启录音引擎(已踩过)。
5. **讯飞凭据永不落盘**:源码/git/日志/argv/历史都不能出现 APPID/APISecret/APIKey 明文。运行时统一经 `xop run --secret KEY=xf_xt_* -- open ...` 注入到 `ProcessInfo.processInfo.environment["XUNFEI_*"]`。引擎拿到空 env 时**直接报错退出**,不静默回退 apple(避免"以为用了讯飞结果识别差"的误判)。
6. **LLM 凭据明文存于 `~/ssw.ini`**(用户偏好,不进 xop);`key` 字段不进源码/git/日志。LLM 失败/超时/未配 → 保留 Apple 原文,不静默丢弃。
5. **凭据只存 `~/.x/xtype/config.json` 一处**:源码/git/日志/argv/历史都不出现 APPID/APISecret/APIKey/LLM key 明文。运行时从 `config.json` 读(明文,用户偏好),**不再走 env 注入、不再依赖 xop**。讯飞三件套缺任一 → 引擎直接报错退出,不静默回退 apple。
6. **LLM 失败/超时/未配 `llm.*` → 保留 Apple 原文**,不静默丢弃。`llm.key` 不进源码/git/日志。
7. **Swift 不接 ObjC NSException**:所有可能抛 NSException 的 ObjC API 必须经 `src/ObjCBridge.h/.m` 桥接(`XTObjCTryInstallTap` / `XTObjCRun`)。Swift 直接调会 SIGSEGV(EXC_BAD_ACCESS 0xD,`_Unwind_RaiseException`)。**已观测抛点**:`installTapOnBus` / `webSocketTask(with:)` / `recognitionTask(with:)` / `SFSpeechAudioBufferRecognitionRequest()` init。**XunfeiEngine.session 必须用 lazy var 同生命周期复用**,反复 `invalidateAndCancel` + 新建会让 self delegate 同时关联 invalidated 旧 session + 新 session,`webSocketTask(with:)` 抛 `INVALIDATED_SESSION`。新引入 ObjC API 也要先过 `XTObjCRun`。
## 核心设计(为什么这么做)
@@ -63,7 +62,7 @@ model=GLM-5.3-Flash
- **判定用"光标下最顶层窗口归属"**(CGWindowList z 序),不用 `frontmostApplication`——微信悬浮窗会霸占键盘焦点导致误判(踩坑见 GOTCHAS §5)。
- **判定三层**:AX 焦点角色严格判断 → `AXManualAccessibility` 强开 Chromium 系 AX 再查 → 完全不透明则 app 级兜底放行。
- **注入 = 写剪贴板 + 合成 ⌘V**,1.5s 后恢复原剪贴板(与微信同款)。
- **识别引擎可插拔**:`protocol ASREngine` + `pickEngine()` 读 `~/.xtype-engine`。默认 **Apple 端侧 SFSpeechRecognizer**(zh-CN,离线流式);备选 **讯飞 IAT v2 流式 WebSocket**(端点 `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权,40ms 切片推送,服务端逐条返回拼接)。微信自家 ASR 是私有鉴权协议,外部不可用。
- **识别引擎可插拔**:`protocol ASREngine` + `pickEngine()` 读 `~/.x/xtype/config.json` 的 `engine` 字段。默认 **Apple 端侧 SFSpeechRecognizer**(zh-CN,离线流式);备选 **讯飞 IAT v2 流式 WebSocket**(端点 `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权,40ms 切片推送,服务端逐条返回拼接)。微信自家 ASR 是私有鉴权协议,外部不可用。
- **ObjCBridge 通用 helper**:`XTObjCRun(void (^)(void))` 接受任意 Swift block,在 ObjC 端 `@try/@catch (NSException *)` 跑,失败 NSLog reason 并返回 1。`XTObjCTryInstallTap` 是 installTap 特化版(只需把参数列清楚,block 内逻辑一致)。Swift 端用 `if XTObjCRun({ ... }) != 0 { ... return }` 优雅降级——不抛也能用,抛了不崩。
- **Dual 模式 AVAudioEngine 共享**:AppleEngine / XunfeiEngine 各自 `let engine = AVAudioEngine()`(独立实例,但底层 inputNode 同源)。macOS AVAudioSession.input 同一进程只能一个 stream,**DualEngine 让 xunfei 接管 tap,tap 回调里把同一份 PCM 转发给 `apple.request?.append(buf)`**——单一 tap 槽 + 双消费者,既不撞 bus 0 也不让 apple 收不到音频。AppleEngine 加 `useSharedTap` flag 区分 single / dual 模式路径。
+4 -4
View File
@@ -57,11 +57,11 @@ v1 在激活(350ms)后才启动录音引擎,用户按下即开口,前几百毫
- 输出 `AVAudioPCMBuffer.int16ChannelData[0]` → `UnsafeRawBufferPointer(start:count:)` → `Data.append(contentsOf:)`
- 注意 `Int16` 指针不能直接喂 `Data.append(_:count:)`,必须先按字节重解释
## 11. xop 注入 env 经 `open` 传递到 .app
## 11. 凭据别走 env 注入,读文件
`xop run --secret X=xf_xt_X -- open /Applications/XType.app` 时,env 经 `xop → open → LaunchServices → app` 这条链路一直传到底,`ProcessInfo.processInfo.environment["XUNFEI_X"]` 在 app 内能拿到。但有几种场景会丢:
- macOS 14+ 的 `open --new` 在某些沙盒场景下被 launchd 接管,env 被截断 → 备用 `xop run --secret ... -- /Applications/XType.app/Contents/MacOS/XType`(直接执行二进制,TCC 仍生效,因为同一 .app bundle)
- 用户从 Finder 双击 .app:不走 xop,env 没有,引擎立刻报错退出
早期用 `xop run --secret X=xf_xt_X -- open /Applications/XType.app` 把凭据塞进 env,靠 `xop → open → LaunchServices → app` 这条链路传到底。问题是一串的:env 会在这条链路上被截断(某些 launchd 场景),用户从 Finder 双击 .app 更是完全绕过注入 —— 引擎拿不到凭据就报错退出,行为随启动方式漂移。
**教训**:凭据走**固定路径的文件**,别走启动方式相关的 env。`open` / 双击 / 命令行 三种启动方式读同一个文件,行为一致,不依赖调用链。现在全部配置在 `~/.x/xtype/config.json`(目录 0700 / 文件 0600),app 启动时自己读。
## 复现/验证工具
+42 -30
View File
@@ -10,58 +10,70 @@
日志:`/tmp/xtype.log`(每次判定都记录走了哪条路径、看到什么角色、识别文本、粘贴结果)。
## 引擎选择
## 配置(全在 `~/.x/xtype/config.json`)
`~/.xtype-engine` 文件内容决定用哪个 ASR 引擎(空文件 = `apple-llm`):
引擎选择 + 全部凭据装在一个 JSON 文件里(目录 `~/.x/xtype` 0700、文件 0600):
```json
{
"engine": "apple-llm",
"llm": { "key": "sk_xxxxxxxxxxxx", "base-url": "https://your-llm-proxy/v1", "model": "GLM-5.3-Flash" },
"xunfei": { "appid": "xxxxxxxx", "api-secret": "xxxxxxxx", "api-key": "xxxxxxxx" }
}
```
文件不存在时 `src/build.sh` 或 app 首次启动会自动写模板(`engine: apple` + 空凭据)。
`engine` 字段决定用哪个 ASR 引擎:
| 值 | 引擎 | 备注 |
|---|---|---|
| `apple-llm` (默认) | Apple 端侧 + LLM 异步精修 | 无凭据;LLM 走 `~/ssw.ini`;无 INI 则回退 Apple 原文 |
| `apple` | SFSpeechRecognizer 端侧 zh-CN | 离线,无凭据,响应快,无 LLM 清洗 |
| `xunfei` | 讯飞 IAT v2 WebSocket 流式 | **需凭据**;首次须 `xop set` 三个 vault 条目,启动走 `src/build.sh xunfei` |
| `apple-llm` (`build.sh` 默认) | Apple 端侧 + LLM 异步精修 | 需 `llm.*` 三项齐全;缺任一 → 回退 Apple 原文 |
| `apple` (模板默认) | SFSpeechRecognizer 端侧 zh-CN | 离线,无凭据,响应快,无 LLM 清洗 |
| `xunfei` | 讯飞 IAT v2 WebSocket 流式 | **需 `xunfei.*` 三项齐全**;缺任一 → 明确报错,丢弃本次录音 |
| `dual` | apple + xunfei 并行 + LLM 精修 | 苹果先贴,讯飞覆盖,LLM 再精修 |
### apple-llm / dual 的 LLM 配置(`~/ssw.ini`)
### apple-llm / dual 的 LLM 配置
LLM 走 OpenAI Chat Completions 兼容协议(任何 zhipu/openai/anthropic-compatible 代理都行)。
```ini
[llm-api]
key=sk_xxxxxxxxxxxx
base-url=https://your-llm-proxy/v1
model=GLM-5.3-Flash
```
容忍全角破折号 `—` 与半角 `-` 等价(`[llm—api]` / `base—url` 都能识别)。
LLM 走 OpenAI Chat Completions 兼容协议(任何 zhipu/openai/anthropic-compatible 代理都行)——填 `llm.key` / `llm.base-url` / `llm.model` 三项即可。
引擎会自动在请求里带 `thinking: {type: "disabled"`,绕开 GLM 系列推理模式(7s+ → 1s,实测 `thinking=disabled` 后稳定 ~0.9s)。
**失败兜底**: 无 INI / key 错 / 网络断 / 超时 → 保留 Apple 原文,绝不静默丢内容。
**失败兜底**: 缺 `llm.*` / key 错 / 网络断 / 超时 → 保留 Apple 原文,绝不静默丢内容。
### 一次性:把讯飞凭据放进 xop vault(仅 xunfei/dual 需要)
### 讯飞凭据
凭据**只**从 TTY 读取,不会出现在源码/git/日志/argv/历史里。`xop set <name>` 然后回车输入值。
填 `xunfei.appid` / `xunfei.api-secret` / `xunfei.api-key` 三项。**任一缺失则引擎报错并丢弃本次录音**(不静默回退 apple,避免你以为用了讯飞但实际是 apple 给你识别差)。
凭据只存这一个文件 —— 源码/git/日志/argv/历史里都不出现明文。
### 从 xop vault 一次性迁入凭据
以前凭据放在 xop vault(运行时经 `xop run --secret` 注入 env),现在改成直接读文件。一次性搬过去:
```bash
xop set xf_xt_APPID # APPID
xop set xf_xt_APISecret # APISecret
xop set xf_xt_APIKey # APIKey
src/migrate-vault-to-config.sh
```
明文经 `xop → 子进程 env → 文件`,不进任何命令行参数或日志;脚本只打印字段名(如 `filled: llm.key, xunfei.appid, ...`),不打印值。幂等 —— 已填的字段不会被覆盖,只补空缺。
跑完后 `config.json` 里就有 `llm.*` 和 `xunfei.*` 的真实值,`xunfei` / `dual` 模式即可用。
### 启动对应引擎
```bash
src/build.sh # 默认 = apple-llm
src/build.sh apple # 纯端侧(无 LLM 精修)
src/build.sh apple-llm # 端侧 + LLM(默认)
src/build.sh xunfei # 讯飞(需 xop 注入)
src/build.sh dual # 双引擎(需 xop 注入)
src/build.sh xunfei # 讯飞
src/build.sh dual # 双引擎
```
这一步做三件事:
1. 把 `~/.xtype-engine` 写成对应模式(持久切换)
2. `xunfei` / `dual` 模式会 `xop run --secret XUNFEI_APPID=xf_xt_APPID --secret ... -- open /Applications/XType.app` —— 凭据仅在子进程 env 里存在
3. 引擎读 `ProcessInfo.processInfo.environment["XUNFEI_*"]`,**任一缺失则报错并丢弃本次录音**(不静默回退 apple,避免你以为用了讯飞但实际是 apple 给你识别差)。
这一步做两件事:
1. 用 python3 只改 `config.json` 的 `engine` 字段(保序,不动 `llm`/`xunfei` 凭据)
2. `open /Applications/XType.app` 启动(不再注入任何环境变量)
手改 `config.json` 的 `engine` 同样生效 —— `open /Applications/XType.app` 直接启动也读同一份配置。
## 判定流程(按住 350ms 时触发一次)
@@ -79,13 +91,13 @@ src/build.sh dual # 双引擎(需 xop 注入)
| 组件 | 职责 | 权限 |
|---|---|---|
| 轮询线程(~125Hz) | `CGEventSource.buttonState` 检测左键,状态机 idle→press→recording/dead | 无 |
| 预卷录音 | **鼠标按下瞬间**就开始收音(`AVAudioEngine` tap),激活时才挂识别任务——短句不丢头 | 麦克风 |
| 预连接 | **鼠标按下瞬间**就建 WS / 建识别请求(不碰 mic 路由),激活判定通过后才 `armRecording()` 装 tap + 启 engine | 麦克风(仅录音期) |
| `AppleEngine` | `SFSpeechRecognizer(zh-CN)` 流式,`requiresOnDeviceRecognition = true`,松开 ~70ms 出结果 | 语音识别 |
| `AppleLLMEngine` | 包 AppleEngine + LLMCleaner;Apple 出文立刻贴,LLM 异步 ~1s 后回来若非空且不同则退格再贴 | 语音识别 + LLM |
| `XunfeiEngine` | `URLSessionWebSocketTask` → `wss://iat-api.xfyun.cn/v2/iat`,HMAC-SHA256 鉴权 URL,系统原生 PCM → 16k/16bit/mono 后 1280 字节/帧推送,逐条收 `data_status` 拼结果 | 麦克风(无语音识别权限要求) |
| `DualEngine` | apple + xunfei 并行,apple 先贴 → xunfei 覆盖 → LLM 异步精修再覆盖(可关) | 语音识别 + 麦克风 + LLM |
| `LLMCleaner` | OpenAI Chat Completions 兼容;强制带 `thinking: disabled`;`refine()` 异步回调,`clean()` 同步 1.5s 兜底 | — |
| `pickEngine()` | 读 `~/.xtype-engine`,默认 `apple-llm` | — |
| `pickEngine()` | 读 `~/.x/xtype/config.json` 的 `engine`,默认 `apple` | — |
| 注入 | 写剪贴板 → 合成 ⌘V → 1.5s 后恢复原剪贴板 | 辅助功能 |
| 拖选抑制 tap | 录音期间吞掉 leftMouseDragged,防拖选文字 | 辅助功能 |
| 聚焦查询 | AX 系统级/per-app `kAXFocusedUIElementAttribute` + 角色 | 辅助功能 |
+54 -56
View File
@@ -4,24 +4,22 @@
# TCC 会当成新 app,麦克风/语音/辅助功能授权全部作废
#
# 用法(编译+签名+安装,启动方式):
# src/build.sh 编译 + 安装 + 启动 apple-llm(默认;env 有 LLM_* 则精修,否则回退 apple)
# src/build.sh 编译 + 安装 + 启动 apple-llm(默认)
# src/build.sh apple 编译 + 安装 + 启动 apple(纯端侧,无 LLM,最低延迟)
# src/build.sh apple-llm 编译 + 安装 + 启动 apple-llm
# src/build.sh xunfei 编译 + 安装 + 启动 xunfei(xop run 注入讯飞三件套)
# src/build.sh dual 编译 + 安装 + 启动 dual(xop run 注入讯飞+LLM)
# src/build.sh xunfei 编译 + 安装 + 启动 xunfei(讯飞 IAT v2)
# src/build.sh dual 编译 + 安装 + 启动 dual(apple + 讯飞 + LLM)
#
# 凭据(运行时 env 由 build.sh 一次性经 xop run 注入,**不**落磁盘、不进 argv/日志):
# xop set xf_xt_APPID # 讯飞 APPID
# xop set xf_xt_APISecret # 讯飞 APISecret
# xop set xf_xt_APIKey # 讯飞 APIKey
# xop set llm_key / llm_url / llm_model # LLM 凭据(已入库,无需再 set)
# 配置全在 ~/.x/xtype/config.json 一个文件(目录 0700 / 文件 0600):
# {
# "engine": "apple|apple-llm|xunfei|dual",
# "llm": { "key": "", "base-url": "", "model": "" },
# "xunfei": { "appid": "", "api-secret": "", "api-key": "" }
# }
# build.sh 只改 engine 字段,llm/xunfei 凭据原样保留(手填或从 xop vault 一次性迁入)。
#
# 引擎持久切换(独立于凭据):
# ~/.xtype-engine 写入 apple | apple-llm | xunfei | dual 之一即可
# 首次启动 ~/.xtype-engine 不存在 → 自动写模板 + 提醒,默认 apple
#
# 运行时独立: ./XType.app 也可直接 `open /Applications/XType.app` 启动,按 ~/.xtype-engine 选引擎;
# 无 xop / 无 ini 的用户只剩 apple 能用(其余要 LLM_*/XUNFEI_* env)。
# 运行时独立: `open /Applications/XType.app` 也能启动,按 config.json 选引擎;
# 缺凭据 → 对应能力静默降级(LLM)/ 明确报错(xunfei)。
set -e
cd "$(dirname "$0")"
@@ -30,6 +28,10 @@ APP=/Applications/XType.app
BIN=/tmp/xtype-build
MODE="${1:-apple-llm}"
case "$MODE" in
apple|apple-llm|xunfei|dual) ;;
*) echo "unknown mode: $MODE (apple|apple-llm|xunfei|dual)"; exit 1 ;;
esac
swiftc -O -import-objc-header ObjCBridge.h xtype.swift ObjCBridge.m -o "$BIN"
@@ -42,50 +44,46 @@ killall XType 2>/dev/null || true
sleep 0.3
: > /tmp/xtype.log
case "$MODE" in
xunfei)
# 把 ~/.xtype-engine 也设上,使得日后 `open /Applications/XType.app`
# 直接双击也能继续用 xunfei。凭据永远只走 xop 注入,不落盘不传 argv。
current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )"
[ "$current" != "xunfei" ] && echo xunfei > ~/.xtype-engine
xop run \
--secret XUNFEI_APPID=xf_xt_APPID \
--secret XUNFEI_API_SECRET=xf_xt_APISecret \
--secret XUNFEI_API_KEY=xf_xt_APIKey \
-- open "$APP"
;;
dual)
current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )"
[ "$current" != "dual" ] && echo dual > ~/.xtype-engine
xop run \
--secret XUNFEI_APPID=xf_xt_APPID \
--secret XUNFEI_API_SECRET=xf_xt_APISecret \
--secret XUNFEI_API_KEY=xf_xt_APIKey \
--secret LLM_KEY=llm_key \
--secret LLM_URL=llm_url \
--secret LLM_MODEL=llm_model \
-- open "$APP"
;;
apple)
current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )"
[ -n "$current" ] && [ "$current" != "apple" ] && echo apple > ~/.xtype-engine
open "$APP"
;;
apple-llm|*)
current="$( [ -f ~/.xtype-engine ] && tr -d '[:space:]' < ~/.xtype-engine || echo '' )"
[ -n "$current" ] && [ "$current" != "apple-llm" ] && echo apple-llm > ~/.xtype-engine
[ -z "$current" ] && echo apple-llm > ~/.xtype-engine
xop run \
--secret LLM_KEY=llm_key \
--secret LLM_URL=llm_url \
--secret LLM_MODEL=llm_model \
-- open "$APP"
;;
esac
# ---------- 配置目录 ~/.x/xtype(存明文凭据 → 0700 / 0600) ----------
CFG_DIR="$HOME/.x/xtype"
CFG="$CFG_DIR/config.json"
mkdir -p "$CFG_DIR"
chmod 700 "$CFG_DIR"
[ -f "$CFG" ] || cat > "$CFG" <<'EOF'
{
"engine": "apple",
"llm": {
"key": "",
"base-url": "",
"model": ""
},
"xunfei": {
"appid": "",
"api-secret": "",
"api-key": ""
}
}
EOF
chmod 600 "$CFG"
# 只改 engine,保留 llm/xunfei 凭据与原有键序(python json 保序)
PYTHON=/usr/bin/python3
"$PYTHON" - "$CFG" "$MODE" <<'PY'
import collections, json, sys
path, mode = sys.argv[1], sys.argv[2]
with open(path) as f:
cfg = json.load(f, object_pairs_hook=collections.OrderedDict)
cfg["engine"] = mode
with open(path, "w") as f:
json.dump(cfg, f, indent=2, ensure_ascii=False)
f.write("\n")
PY
chmod 600 "$CFG"
open "$APP"
sleep 2
cat /tmp/xtype.log
echo
echo "installed: $APP (pid $(pgrep -f XType)) engine=$MODE"
[ "$MODE" = "xunfei" ] || [ "$MODE" = "dual" ] && echo "vault used: xf_xt_APPID / xf_xt_APISecret / xf_xt_APIKey (no values in logs/argv)"
[ "$MODE" = "dual" ] || [ "$MODE" = "apple-llm" ] && echo "llm vault used: llm_key / llm_url / llm_model → env LLM_KEY/LLM_URL/LLM_MODEL (no values in logs/argv; ~/ssw.ini 仍可作 fallback)"
echo "config: $CFG (engine 已写入;llm/xunfei 凭据请自行填写,build.sh 不动它们)"
+75
View File
@@ -0,0 +1,75 @@
#!/bin/bash
# 一次性迁移:把 xop vault 里的凭据搬进 ~/.x/xtype/config.json
#
# 【为什么要手跑】明文密钥经 xop → 子进程 env → 文件,全程不进 agent 上下文。
# 本脚本由你自己执行(在 Claude Code 里用 `! src/migrate-vault-to-config.sh`),
# agent 永远看不到明文,只看到 "filled: llm.key, xunfei.appid, ..." 这种字段名。
#
# 幂等:已填好的字段不会被覆盖(只补空缺)。
# 用法: src/migrate-vault-to-config.sh
set -euo pipefail
CFG="$HOME/.x/xtype/config.json"
mkdir -p "$(dirname "$CFG")"
chmod 700 "$(dirname "$CFG")"
[ -f "$CFG" ] || cat > "$CFG" <<'EOF'
{
"engine": "apple",
"llm": {
"key": "",
"base-url": "",
"model": ""
},
"xunfei": {
"appid": "",
"api-secret": "",
"api-key": ""
}
}
EOF
# < /dev/null:跳过 xop 的 Touch ID 闸门(非交互式运行)。
# python 代码走 -c(不进 argv 传密钥,密钥只在 env 里),stdin 被 /dev/null 占掉。
xop run \
--secret LLM_KEY=llm_key \
--secret LLM_URL=llm_url \
--secret LLM_MODEL=llm_model \
--secret XUNFEI_APPID=xf_xt_APPID \
--secret XUNFEI_API_SECRET=xf_xt_APISecret \
--secret XUNFEI_API_KEY=xf_xt_APIKey \
-- /usr/bin/python3 -c '
import collections, json, os, sys
path = sys.argv[1]
with open(path) as f:
cfg = json.load(f, object_pairs_hook=collections.OrderedDict)
cfg.setdefault("llm", collections.OrderedDict())
cfg.setdefault("xunfei", collections.OrderedDict())
filled, skipped = [], []
for section, key, env in [
("llm", "key", "LLM_KEY"),
("llm", "base-url", "LLM_URL"),
("llm", "model", "LLM_MODEL"),
("xunfei", "appid", "XUNFEI_APPID"),
("xunfei", "api-secret", "XUNFEI_API_SECRET"),
("xunfei", "api-key", "XUNFEI_API_KEY"),
]:
val = os.environ.get(env, "")
if not val:
skipped.append(section + "." + key + "(vault 空)")
elif cfg[section].get(key):
skipped.append(section + "." + key + "(已填,不覆盖)")
else:
cfg[section][key] = val
filled.append(section + "." + key)
with open(path, "w") as f:
json.dump(cfg, f, indent=2, ensure_ascii=False)
f.write("\n")
os.chmod(path, 0o600)
print("filled:", ", ".join(filled) or "(无)")
print("skipped:", ", ".join(skipped) or "(无)")
print("config:", path, "(0600)")
' "$CFG" < /dev/null
+84 -77
View File
@@ -1,7 +1,8 @@
// xtype: 长按鼠标左键 → 说话 → 松开自动粘贴到光标处
// 引擎可选: apple / xunfei / dual(apple+xunfei 并行,apple 先贴)
// 凭据(仅 xunfei 需要): 经 xop run --secret 注入到环境变量,源码/git/日志绝不出现
// LLM 清洗(可选): ~/ssw.ini 的 [llm-api] 段,key/base-url/model;无配置则跳过
// 引擎可选: apple / apple-llm / xunfei / dual(apple+xunfei 并行,apple 先贴)
// 配置全在 ~/.x/xtype/config.json 一个文件:
// engine + llm{key,base-url,model} + xunfei{appid,api-secret,api-key}
// 凭据明文只落这一处(目录 0700、文件 0600),不进源码/git/日志
// 权限: 麦克风 + 语音识别(apple) / 麦克风 + 辅助功能(全模式)
import AppKit
import ApplicationServices
@@ -16,32 +17,69 @@ let movePx: CGFloat = 10 // 位移超过此值视为拖选,不激活
let maxRecSec: Double = 60 // 最长录音(到点直接贴当前已识别部分,不继续等)
let pollUs: UInt32 = 8_000 // 轮询周期 8ms (~125Hz)
let weChatPrefix = "com.tencent.xinWeChat"
let engineConfigPath = NSHomeDirectory() + "/.xtype-engine"
let llmIniPath = NSHomeDirectory() + "/ssw.ini"
// XType 专属配置目录: ~/.x/xtype/(config.json 存明文凭据 → 目录 0700、文件 0600)
let configDir = NSHomeDirectory() + "/.x/xtype"
let configPath = configDir + "/config.json"
// ---------- INI 读取(仅支持 section/key=value 简单格式) ----------
// 容忍 section/key 名里的全角破折号 `—` 与半角 `-` 等价(~/ssw.ini 历史上用 —)
func normINIKey(_ s: String) -> String {
s.replacingOccurrences(of: "—", with: "-").trimmingCharacters(in: .whitespaces)
// ---------- config.json ----------
/// ~/.x/xtype/config.json 的解析结果。缺字段一律留空,由调用方决定降级行为。
struct XTypeConfig {
var engine = "apple" // apple / apple-llm / xunfei / dual
var llmKey = ""
var llmBaseURL = ""
var llmModel = ""
var xunfeiAppID = ""
var xunfeiAPISecret = ""
var xunfeiAPIKey = ""
}
func loadINI(_ path: String) -> [String: [String: String]] {
guard let raw = try? String(contentsOfFile: path, encoding: .utf8) else { return [:] }
var sections: [String: [String: String]] = [:]
var current: String?
for line in raw.split(whereSeparator: { $0 == "\n" || $0 == "\r" }) {
let s = line.trimmingCharacters(in: .whitespaces)
if s.isEmpty || s.hasPrefix("#") || s.hasPrefix(";") { continue }
if s.hasPrefix("[") && s.hasSuffix("]") {
current = normINIKey(String(s.dropFirst().dropLast()))
sections[current!] = [:]
} else if let cur = current, let eq = s.firstIndex(of: "=") {
let k = normINIKey(String(s[..<eq]))
let v = String(s[s.index(after: eq)...]).trimmingCharacters(in: .whitespaces)
sections[cur]?[k] = v
}
/// 解析 config.json;非法 JSON → 返回默认值(不崩)
func parseConfig(_ data: Data) -> XTypeConfig {
var c = XTypeConfig()
guard let root = (try? JSONSerialization.jsonObject(with: data)) as? [String: Any] else { return c }
if let e = root["engine"] as? String, !e.isEmpty { c.engine = e }
if let llm = root["llm"] as? [String: Any] {
c.llmKey = llm["key"] as? String ?? ""
c.llmBaseURL = llm["base-url"] as? String ?? ""
c.llmModel = llm["model"] as? String ?? ""
}
return sections
if let xf = root["xunfei"] as? [String: Any] {
c.xunfeiAppID = xf["appid"] as? String ?? ""
c.xunfeiAPISecret = xf["api-secret"] as? String ?? ""
c.xunfeiAPIKey = xf["api-key"] as? String ?? ""
}
return c
}
/// 读 config.json;不存在 → 写模板(目录 0700,文件 0600)
func ensureConfig() -> XTypeConfig {
let fm = FileManager.default
if !fm.fileExists(atPath: configDir) {
try? fm.createDirectory(atPath: configDir, withIntermediateDirectories: true,
attributes: [.posixPermissions: 0o700])
}
guard let data = fm.contents(atPath: configPath) else {
let tmpl = """
{
"engine": "apple",
"llm": {
"key": "",
"base-url": "",
"model": ""
},
"xunfei": {
"appid": "",
"api-secret": "",
"api-key": ""
}
}
"""
try? tmpl.write(toFile: configPath, atomically: true, encoding: .utf8)
try? fm.setAttributes([.posixPermissions: 0o600], ofItemAtPath: configPath)
log("first launch: ~/.x/xtype/config.json missing, wrote template (填 engine/llm/xunfei)")
return XTypeConfig()
}
return parseConfig(data)
}
struct LLMConfig {
@@ -49,23 +87,13 @@ struct LLMConfig {
let baseURL: String // 例如 https://api.openai.com/v1
let model: String // 例如 gpt-4o-mini
static func load() -> LLMConfig? {
// 优先读 env(xop run --secret 注入),env 没有再回退 ~/ssw.ini
let env = ProcessInfo.processInfo.environment
if let k = env["LLM_KEY"], !k.isEmpty,
let u = env["LLM_URL"], !u.isEmpty,
let m = env["LLM_MODEL"], !m.isEmpty {
log("llm: env LLM_KEY/LLM_URL/LLM_MODEL (xop 注入,不落盘)")
return LLMConfig(key: k, baseURL: u, model: m)
}
let s = loadINI(llmIniPath)["llm-api"] ?? [:]
guard let k = s["key"], !k.isEmpty,
let u = s["base-url"], !u.isEmpty,
let m = s["model"], !m.isEmpty else {
log("llm: env 缺失且 ~/ssw.ini [llm-api] 缺失或字段不全,跳过 LLM 清洗")
let c = ensureConfig()
guard !c.llmKey.isEmpty, !c.llmBaseURL.isEmpty, !c.llmModel.isEmpty else {
log("llm: config.json 缺 llm.key/base-url/model,跳过 LLM 清洗")
return nil
}
log("llm: 加载 [llm-api] model=\(m) base=\(u.prefix(30))…")
return LLMConfig(key: k, baseURL: u, model: m)
log("llm: 加载 config.json llm.model=\(c.llmModel)")
return LLMConfig(key: c.llmKey, baseURL: c.llmBaseURL, model: c.llmModel)
}
}
@@ -96,37 +124,16 @@ protocol ASREngine {
}
func pickEngine() -> ASREngine {
let raw: String
if !FileManager.default.fileExists(atPath: engineConfigPath) {
// 首次启动: 写一份模板 + 提醒,默认 apple(无需凭据,保底能用)
let tmpl = """
# XType 引擎选择 — 取消注释任一行或填一个值,留空/注释全开 = apple 端侧
# apple Apple 端侧 SFSpeechRecognizer(无需凭据,zh-CN,流式,~1s)
# apple-llm apple + LLM 异步精修(凭据 xop 注入或 ~/ssw.ini [llm-api])
# xunfei 讯飞 IAT v2 WebSocket 流式(凭据 xop 注入;env 空则启动报错)
# dual apple + xunfei 并行 + LLM 精修(apple 先贴,讯飞覆盖,LLM 再覆盖)
#
# 凭据注入(可选): build 时 xop run --secret XUNFEI_APPID=xf_xt_APPID ...
# build 时 xop run --secret LLM_KEY=llm_key ...
#
apple
"""
try? tmpl.write(toFile: engineConfigPath, atomically: true, encoding: .utf8)
log("first launch: ~/.xtype-engine missing, wrote template (uncomment/select one of apple/apple-llm/xunfei/dual);defaulting to apple")
raw = "apple"
} else {
raw = (try? String(contentsOfFile: engineConfigPath, encoding: .utf8))?
.trimmingCharacters(in: .whitespacesAndNewlines) ?? "apple"
}
switch raw {
let cfg = ensureConfig()
switch cfg.engine {
case "xunfei":
log("engine: xunfei (require XUNFEI_APPID/API_SECRET/API_KEY in env)")
log("engine: xunfei (需 config.json xunfei.appid/api-secret/api-key)")
return XunfeiEngine()
case "dual":
log("engine: dual (apple first, xunfei overwrite later, llm refine)")
return DualEngine()
case "apple-llm", "llm":
log("engine: apple + LLM refine (env LLM_KEY/LLM_URL/LLM_MODEL preferred, else ~/ssw.ini [llm-api];缺失 → silent fallback to apple)")
log("engine: apple + LLM refine (config.json llm.*;缺失 → 静默回退 apple 原文)")
return AppleLLMEngine()
default:
log("engine: apple (on-device, no LLM)")
@@ -258,7 +265,7 @@ final class AppleEngine: ASREngine {
// ---------- Apple 端侧 + LLM 异步精修 ----------
// 流程: Apple 识别 → 贴出原文 → LLM 异步精修 → 若非空且不同则删原文再贴精修版
// 失败/超时/未配 INI: 不精修,保留 Apple 原文(不翻车)
// 失败/超时/未配 llm.*: 不精修,保留 Apple 原文(不翻车)
final class AppleLLMEngine: ASREngine {
let apple = AppleEngine()
let cleaner: LLMCleaner
@@ -308,8 +315,8 @@ final class AppleLLMEngine: ASREngine {
}
}
}
// 凭据来自环境变量(XUNFEI_APPID / XUNFEI_API_SECRET / XUNFEI_API_KEY),
// 由 xop run --secret 在启动前注入。引擎自身不读配置文件、不打 fallback —— 安静回退会让用户误以为"用了讯飞识别差"。
// 凭据来自 ~/.x/xtype/config.json 的 xunfei.{appid,api-secret,api-key}。
// 缺任一项 → 直接报错,不静默回退 apple(安静回退会让用户误以为"用了讯飞识别差")。
final class XunfeiEngine: NSObject, ASREngine {
let q = DispatchQueue(label: "xtype.xunfei")
let engine = AVAudioEngine()
@@ -340,12 +347,12 @@ final class XunfeiEngine: NSObject, ASREngine {
var readyForBegin: Bool { prepared }
private func envCreds() -> (id: String, secret: String, key: String)? {
let env = ProcessInfo.processInfo.environment
guard let id = env["XUNFEI_APPID"], !id.isEmpty,
let s = env["XUNFEI_API_SECRET"], !s.isEmpty,
let k = env["XUNFEI_API_KEY"], !k.isEmpty else { return nil }
return (id, s, k)
private func configCreds() -> (id: String, secret: String, key: String)? {
let c = ensureConfig()
guard !c.xunfeiAppID.isEmpty,
!c.xunfeiAPISecret.isEmpty,
!c.xunfeiAPIKey.isEmpty else { return nil }
return (c.xunfeiAppID, c.xunfeiAPISecret, c.xunfeiAPIKey)
}
private func rfc1123() -> String {
@@ -371,8 +378,8 @@ final class XunfeiEngine: NSObject, ASREngine {
// 先收尾旧的(session、wsTask),避免和上一轮并发触发 delegate 回调
cleanup()
guard let creds = envCreds() else {
lastErr = "missing env XUNFEI_APPID/API_SECRET/API_KEY — launch via `xop run --secret`"
guard let creds = configCreds() else {
lastErr = "missing config.json xunfei.appid/api-secret/api-key"
log("XUNFEI: \(lastErr!)")
return
}
@@ -783,7 +790,7 @@ final class DualEngine: ASREngine {
self.deleteChars(appleRaw.count)
paste(xfRaw)
}
// 3) LLM 异步精修(可关): 配了 ~/ssw.ini 就跑,返非空且不同时再覆盖一次
// 3) LLM 异步精修(可关): config.json 配了 llm.* 就跑,返非空且不同时再覆盖一次
self.cleaner.refine(xfRaw) { [weak self] refined in
guard let self = self else { return }
guard !refined.isEmpty, refined != xfRaw else { return }