diff --git a/README.md b/README.md index dce3f8e..43b109f 100644 --- a/README.md +++ b/README.md @@ -33,18 +33,28 @@ rocr scan.png json # JSON(含坐标框 + 置信度) 首次调用自动后台拉起 daemon:加载模型(一次,~2s)→ 监听 Unix socket(`~/.cache/rocr/rocr.sock`)。 之后每次调用走 socket,省去重复加载;**空闲 600 秒(10 分钟)无请求自动退出释放内存**,下次调用再自动拉起。 -性能实测(Intel Mac,无 SIMD 加速): +性能实测(2015 款 MacBook Air,i5-5250U 2C4T / 8GB,MNN 走 AVX2 CPU 内核,**机器静置**): | 模式 | 单张耗时 | 说明 | |------|---------|------| -| 一次性(旧版) | ~12s | 每次加载模型 + 推理 | -| 常驻 daemon 热态 | **~9.5s** | 省掉加载,剩余为纯推理 | -| 首次(拉起 daemon) | ~13s | 加载 + 首次推理 | +| 常驻 daemon 热态 | **~6s** | 省掉加载,剩余为纯推理;与图片尺寸无关 | +| 一次性(未启用常驻) | ~10s | 每次加载模型 + 推理 | +| 首次(拉起 daemon) | ~8s | 模型加载约 2s + 首次推理 | +| 常驻 daemon 热态(**机器有负载时**) | 10–15s | 同时在编译 / Spotlight 索引 / 开浏览器时会明显变慢 | -> ⚠️ 瓶颈说明:本机 MNN 设备探测 `i8sdot:0, fp16:0, i8mm:0`(无 SIMD 加速路径),推理走慢速标量内核, -> rec 模型按检测行数逐行推理,**每张 ~9s 是推理本身的成本**。要数量级提速需换有 NEON/fp16 的机器(如 Apple Silicon), -> 或在批量场景换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。 -> 耗时随文本行数近似线性增长:约 1–2s/行,一页 40 行的图约 50s。 +> ⚠️ 瓶颈说明:每张 ~6s 是**推理本身**的成本(且与输入尺寸无关),rec 模型按检测到的文本行数逐行推理, +> 耗时随行数近似线性:约 1–2s/行,一页 40 行的图约 30–50s。 +> 线程数实测(2 物理核 / 4 逻辑核):1 线程 ~9s,2 线程 ~5.98s,4 线程 ~6.06s —— 多线程有收益但 2 线程即接近饱和。 +> **计时前请关掉重活**,否则数字会翻倍(本机在跑 `cargo build` 时曾测到 10.5s,同一配置静置仅 6.06s)。 +> 注:日志里的 `The device supports: i8sdot:0, fp16:0, i8mm:0` 是 **ARM 特性探测串**,x86 上恒为 0,**不代表无 SIMD**(本机走 AVX2)。 +> +> 🚫 **核显 GPU 已实测:不能提速(勿再尝试)**。用 MNN 官方 `mnn_3.6.1_macos_x64_arm82_cpu_opencl_metal` +> 重链出 Metal 后端实测(本机 Intel HD Graphics 6000,仅 `Metal GPUFamily macOS 1`): +> 一次性 **388–408s(慢约 32 倍)**;常驻下首次请求 394s(Metal 着色器运行时编译,本机无持久 shader 缓存), +> 热态同图 8.5s(仅比 CPU 快约 10%),但**换一张不同尺寸的图骤增到 63s**(按输入形状重编译流水线)。 +> 对尺寸不一的真实文档完全不可用。要 GPU 提速需换 **Apple Silicon**(MNN Metal 对 M 系深度优化;源码 `cargo build --release --features metal`) +> 或带 N 卡的机器走 CUDA / onnxruntime-gpu。 +> 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。 ## 输出完整性(大 JSON / TSV 不截断) diff --git a/bin/rusto-rs b/bin/rusto-rs index be0bfbc..444c84f 100755 Binary files a/bin/rusto-rs and b/bin/rusto-rs differ