rocr: 刷新 CPU 二进制并修正性能实测数据

- bin/rusto-rs: 换为支持调优环境变量的构建
  (ROCR_BACKEND / ROCR_NUM_THREADS / ROCR_PRECISION / ROCR_POWER)
  旧构建不认这些变量,会导致按线程调优时静默无效。
- README: 性能实测改为【机器静置】时的真实值
  · 常驻 daemon 热态 ~6s(旧值 9.6–10s 是在 cargo build 抢 CPU 时测得,偏高)
  · 一次性 ~10s,首次(拉起 daemon) ~8s
  · 新增"机器有负载时会退到 10–15s"的说明,提醒计时前先关掉重活
  · 补线程数结论:1 线程 ~9s / 2 线程 ~5.98s / 4 线程 ~6.06s,2 线程即接近饱和
- README: 补上核显(Metal)实测结论——本机 Intel HD 6000 不可用(一次性慢约 32x、
  换尺寸图骤增到 63s),要 GPU 提速需 Apple Silicon 或 N 卡;核显勿再尝试
- README: 澄清 i8sdot/fp16/i8mm 是 ARM 特性探测串,x86 恒为 0,不代表无 SIMD
This commit is contained in:
ssw committed 2026-09-11 22:12:11 +08:00
1 parent aa819b10c8
commit c77a855eec
2 files changed
+18 -8

No files matched your search

+18 -8
View File
@@ -33,18 +33,28 @@ rocr scan.png json # JSON(含坐标框 + 置信度)
首次调用自动后台拉起 daemon:加载模型(一次,~2s)→ 监听 Unix socket(`~/.cache/rocr/rocr.sock`)。
之后每次调用走 socket,省去重复加载;**空闲 600 秒(10 分钟)无请求自动退出释放内存**,下次调用再自动拉起。
性能实测(Intel Mac,无 SIMD 加速):
性能实测(2015 款 MacBook Air,i5-5250U 2C4T / 8GB,MNN 走 AVX2 CPU 内核,**机器静置**):
| 模式 | 单张耗时 | 说明 |
|------|---------|------|
| 一次性(旧版) | ~12s | 每次加载模型 + 推理 |
| 常驻 daemon 热态 | **~9.5s** | 省掉加载,剩余为纯推理 |
| 首次(拉起 daemon) | ~13s | 加载 + 首次推理 |
| 常驻 daemon 热态 | **~6s** | 省掉加载,剩余为纯推理;与图片尺寸无关 |
| 一次性(未启用常驻) | ~10s | 每次加载模型 + 推理 |
| 首次(拉起 daemon) | ~8s | 模型加载约 2s + 首次推理 |
| 常驻 daemon 热态(**机器有负载时**) | 10–15s | 同时在编译 / Spotlight 索引 / 开浏览器时会明显变慢 |
> ⚠️ 瓶颈说明:本机 MNN 设备探测 `i8sdot:0, fp16:0, i8mm:0`(无 SIMD 加速路径),推理走慢速标量内核,
> rec 模型按检测行数逐行推理,**每张 ~9s 是推理本身的成本**。要数量级提速需换有 NEON/fp16 的机器(如 Apple Silicon),
> 或在批量场景换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。
> 耗时随文本行数近似线性增长:约 1–2s/行,一页 40 行的图约 50s。
> ⚠️ 瓶颈说明:每张 ~6s 是**推理本身**的成本(且与输入尺寸无关),rec 模型按检测到的文本行数逐行推理,
> 耗时随行数近似线性:约 1–2s/行,一页 40 行的图约 30–50s。
> 线程数实测(2 物理核 / 4 逻辑核):1 线程 ~9s,2 线程 ~5.98s,4 线程 ~6.06s —— 多线程有收益但 2 线程即接近饱和。
> **计时前请关掉重活**,否则数字会翻倍(本机在跑 `cargo build` 时曾测到 10.5s,同一配置静置仅 6.06s)。
> 注:日志里的 `The device supports: i8sdot:0, fp16:0, i8mm:0` 是 **ARM 特性探测串**,x86 上恒为 0,**不代表无 SIMD**(本机走 AVX2)。
>
> 🚫 **核显 GPU 已实测:不能提速(勿再尝试)**。用 MNN 官方 `mnn_3.6.1_macos_x64_arm82_cpu_opencl_metal`
> 重链出 Metal 后端实测(本机 Intel HD Graphics 6000,仅 `Metal GPUFamily macOS 1`):
> 一次性 **388–408s(慢约 32 倍)**;常驻下首次请求 394s(Metal 着色器运行时编译,本机无持久 shader 缓存),
> 热态同图 8.5s(仅比 CPU 快约 10%),但**换一张不同尺寸的图骤增到 63s**(按输入形状重编译流水线)。
> 对尺寸不一的真实文档完全不可用。要 GPU 提速需换 **Apple Silicon**(MNN Metal 对 M 系深度优化;源码 `cargo build --release --features metal`)
> 或带 N 卡的机器走 CUDA / onnxruntime-gpu。
> 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。
## 输出完整性(大 JSON / TSV 不截断)
BIN
View File
Binary file not shown.