rocr: 补本机(i7-9750H)性能基线 + AVX2已榨干结论 + INT8不可行

- 2019 MBP / i7-9750H 实测:
  - 800x320 样本图常驻热态 ~3.5s(比 2015 Air 6.0s 快 1.7x)
  - 1721x1245 大图常驻热态 ~12s(像素量 8.37x,单像素效率仍优)
- AVX2 已榨干:
  - MNN AVX2 后端官方说比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%
  - ROCR_PRECISION=low/lowbf16 在没 AVX-512 FP16/BF16 的机器上
    退化为 FP32 + 走 fallback(user CPU 时间反而高 14%)
- INT8 路线在本机不可行:
  - i7-9750H 没 VNNI/AVX-512(仅 Coffee Lake 2019 上半年)
  - MNN PTQ 对 PP-OCRv6 det (DBNet) 精度崩(sigmoid 输出对量化极敏感)
  - rec 模型是动态 shape,calibration 工具不支持
- 补 ROCR_NUM_THREADS / PRECISION / POWER / BACKEND 调优环境变量文档
- 推荐配置: ROCR_NUM_THREADS=6(本机最优)
This commit is contained in:
ssw committed 2026-09-12 16:12:09 +08:00
1 parent c77a855eec
commit b1225f7e40
1 file changed
+23
+23
View File
@@ -56,6 +56,23 @@ rocr scan.png json # JSON(含坐标框 + 置信度)
> 或带 N 卡的机器走 CUDA / onnxruntime-gpu。
> 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。
### 2019 MBP / i7-9750H 实测(本机,2026-09-12)
| 场景 | 单张耗时 | 与 2015 Air 对比 |
|------|---------|------------------|
| 800×320 样本图 常驻热态(threads=6) | **~3.5 s** | 比 6.0s 快 1.7×(6C12T vs 2C4T) |
| 1721×1245 大图 常驻热态(threads=6) | **~12 s** | 像素量 8.37× → 实际每像素效率仍优 |
| INT8 量化 det(62MB→6.2MB) | ❌ **精度崩:检测 0 个文字框** | — |
**AVX2 路径已榨干**:MNN 官方说 AVX2 后端比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%。`ROCR_PRECISION=low` / `lowbf16` 在没 AVX-512 FP16/BF16 的本机(i7-9750H 没有 AVX-512 / VNNI)上**退化为 FP32 + 走 fallback,user CPU 时间反而高 14%**——保持默认 `high/high`。
**INT8 路线在本机不可行**(详见工作空间根 `docs/int8-quantize-attempt-20260912.md`):
1. i7-9750H 是 Coffee Lake(2019 上半年),**没有 VNNI / AVX-512**,INT8 没有专用硬件加速
2. MNN 2.8.3 默认 PTQ 算法(KL + MAX_ABS)对 PP-OCRv6 det(DBNet)精度损失致命(sigmoid 输出对量化误差极敏感)
3. rec 模型是动态 shape,calibration 工具不支持
**推荐配置**:`ROCR_NUM_THREADS=6`(threads=12 也接近,无显著差异,threads=4 略慢)
## 输出完整性(大 JSON / TSV 不截断)
- daemon 传输已修复:早期版本大响应会在 **8192 字节**(macOS unix socket 默认发送缓冲 8KB)处被截断,
@@ -106,6 +123,12 @@ export ROCR_SOCK_DIR=/tmp # socket/pid/日志目录,默认 ~/.cache/rocr
export RUSTO_BIN=/path/to/rusto-rs # 重定向二进制
export RUSTO_MODEL_DIR=/path/to/models # 重定向模型目录
export ROCR_HOME=/opt/rocr # 改变安装目标目录(install.sh 用)
# MNN 推理后端调优(rusto-rs 透传)
export ROCR_NUM_THREADS=6 # MNN 线程数(默认 4;本机最优 6)
export ROCR_PRECISION=high # high | normal | low (FP16, x86 没 AVX-512 退化) | lowbf16
export ROCR_POWER=high # high | normal | low
export ROCR_BACKEND=cpu # cpu | metal(x86 Mac 无效,见上节)
```
daemon 日志:`~/.cache/rocr/daemon.log`。