rocr: 补本机(i7-9750H)性能基线 + AVX2已榨干结论 + INT8不可行
- 2019 MBP / i7-9750H 实测:
- 800x320 样本图常驻热态 ~3.5s(比 2015 Air 6.0s 快 1.7x)
- 1721x1245 大图常驻热态 ~12s(像素量 8.37x,单像素效率仍优)
- AVX2 已榨干:
- MNN AVX2 后端官方说比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%
- ROCR_PRECISION=low/lowbf16 在没 AVX-512 FP16/BF16 的机器上
退化为 FP32 + 走 fallback(user CPU 时间反而高 14%)
- INT8 路线在本机不可行:
- i7-9750H 没 VNNI/AVX-512(仅 Coffee Lake 2019 上半年)
- MNN PTQ 对 PP-OCRv6 det (DBNet) 精度崩(sigmoid 输出对量化极敏感)
- rec 模型是动态 shape,calibration 工具不支持
- 补 ROCR_NUM_THREADS / PRECISION / POWER / BACKEND 调优环境变量文档
- 推荐配置: ROCR_NUM_THREADS=6(本机最优)
This commit is contained in:
1 parent
c77a855eec
commit
b1225f7e40
1 file changed
+23
@@ -56,6 +56,23 @@ rocr scan.png json # JSON(含坐标框 + 置信度)
|
||||
> 或带 N 卡的机器走 CUDA / onnxruntime-gpu。
|
||||
> 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。
|
||||
|
||||
### 2019 MBP / i7-9750H 实测(本机,2026-09-12)
|
||||
|
||||
| 场景 | 单张耗时 | 与 2015 Air 对比 |
|
||||
|------|---------|------------------|
|
||||
| 800×320 样本图 常驻热态(threads=6) | **~3.5 s** | 比 6.0s 快 1.7×(6C12T vs 2C4T) |
|
||||
| 1721×1245 大图 常驻热态(threads=6) | **~12 s** | 像素量 8.37× → 实际每像素效率仍优 |
|
||||
| INT8 量化 det(62MB→6.2MB) | ❌ **精度崩:检测 0 个文字框** | — |
|
||||
|
||||
**AVX2 路径已榨干**:MNN 官方说 AVX2 后端比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%。`ROCR_PRECISION=low` / `lowbf16` 在没 AVX-512 FP16/BF16 的本机(i7-9750H 没有 AVX-512 / VNNI)上**退化为 FP32 + 走 fallback,user CPU 时间反而高 14%**——保持默认 `high/high`。
|
||||
|
||||
**INT8 路线在本机不可行**(详见工作空间根 `docs/int8-quantize-attempt-20260912.md`):
|
||||
1. i7-9750H 是 Coffee Lake(2019 上半年),**没有 VNNI / AVX-512**,INT8 没有专用硬件加速
|
||||
2. MNN 2.8.3 默认 PTQ 算法(KL + MAX_ABS)对 PP-OCRv6 det(DBNet)精度损失致命(sigmoid 输出对量化误差极敏感)
|
||||
3. rec 模型是动态 shape,calibration 工具不支持
|
||||
|
||||
**推荐配置**:`ROCR_NUM_THREADS=6`(threads=12 也接近,无显著差异,threads=4 略慢)
|
||||
|
||||
## 输出完整性(大 JSON / TSV 不截断)
|
||||
|
||||
- daemon 传输已修复:早期版本大响应会在 **8192 字节**(macOS unix socket 默认发送缓冲 8KB)处被截断,
|
||||
@@ -106,6 +123,12 @@ export ROCR_SOCK_DIR=/tmp # socket/pid/日志目录,默认 ~/.cache/rocr
|
||||
export RUSTO_BIN=/path/to/rusto-rs # 重定向二进制
|
||||
export RUSTO_MODEL_DIR=/path/to/models # 重定向模型目录
|
||||
export ROCR_HOME=/opt/rocr # 改变安装目标目录(install.sh 用)
|
||||
|
||||
# MNN 推理后端调优(rusto-rs 透传)
|
||||
export ROCR_NUM_THREADS=6 # MNN 线程数(默认 4;本机最优 6)
|
||||
export ROCR_PRECISION=high # high | normal | low (FP16, x86 没 AVX-512 退化) | lowbf16
|
||||
export ROCR_POWER=high # high | normal | low
|
||||
export ROCR_BACKEND=cpu # cpu | metal(x86 Mac 无效,见上节)
|
||||
```
|
||||
|
||||
daemon 日志:`~/.cache/rocr/daemon.log`。
|
||||
|
||||
Reference in new issue
Block a user