diff --git a/README.md b/README.md index 43b109f..aac15d5 100644 --- a/README.md +++ b/README.md @@ -56,6 +56,23 @@ rocr scan.png json # JSON(含坐标框 + 置信度) > 或带 N 卡的机器走 CUDA / onnxruntime-gpu。 > 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。 +### 2019 MBP / i7-9750H 实测(本机,2026-09-12) + +| 场景 | 单张耗时 | 与 2015 Air 对比 | +|------|---------|------------------| +| 800×320 样本图 常驻热态(threads=6) | **~3.5 s** | 比 6.0s 快 1.7×(6C12T vs 2C4T) | +| 1721×1245 大图 常驻热态(threads=6) | **~12 s** | 像素量 8.37× → 实际每像素效率仍优 | +| INT8 量化 det(62MB→6.2MB) | ❌ **精度崩:检测 0 个文字框** | — | + +**AVX2 路径已榨干**:MNN 官方说 AVX2 后端比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%。`ROCR_PRECISION=low` / `lowbf16` 在没 AVX-512 FP16/BF16 的本机(i7-9750H 没有 AVX-512 / VNNI)上**退化为 FP32 + 走 fallback,user CPU 时间反而高 14%**——保持默认 `high/high`。 + +**INT8 路线在本机不可行**(详见工作空间根 `docs/int8-quantize-attempt-20260912.md`): +1. i7-9750H 是 Coffee Lake(2019 上半年),**没有 VNNI / AVX-512**,INT8 没有专用硬件加速 +2. MNN 2.8.3 默认 PTQ 算法(KL + MAX_ABS)对 PP-OCRv6 det(DBNet)精度损失致命(sigmoid 输出对量化误差极敏感) +3. rec 模型是动态 shape,calibration 工具不支持 + +**推荐配置**:`ROCR_NUM_THREADS=6`(threads=12 也接近,无显著差异,threads=4 略慢) + ## 输出完整性(大 JSON / TSV 不截断) - daemon 传输已修复:早期版本大响应会在 **8192 字节**(macOS unix socket 默认发送缓冲 8KB)处被截断, @@ -106,6 +123,12 @@ export ROCR_SOCK_DIR=/tmp # socket/pid/日志目录,默认 ~/.cache/rocr export RUSTO_BIN=/path/to/rusto-rs # 重定向二进制 export RUSTO_MODEL_DIR=/path/to/models # 重定向模型目录 export ROCR_HOME=/opt/rocr # 改变安装目标目录(install.sh 用) + +# MNN 推理后端调优(rusto-rs 透传) +export ROCR_NUM_THREADS=6 # MNN 线程数(默认 4;本机最优 6) +export ROCR_PRECISION=high # high | normal | low (FP16, x86 没 AVX-512 退化) | lowbf16 +export ROCR_POWER=high # high | normal | low +export ROCR_BACKEND=cpu # cpu | metal(x86 Mac 无效,见上节) ``` daemon 日志:`~/.cache/rocr/daemon.log`。