From b1225f7e4090cd5ae38bfa2365b6bb501d97af85 Mon Sep 17 00:00:00 2001 From: ssw Date: Sat, 12 Sep 2026 16:12:09 +0800 Subject: [PATCH] =?UTF-8?q?rocr:=20=E8=A1=A5=E6=9C=AC=E6=9C=BA(i7-9750H)?= =?UTF-8?q?=E6=80=A7=E8=83=BD=E5=9F=BA=E7=BA=BF=20+=20AVX2=E5=B7=B2?= =?UTF-8?q?=E6=A6=A8=E5=B9=B2=E7=BB=93=E8=AE=BA=20+=20INT8=E4=B8=8D?= =?UTF-8?q?=E5=8F=AF=E8=A1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 2019 MBP / i7-9750H 实测: - 800x320 样本图常驻热态 ~3.5s(比 2015 Air 6.0s 快 1.7x) - 1721x1245 大图常驻热态 ~12s(像素量 8.37x,单像素效率仍优) - AVX2 已榨干: - MNN AVX2 后端官方说比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60% - ROCR_PRECISION=low/lowbf16 在没 AVX-512 FP16/BF16 的机器上 退化为 FP32 + 走 fallback(user CPU 时间反而高 14%) - INT8 路线在本机不可行: - i7-9750H 没 VNNI/AVX-512(仅 Coffee Lake 2019 上半年) - MNN PTQ 对 PP-OCRv6 det (DBNet) 精度崩(sigmoid 输出对量化极敏感) - rec 模型是动态 shape,calibration 工具不支持 - 补 ROCR_NUM_THREADS / PRECISION / POWER / BACKEND 调优环境变量文档 - 推荐配置: ROCR_NUM_THREADS=6(本机最优) --- README.md | 23 +++++++++++++++++++++++ 1 file changed, 23 insertions(+) diff --git a/README.md b/README.md index 43b109f..aac15d5 100644 --- a/README.md +++ b/README.md @@ -56,6 +56,23 @@ rocr scan.png json # JSON(含坐标框 + 置信度) > 或带 N 卡的机器走 CUDA / onnxruntime-gpu。 > 批量提速的可行手段:换小模型档(官方 release 另有 PPOCRv6-Tiny ~5.5MB,精度略降但快数倍)。 +### 2019 MBP / i7-9750H 实测(本机,2026-09-12) + +| 场景 | 单张耗时 | 与 2015 Air 对比 | +|------|---------|------------------| +| 800×320 样本图 常驻热态(threads=6) | **~3.5 s** | 比 6.0s 快 1.7×(6C12T vs 2C4T) | +| 1721×1245 大图 常驻热态(threads=6) | **~12 s** | 像素量 8.37× → 实际每像素效率仍优 | +| INT8 量化 det(62MB→6.2MB) | ❌ **精度崩:检测 0 个文字框** | — | + +**AVX2 路径已榨干**:MNN 官方说 AVX2 后端比 OpenVINO 快 20-440%、比 ONNX Runtime 快 18-60%。`ROCR_PRECISION=low` / `lowbf16` 在没 AVX-512 FP16/BF16 的本机(i7-9750H 没有 AVX-512 / VNNI)上**退化为 FP32 + 走 fallback,user CPU 时间反而高 14%**——保持默认 `high/high`。 + +**INT8 路线在本机不可行**(详见工作空间根 `docs/int8-quantize-attempt-20260912.md`): +1. i7-9750H 是 Coffee Lake(2019 上半年),**没有 VNNI / AVX-512**,INT8 没有专用硬件加速 +2. MNN 2.8.3 默认 PTQ 算法(KL + MAX_ABS)对 PP-OCRv6 det(DBNet)精度损失致命(sigmoid 输出对量化误差极敏感) +3. rec 模型是动态 shape,calibration 工具不支持 + +**推荐配置**:`ROCR_NUM_THREADS=6`(threads=12 也接近,无显著差异,threads=4 略慢) + ## 输出完整性(大 JSON / TSV 不截断) - daemon 传输已修复:早期版本大响应会在 **8192 字节**(macOS unix socket 默认发送缓冲 8KB)处被截断, @@ -106,6 +123,12 @@ export ROCR_SOCK_DIR=/tmp # socket/pid/日志目录,默认 ~/.cache/rocr export RUSTO_BIN=/path/to/rusto-rs # 重定向二进制 export RUSTO_MODEL_DIR=/path/to/models # 重定向模型目录 export ROCR_HOME=/opt/rocr # 改变安装目标目录(install.sh 用) + +# MNN 推理后端调优(rusto-rs 透传) +export ROCR_NUM_THREADS=6 # MNN 线程数(默认 4;本机最优 6) +export ROCR_PRECISION=high # high | normal | low (FP16, x86 没 AVX-512 退化) | lowbf16 +export ROCR_POWER=high # high | normal | low +export ROCR_BACKEND=cpu # cpu | metal(x86 Mac 无效,见上节) ``` daemon 日志:`~/.cache/rocr/daemon.log`。