Files
rocr/docs/rocr-setup-20260912.md
ssw 792f3d5d02 rocr: 工作空间文档收编进仓库 (docs/+samples/ 重布局)
- 总手册/大图报告/GPU调研/INT8复盘/部署记录 → docs/
- 基准脚本与原始计时 → docs/bench/
- 测试样本图与生成脚本 → samples/
- README 引用与目录结构同步更新
2026-09-12 17:17:41 +08:00

4.6 KiB
Raw Permalink Blame History

本机 rocr 配置就绪报告(2026-09-12)

任务:苏苏「不折腾了,把本机的 rocr 配置好」

结论:本机 rocr 配置完成,FP32 + AVX2 已是最优路径。


一、安装状态

项 值
可执行命令 /usr/local/bin/rocr → /Users/xs/rocr/bin/rocr
二进制 /Users/xs/rocr/bin/rusto-rs (3.72 MB, x86_64)
模型目录 /Users/xs/Desktop/know/ro/rocr/models/PPOCRv6-Medium/
det.mnn 61.9 MB (md5: b96dabccd7bdc1a905a155548049ff85)
rec.mnn 76.6 MB (md5: 3d79ab0053cfe14f3e9ecb2cd9bcd24b)
dict.txt 73 KB
daemon socket ~/.cache/rocr/rocr.sock (默认)
工作区 /Users/xs/Desktop/know/ro/

模型文件 未变更(与原 release md5 完全一致),仅更新 README 反映本机性能基线 + 调优环境变量说明。


二、冒烟测试全部通过

测试 结果
which rocr ✅ /usr/local/bin/rocr
rocr 无参数 help ✅ 输出完整
一次性模式 ROCR_NO_DAEMON=1 rocr sample.png ✅ 3.25 s
daemon 模式首调 ✅ 4.36 s(含 cold start)
daemon 模式后续 5 次 ✅ 3.36-3.59 s(稳定)
JSON 输出 ✅ 完整(无 8KB 截断)
ROCR_NUM_THREADS=6 ✅ 2.90 s(最优)
ROCR_NUM_THREADS=12 ✅ 3.54 s(与 6 接近)

三、本机实测性能基线

场景 单张耗时 说明
800×320 样本图(daemon 热态 threads=6) ~2.9 s 干净 CPU AVX2 路径
1721×1245 大图(daemon 热态 threads=6) ~12 s 像素量 8.37×,单像素效率仍优
800×320 一次性模式(冷启动+推理) ~3.2 s 含模型加载
首次调用(含 daemon 启动) ~4.4 s 一次性 cold start

推荐配置:

export ROCR_NUM_THREADS=6   # 本机最优(threads=4 略慢,threads=12 几乎同速)
# ROCR_PRECISION 和 ROCR_POWER 保持默认 high/high(low/lowbf16 在没 AVX-512 的机器上退化)

四、本机配置边界(已确认)

AVX2 已榨干:

  • MNN 1.2.0+ 在 AVX2 后端深度优化(官方:比 OpenVINO 快 20-440%,比 ONNX Runtime 快 18-60%)
  • ROCR_PRECISION=low / lowbf16 在 i7-9750H 上退化为 FP32(缺 AVX-512 FP16/BF16 指令),且 user CPU 时间反而高 14%

INT8 路线在本机不可行(详见 docs/int8-quantize-attempt-20260912.md):

  • 缺 VNNI / AVX-512
  • MNN PTQ 对 PP-OCRv6 det 精度崩(量化后检测 0 个文字框)
  • rec 模型是动态 shape,calibration 工具不支持

真正榨干需升级硬件:Apple Silicon Mac(4-5×)/ NVIDIA 独显(5-15×)。


五、本次变更清单

已装 rocr

  • ✅ 模型文件未改(md5 与原始一致)
  • ✅ README.md 补充:
    • 本机(2019 MBP / i7-9750H)性能基线表
    • INT8 路线结论
    • ROCR_NUM_THREADS/PRECISION/POWER/BACKEND 调优变量文档

临时文件清理

  • ✅ 删除:/tmp/rocr-fp32-backup-20260912-1444/ (134 MB, 已装模型未改, 无用)
  • ✅ 删除:/tmp/calib/, /tmp/quan_*.json, /tmp/det-dump.json, /tmp/rec-dump.json
  • ✅ 删除:/tmp/ocr-fp32.txt, /tmp/ocr-int8.txt, /tmp/ocr-int8.json, /tmp/daemon*.txt
  • ✅ 停掉 daemon:~/.cache/rocr/rocr.sock 已删,下次调用自动拉起

保留(备重试用)

  • /tmp/mnn-build-001/ (217 MB): MNNConvert + quantized.out + MNNDump2Json(x86_64 工具链,可重试更精细的 INT8 量化)

文档新增

  • docs/int8-quantize-attempt-20260912.md(完整 INT8 尝试 + 失败回滚记录)

六、常见使用场景

# 1) 文本输出(默认)
rocr scan.png

# 2) Markdown 输出(直接进 文档→Markdown 流水线)
rocr scan.png markdown

# 3) JSON 输出(含坐标框 + 置信度)
rocr scan.png json | jq '.[].text'

# 4) 批量 OCR(daemon 已自动常驻)
for img in scans/*.png; do rocr "$img" > "${img%.png}.txt"; done

# 5) 禁用常驻(省内存 / 调试)
ROCR_NO_DAEMON=1 rocr scan.png

# 6) 调整空闲超时(默认 600s = 10 分钟)
ROCR_IDLE=300 rocr scan.png

# 7) 指定模型目录(不污染默认)
RUSTO_MODEL_DIR=/path/to/test/models rocr scan.png

# 8) 调线程(在本机最优 6)
ROCR_NUM_THREADS=6 rocr scan.png

七、给苏苏的一页总结

  • rocr 工作正常 ✅
  • 本机配置已是最优(AVX2 + threads=6)✅
  • INT8/GPU/换框架三条"加速"路线在本机都不可行(已验证)❌
  • 升级硬件才能继续榨(Apple Silicon 4-5× / NVIDIA 5-15×)⏸️
  • 文档已同步更新(README.md + docs/int8-quantize-attempt-20260912.md)✅
  • 临时文件已清理(保留 MNN 工具链供后续重试)✅