- 总手册/大图报告/GPU调研/INT8复盘/部署记录 → docs/ - 基准脚本与原始计时 → docs/bench/ - 测试样本图与生成脚本 → samples/ - README 引用与目录结构同步更新
4.6 KiB
4.6 KiB
本机 rocr 配置就绪报告(2026-09-12)
任务:苏苏「不折腾了,把本机的 rocr 配置好」
结论:本机 rocr 配置完成,FP32 + AVX2 已是最优路径。
一、安装状态
| 项 | 值 |
|---|---|
| 可执行命令 | /usr/local/bin/rocr → /Users/xs/rocr/bin/rocr |
| 二进制 | /Users/xs/rocr/bin/rusto-rs (3.72 MB, x86_64) |
| 模型目录 | /Users/xs/Desktop/know/ro/rocr/models/PPOCRv6-Medium/ |
| det.mnn | 61.9 MB (md5: b96dabccd7bdc1a905a155548049ff85) |
| rec.mnn | 76.6 MB (md5: 3d79ab0053cfe14f3e9ecb2cd9bcd24b) |
| dict.txt | 73 KB |
| daemon socket | ~/.cache/rocr/rocr.sock (默认) |
| 工作区 | /Users/xs/Desktop/know/ro/ |
模型文件 未变更(与原 release md5 完全一致),仅更新 README 反映本机性能基线 + 调优环境变量说明。
二、冒烟测试全部通过
| 测试 | 结果 |
|---|---|
which rocr |
✅ /usr/local/bin/rocr |
rocr 无参数 help |
✅ 输出完整 |
一次性模式 ROCR_NO_DAEMON=1 rocr sample.png |
✅ 3.25 s |
| daemon 模式首调 | ✅ 4.36 s(含 cold start) |
| daemon 模式后续 5 次 | ✅ 3.36-3.59 s(稳定) |
| JSON 输出 | ✅ 完整(无 8KB 截断) |
ROCR_NUM_THREADS=6 |
✅ 2.90 s(最优) |
ROCR_NUM_THREADS=12 |
✅ 3.54 s(与 6 接近) |
三、本机实测性能基线
| 场景 | 单张耗时 | 说明 |
|---|---|---|
| 800×320 样本图(daemon 热态 threads=6) | ~2.9 s | 干净 CPU AVX2 路径 |
| 1721×1245 大图(daemon 热态 threads=6) | ~12 s | 像素量 8.37×,单像素效率仍优 |
| 800×320 一次性模式(冷启动+推理) | ~3.2 s | 含模型加载 |
| 首次调用(含 daemon 启动) | ~4.4 s | 一次性 cold start |
推荐配置:
export ROCR_NUM_THREADS=6 # 本机最优(threads=4 略慢,threads=12 几乎同速)
# ROCR_PRECISION 和 ROCR_POWER 保持默认 high/high(low/lowbf16 在没 AVX-512 的机器上退化)
四、本机配置边界(已确认)
AVX2 已榨干:
- MNN 1.2.0+ 在 AVX2 后端深度优化(官方:比 OpenVINO 快 20-440%,比 ONNX Runtime 快 18-60%)
ROCR_PRECISION=low/lowbf16在 i7-9750H 上退化为 FP32(缺 AVX-512 FP16/BF16 指令),且 user CPU 时间反而高 14%
INT8 路线在本机不可行(详见 docs/int8-quantize-attempt-20260912.md):
- 缺 VNNI / AVX-512
- MNN PTQ 对 PP-OCRv6 det 精度崩(量化后检测 0 个文字框)
- rec 模型是动态 shape,calibration 工具不支持
真正榨干需升级硬件:Apple Silicon Mac(4-5×)/ NVIDIA 独显(5-15×)。
五、本次变更清单
已装 rocr
- ✅ 模型文件未改(md5 与原始一致)
- ✅
README.md补充:- 本机(2019 MBP / i7-9750H)性能基线表
- INT8 路线结论
ROCR_NUM_THREADS/PRECISION/POWER/BACKEND调优变量文档
临时文件清理
- ✅ 删除:
/tmp/rocr-fp32-backup-20260912-1444/(134 MB, 已装模型未改, 无用) - ✅ 删除:
/tmp/calib/,/tmp/quan_*.json,/tmp/det-dump.json,/tmp/rec-dump.json - ✅ 删除:
/tmp/ocr-fp32.txt,/tmp/ocr-int8.txt,/tmp/ocr-int8.json,/tmp/daemon*.txt - ✅ 停掉 daemon:
~/.cache/rocr/rocr.sock已删,下次调用自动拉起
保留(备重试用)
/tmp/mnn-build-001/(217 MB): MNNConvert + quantized.out + MNNDump2Json(x86_64 工具链,可重试更精细的 INT8 量化)
文档新增
docs/int8-quantize-attempt-20260912.md(完整 INT8 尝试 + 失败回滚记录)
六、常见使用场景
# 1) 文本输出(默认)
rocr scan.png
# 2) Markdown 输出(直接进 文档→Markdown 流水线)
rocr scan.png markdown
# 3) JSON 输出(含坐标框 + 置信度)
rocr scan.png json | jq '.[].text'
# 4) 批量 OCR(daemon 已自动常驻)
for img in scans/*.png; do rocr "$img" > "${img%.png}.txt"; done
# 5) 禁用常驻(省内存 / 调试)
ROCR_NO_DAEMON=1 rocr scan.png
# 6) 调整空闲超时(默认 600s = 10 分钟)
ROCR_IDLE=300 rocr scan.png
# 7) 指定模型目录(不污染默认)
RUSTO_MODEL_DIR=/path/to/test/models rocr scan.png
# 8) 调线程(在本机最优 6)
ROCR_NUM_THREADS=6 rocr scan.png
七、给苏苏的一页总结
- rocr 工作正常 ✅
- 本机配置已是最优(AVX2 + threads=6)✅
- INT8/GPU/换框架三条"加速"路线在本机都不可行(已验证)❌
- 升级硬件才能继续榨(Apple Silicon 4-5× / NVIDIA 5-15×)⏸️
- 文档已同步更新(README.md + docs/int8-quantize-attempt-20260912.md)✅
- 临时文件已清理(保留 MNN 工具链供后续重试)✅