Files
rocr/docs/int8-quantize-attempt-20260912.md
ssw 792f3d5d02 rocr: 工作空间文档收编进仓库 (docs/+samples/ 重布局)
- 总手册/大图报告/GPU调研/INT8复盘/部署记录 → docs/
- 基准脚本与原始计时 → docs/bench/
- 测试样本图与生成脚本 → samples/
- README 引用与目录结构同步更新
2026-09-12 17:17:41 +08:00

5.9 KiB
Raw Permalink Blame History

INT8 量化尝试(2026-09-12)- 失败回滚

任务:苏苏「去更新本机的 rocr,用 ax2 方案(AVX2 + INT8 量化)」

结论一句话:本机 INT8 量化精度崩了(det 模型量化后检测 0 个文字框),回滚到 FP32。这是硬件 + 模型 + 工具链三重限制的结果。


一、本机硬件能力(决定 INT8 上限)

项目 状态
CPU i7-9750H(Coffee Lake 2019 上半年)
AVX2 / FMA / ADX / BMI1/2 ✅ 全在
VNNI(INT8 专用硬件指令) ❌ 没有
AVX-512 ❌ 没有

关键限制:VNNI 是 Cascade Lake(2019 下半年服务器)/ Ice Lake(10 代笔记本)才有的。本机没有 INT8 硬件加速,只能走 AVX2 通用整数指令(vpmaddubsw + vpmaddwd),AVX2 上 INT8 收益有限。


二、实际执行步骤

1. 备份已装 FP32 模型 ✅

  • 路径:/Users/xs/Desktop/know/ro/rocr/models/PPOCRv6-Medium/
  • 备份:/tmp/rocr-fp32-backup-20260912-1444/
  • 备份前/后 md5 校验:det.mnn=b96dabccd7bdc1a905a155548049ff85,rec.mnn=3d79ab0053cfe14f3e9ecb2cd9bcd24b

2. 工具链折腾 ✅

步骤 结果
pip install MNN 装到本机 Python 3.13 ❌ wheel 只有 macOS 14+ ARM64,本机 x86 + macOS 26 符号不匹配
pip install MNN --target --platform macosx_11_0_x86_64 ⚠️ 装上 x86 wheel,但 _mnncengine.so 缺 __ZN3MNN10getVersionEv 等所有主运行时符号,wheel 本身不完整
brew install [email protected] ✅ 26 分钟装好
用 Python 3.10 + x86 wheel 装 MNN ❌ 同样符号缺失(wheel 本身问题,与 Python 版本无关)
brew install cmake ✅(之前已装 cmake 4.4.3)
从源码编译 MNN 完整工程 ⚠️ 10 分钟 / 30% + MNN 缺 <cstdint> bug + SIGTERM,最终修好 cpu_id.cc 后跑通
开 -DMNN_BUILD_QUANTOOLS=ON 重编 quantized.out ✅ 编译成功(608 KB x86_64 二进制)

3. det 量化 ✅

  • 配置:/tmp/quan_det.json,640×640,KL 特征量化 + MAX_ABS 权重量化,feature_clamp=127, weight_clamp=127
  • 校准集:4 张图(800×320×2, 1000×400, 1721×1245)
  • 结果:62.0 MB → 6.2 MB(缩小 10×)

4. rec 量化 ❌

  • 尝试 48×320(PP-OCR 标准 rec 输入)
  • 错误:Can't run session because not resized / Invalid Tensor, the session may not be ready
  • 原因:PP-OCRv6 rec 模型是动态 shape(按字符宽度变化),calibration 工具不支持动态 shape 模型

5. INT8 det 精度回归 ❌ 致命

  • 加载 INT8 det + FP32 rec + dict.txt
  • 测试样本图:lt-a-800x320.png(5 行中文订单)
  • 测试大图:12.png(WorkBuddy 截图 1721×1245)
  • 结果:两张图都返回 [](检测到 0 个文字框)
  • FP32 同样两张图正常工作(输出 177+ 字符)

三、INT8 精度崩的可能原因

原因 影响
没有 VNNI,AVX2 INT8 没有专用硬件路径,量化误差未在硬件层吸收 显著
校准集仅 4 张、域单一(多是有结构中文文档),KL 散度估计的激活分布不准 显著
det 是 DBNet 检测网络,输出是 sigmoid 概率图,对量化误差极敏感 —— 小误差→概率阈值过滤→所有框丢失 致命
feature_clamp_value=127 太宽(PP-OCR 标准是 1.0~5.0),分布尾部被截断 显著
MNN 2.8.3 的 PTQ 算法相对较弱,未集成 ADMM/percentile 等更稳的算法 中等

关键事实:日本开发者的实践(note.com/answ_kaz)显示 PP-OCRv6 INT8 量化需要 混合量化(conv static QDQ + MatMul dynamic)+ 精确校准集(99.9% Percentile)才能保住精度。MNN 工具链的默认 PTQ 对 PP-OCRv6 不够精细。


四、决定:回滚(已装模型未改)

  • 已装 FP32 模型未改动,md5 与原始一致
  • 备份在 /tmp/rocr-fp32-backup-20260912-1444/,随时可还原(其实没必要)
  • INT8 测试产物 /tmp/int8-out/ /tmp/int8-model/ 已清理

五、为什么「用好 AVX2 路径」在本机无可榨

之前已验证(MNN 调优 v2 任务):

  • MNN 默认配置 high/high, threads=6 就是最优
  • precision=low/lowbf16 在没 AVX-512 FP16/BF16 的机器上退化为 FP32 + 走 fallback(指令数 287-289G 三种精度几乎相同,但 user CPU 时间 low 高 14%)
  • threads=4 没榨满,threads=8/12 因超线程争抢变慢
  • MNN 已榨干 AVX2(官方说 AVX2 后端比 OpenVINO 快 20-440%,比 ONNX Runtime 快 18-60%)

本机 x86 Mac 的真实极限就是当前 FP32 CPU 性能:

  • 12.png(1721×1245):12.06-12.46 s/张(线程 6-12,最优中位 12.06s)
  • 800×320 样本图:2.14-2.33 s/张

INT8 在本机不可行:没 VNNI 硬件加速 + MNN PTQ 精度崩。正确做法是升级硬件(Apple Silicon Mac 4-5×、NVIDIA 独显 5-15×)。


六、对苏苏的诚实回答

苏苏:「去更新本机的 rocr,用 ax2 方案」

实际可行路径:

方案 工作量 收益 状态
调 ROCR_PRECISION/POWER 榨 AVX2 5 分钟 0%(已榨干) ❌ 无效
INT8 weight + feature 量化(PP-OCRv6) 半天 崩精度,0 加速 ❌ 失败回滚
换 ONNX Runtime MLAS 半天 负优化(MNN 已比 ORT 快 18-60%) ❌ 不可行
Apple Silicon Mac 硬件 4-5× ⏸️ 等换硬件
NVIDIA 独显 硬件 5-15× ⏸️ 等换硬件

结论:本机已达 x86 AVX2 极限。苏苏想要的「用好 AVX2 路径」已经实现(high/high, threads=6 = 当前最优)。INT8 路径在本机不可行——这不是 bug,是硬件 + 模型 + 工具链的三重限制。

留给未来的工作:

  1. 备份 /tmp/rocr-fp32-backup-20260912-1444/ 可以删除(已装模型未改,无用)
  2. 编译产物 /tmp/mnn-build-001/MNNConvert 和 quantized.out 保留——可作为下一次重试 INT8 的工具链
  3. 真正的榨干需要升级硬件(Apple Silicon 或 NVIDIA)