- 总手册/大图报告/GPU调研/INT8复盘/部署记录 → docs/ - 基准脚本与原始计时 → docs/bench/ - 测试样本图与生成脚本 → samples/ - README 引用与目录结构同步更新
5.9 KiB
5.9 KiB
INT8 量化尝试(2026-09-12)- 失败回滚
任务:苏苏「去更新本机的 rocr,用 ax2 方案(AVX2 + INT8 量化)」
结论一句话:本机 INT8 量化精度崩了(det 模型量化后检测 0 个文字框),回滚到 FP32。这是硬件 + 模型 + 工具链三重限制的结果。
一、本机硬件能力(决定 INT8 上限)
| 项目 | 状态 |
|---|---|
| CPU | i7-9750H(Coffee Lake 2019 上半年) |
| AVX2 / FMA / ADX / BMI1/2 | ✅ 全在 |
| VNNI(INT8 专用硬件指令) | ❌ 没有 |
| AVX-512 | ❌ 没有 |
关键限制:VNNI 是 Cascade Lake(2019 下半年服务器)/ Ice Lake(10 代笔记本)才有的。本机没有 INT8 硬件加速,只能走 AVX2 通用整数指令(vpmaddubsw + vpmaddwd),AVX2 上 INT8 收益有限。
二、实际执行步骤
1. 备份已装 FP32 模型 ✅
- 路径:
/Users/xs/Desktop/know/ro/rocr/models/PPOCRv6-Medium/ - 备份:
/tmp/rocr-fp32-backup-20260912-1444/ - 备份前/后 md5 校验:
det.mnn=b96dabccd7bdc1a905a155548049ff85,rec.mnn=3d79ab0053cfe14f3e9ecb2cd9bcd24b
2. 工具链折腾 ✅
| 步骤 | 结果 |
|---|---|
pip install MNN 装到本机 Python 3.13 |
❌ wheel 只有 macOS 14+ ARM64,本机 x86 + macOS 26 符号不匹配 |
pip install MNN --target --platform macosx_11_0_x86_64 |
⚠️ 装上 x86 wheel,但 _mnncengine.so 缺 __ZN3MNN10getVersionEv 等所有主运行时符号,wheel 本身不完整 |
brew install [email protected] |
✅ 26 分钟装好 |
| 用 Python 3.10 + x86 wheel 装 MNN | ❌ 同样符号缺失(wheel 本身问题,与 Python 版本无关) |
brew install cmake |
✅(之前已装 cmake 4.4.3) |
| 从源码编译 MNN 完整工程 | ⚠️ 10 分钟 / 30% + MNN 缺 <cstdint> bug + SIGTERM,最终修好 cpu_id.cc 后跑通 |
开 -DMNN_BUILD_QUANTOOLS=ON 重编 quantized.out |
✅ 编译成功(608 KB x86_64 二进制) |
3. det 量化 ✅
- 配置:
/tmp/quan_det.json,640×640,KL 特征量化 + MAX_ABS 权重量化,feature_clamp=127, weight_clamp=127 - 校准集:4 张图(800×320×2, 1000×400, 1721×1245)
- 结果:62.0 MB → 6.2 MB(缩小 10×)
4. rec 量化 ❌
- 尝试 48×320(PP-OCR 标准 rec 输入)
- 错误:
Can't run session because not resized/Invalid Tensor, the session may not be ready - 原因:PP-OCRv6 rec 模型是动态 shape(按字符宽度变化),calibration 工具不支持动态 shape 模型
5. INT8 det 精度回归 ❌ 致命
- 加载 INT8 det + FP32 rec + dict.txt
- 测试样本图:
lt-a-800x320.png(5 行中文订单) - 测试大图:
12.png(WorkBuddy 截图 1721×1245) - 结果:两张图都返回
[](检测到 0 个文字框) - FP32 同样两张图正常工作(输出 177+ 字符)
三、INT8 精度崩的可能原因
| 原因 | 影响 |
|---|---|
| 没有 VNNI,AVX2 INT8 没有专用硬件路径,量化误差未在硬件层吸收 | 显著 |
| 校准集仅 4 张、域单一(多是有结构中文文档),KL 散度估计的激活分布不准 | 显著 |
| det 是 DBNet 检测网络,输出是 sigmoid 概率图,对量化误差极敏感 —— 小误差→概率阈值过滤→所有框丢失 | 致命 |
| feature_clamp_value=127 太宽(PP-OCR 标准是 1.0~5.0),分布尾部被截断 | 显著 |
| MNN 2.8.3 的 PTQ 算法相对较弱,未集成 ADMM/percentile 等更稳的算法 | 中等 |
关键事实:日本开发者的实践(note.com/answ_kaz)显示 PP-OCRv6 INT8 量化需要 混合量化(conv static QDQ + MatMul dynamic)+ 精确校准集(99.9% Percentile)才能保住精度。MNN 工具链的默认 PTQ 对 PP-OCRv6 不够精细。
四、决定:回滚(已装模型未改)
- 已装 FP32 模型未改动,md5 与原始一致
- 备份在
/tmp/rocr-fp32-backup-20260912-1444/,随时可还原(其实没必要) - INT8 测试产物
/tmp/int8-out//tmp/int8-model/已清理
五、为什么「用好 AVX2 路径」在本机无可榨
之前已验证(MNN 调优 v2 任务):
- MNN 默认配置
high/high, threads=6就是最优 precision=low/lowbf16在没 AVX-512 FP16/BF16 的机器上退化为 FP32 + 走 fallback(指令数 287-289G 三种精度几乎相同,但 user CPU 时间 low 高 14%)threads=4没榨满,threads=8/12因超线程争抢变慢- MNN 已榨干 AVX2(官方说 AVX2 后端比 OpenVINO 快 20-440%,比 ONNX Runtime 快 18-60%)
本机 x86 Mac 的真实极限就是当前 FP32 CPU 性能:
- 12.png(1721×1245):12.06-12.46 s/张(线程 6-12,最优中位 12.06s)
- 800×320 样本图:2.14-2.33 s/张
INT8 在本机不可行:没 VNNI 硬件加速 + MNN PTQ 精度崩。正确做法是升级硬件(Apple Silicon Mac 4-5×、NVIDIA 独显 5-15×)。
六、对苏苏的诚实回答
苏苏:「去更新本机的 rocr,用 ax2 方案」
实际可行路径:
| 方案 | 工作量 | 收益 | 状态 |
|---|---|---|---|
调 ROCR_PRECISION/POWER 榨 AVX2 |
5 分钟 | 0%(已榨干) | ❌ 无效 |
| INT8 weight + feature 量化(PP-OCRv6) | 半天 | 崩精度,0 加速 | ❌ 失败回滚 |
| 换 ONNX Runtime MLAS | 半天 | 负优化(MNN 已比 ORT 快 18-60%) | ❌ 不可行 |
| Apple Silicon Mac | 硬件 | 4-5× | ⏸️ 等换硬件 |
| NVIDIA 独显 | 硬件 | 5-15× | ⏸️ 等换硬件 |
结论:本机已达 x86 AVX2 极限。苏苏想要的「用好 AVX2 路径」已经实现(high/high, threads=6 = 当前最优)。INT8 路径在本机不可行——这不是 bug,是硬件 + 模型 + 工具链的三重限制。
留给未来的工作:
- 备份
/tmp/rocr-fp32-backup-20260912-1444/可以删除(已装模型未改,无用) - 编译产物
/tmp/mnn-build-001/MNNConvert和quantized.out保留——可作为下一次重试 INT8 的工具链 - 真正的榨干需要升级硬件(Apple Silicon 或 NVIDIA)