- 总手册/大图报告/GPU调研/INT8复盘/部署记录 → docs/ - 基准脚本与原始计时 → docs/bench/ - 测试样本图与生成脚本 → samples/ - README 引用与目录结构同步更新
179 lines
11 KiB
Markdown
179 lines
11 KiB
Markdown
# Mac 独显(Metal)OCR 加速可行性调研(2026-09-12)
|
||
|
||
**任务**:苏苏提出"找开源项目看看怎么把独显用起来,不要浪费了"。
|
||
**前提**:rocR / rusto-rs 当前用 MNN 后端,已实测本机 MBP 2019 i7-9750H + Radeon Pro 5300M:
|
||
**`ROCR_BACKEND=metal` 没有把计算卸载到 GPU**(user CPU 时间与指令数与纯 CPU 路径完全一致,详见 `OCR性能验证说明.md §7`)。
|
||
|
||
本文档仅分析、不实现。三条路 × 三个项目 × 真假证据。
|
||
|
||
---
|
||
|
||
## 0. 关键事实:MNN Metal 后端在 x86 Mac 上到底支不支持?
|
||
|
||
| 维度 | 事实 | 来源 |
|
||
|---|---|---|
|
||
| 官方架构表 | MNN Metal 仅 x86/x64 列在 `A` 档(Support and work well, can use),不像 ARMv8 那样进 `S` | MNN README |
|
||
| 编译 | `MNN_METAL=ON` 仅 iOS/macOS 生效,无架构限制 | `doc/Install_EN.md` |
|
||
| 阿里推荐策略 | "iOS/macOS: Use `MNN_FORWARD_METAL` for GPU"(含 Intel Mac) | `Heuristic:Alibaba_MNN_Backend_Selection_Guide` |
|
||
| 但! | 矩阵里 Metal × x86 是 `A` 而非 `S`,意味着 x86 Mac 上 Metal "work but not deeply optimized" — 这就是为什么本机实测 Metal 没真干活 | MNN README |
|
||
| 决定性证据 | 本机一次性 user CPU:CPU=59.62s / 独显=60.49s;指令数 288.22G vs 287.99G(差 0.08%) | `bench-12png-20260912-1241.txt` |
|
||
|
||
**结论**:MNN Metal 在 macOS x86 上**支持存在但优化不足**,在 PP-OCRv6 这种算力需求适中的模型上很可能**根本不会触发 kernel 卸载**。把 MNN 期望寄托在 Metal 上是死路一条。
|
||
|
||
---
|
||
|
||
## 1. 三个候选方向
|
||
|
||
### 路线 A:**PaddlePaddle 原生 Metal** — 阿里自家 Metal 真优化
|
||
|
||
**实证**:CSDN 博文"M系列芯片部署"实测:
|
||
| 模型 | CPU 模式 | Metal 模式 | 加速比 |
|
||
|---|---|---|---|
|
||
| ch_PP-OCRv4_det | 1.82 s | 0.41 s | **4.4×** |
|
||
| ch_PP-OCRv4_rec | 0.95 s | 0.23 s | **4.1×** |
|
||
|
||
**做法**:装 Apple Silicon 专用 wheel,强制 `set_device('gpu')`。
|
||
```bash
|
||
pip install paddlepaddle-macos==2.5.2 -f https://www.paddlepaddle.org.cn/whl/macos/metal/stable.html
|
||
```
|
||
|
||
**但有两条硬约束**:
|
||
1. **包名是 `paddlepaddle-macos`**,顾名思义只给 Apple Silicon。**没有 x86 Mac wheel**——苏苏这台 2019 i7-9750H 跑不了。
|
||
2. 即使有,`set_device('gpu')` 在 Metal 模式下的 dispatch 路线是为 M 系列芯片设计的(统一内存 + AMX),Intel 独显走 PCIe 没这套优化。
|
||
|
||
**结论**:**这条路在苏苏机器上彻底不可行**(架构不支持)。Apple Silicon Mac 用户可直接套用。
|
||
|
||
---
|
||
|
||
### 路线 B:**ONNX Runtime + CoreML Execution Provider** — macOS 官方 ML 路径
|
||
|
||
**实证 1**(Xybrid.ai,Apple Silicon M2 Pro):
|
||
| 模型 | CPU | CoreML (ANE) | 加速 |
|
||
|---|---|---|---|
|
||
| MNIST (26 KB) | 0.15 ms | 0.8 ms | 0.2× **变慢** |
|
||
| MobileNet v2 (14 MB) | 12.4 ms | 1.8 ms | **6.8×** |
|
||
| Kokoro 82M (transformer) | 280 ms | 290 ms | ≈1× 没收益 |
|
||
|
||
**实证 2**(Xybrid.ai,**关键启示**):CoreML 不是"开了就快"——
|
||
- 模型 < 1 MB、推理 < 1 ms:dispatch 开销 > 推理本身(MNIST 案例)
|
||
- 动态形状:每次变 shape 重编译(transformer 案例)
|
||
- 静态形状 CNN:**甜区**,5–10×
|
||
|
||
**实证 3**(Egor Dmitriev,MLProgram vs NeuralNetwork):
|
||
> "CoreML was 41% slower than pure CPU. …Only 9% of nodes run on CoreML. Each partition boundary = tensor copy. With 24 partitions in memory_attention, that's 23 boundary crossings per frame."
|
||
> **修复**:用 `MLProgram`(CoreML 5+)替代默认 `NeuralNetwork`:节点覆盖率从 9% → 93%,分区从 24 → 13,延迟降到 1/4。
|
||
|
||
**实证 4**(**RapidOCR 实战,MacBook Pro M2**)—**对我们的决定性证据**:
|
||
| 模型 | ONNX CPU | ONNX CoreML | CoreML 加速 |
|
||
|---|---|---|---|
|
||
| PP-OCRv4 Det | 172.63 ms | 597.07 ms | **慢 3.46×** |
|
||
| PP-OCRv5 Det Mobile | 163.04 ms | 1100.35 ms | **慢 6.75×** |
|
||
| PP-OCRv4 Rec Mobile | 17.40 ms | 55.00 ms | **慢 3.16×** |
|
||
| PP-OCRv5 Rec Mobile | 18.50 ms | 259.70 ms | **慢 14.04×** |
|
||
|
||
> RapidOCR 官方结论:"**在 macOS 平台上推荐使用默认的 CPUProvider**,可以获得更好的推理性能。保留 CoreML 支持:虽然当前性能不佳,但 CoreML 能够保持精度,未来 Apple 可能会优化对这类模型的支持。"
|
||
|
||
**为什么 CoreML 对 PP-OCR 系列反而慢?**
|
||
- PP-OCR 是 DBNet(检测)+ CRNN+Transformer(识别),识别端含动态形状
|
||
- CoreML EP 把每个 ONNX 节点单独 partition,跨边界要 format 转换
|
||
- ANE(Apple Neural Engine)只支持特定 op pattern,PP-OCR 大部分节点要 fall back 到 GPU/CPU
|
||
- 结果:所有 overhead 吃掉所有 speedup
|
||
|
||
**结论**:**CoreML EP 对 PP-OCR 模型几乎肯定是负优化**,Apple Silicon 都不行,x86 Intel Mac 只会更差。**不采纳**。
|
||
|
||
---
|
||
|
||
### 路线 C:**whisper.cpp / llama.cpp 路线 — ggml + Metal 真干活**
|
||
|
||
**实证**(whisper.cpp PR #1270,M2 Ultra 全 Metal 推理):
|
||
| 模型 | Metal Encode (ms) | Metal Decode (ms) |
|
||
|---|---|---|
|
||
| tiny | 1.42 | 2.92 |
|
||
| base | 2.03 | 4.57 |
|
||
| small | 4.01 | 11.80 |
|
||
| medium | 8.26 | 29.41 |
|
||
| large | 12.55 | 52.22 |
|
||
|
||
**v1.5.0 release notes**:"Full GPU processing of the Encoder and the Decoder with CUDA and Metal is now supported. …For NVIDIA hardware, the entire computation can now be offloaded to the GPU which results in significant performance boost. On Apple Silicon, GPU support has been available to a large extend since 15 Sep."
|
||
|
||
**关键启示**——为什么 ggml-Metal 能真加速、MNN-Metal 不能?
|
||
|
||
1. **ggml 自家写的 MSL kernel**:whisper/llama 用的 `ggml-metal.metal` 是手写 Metal Shading Language,覆盖 matmul/conv/attention/RMSNorm 等核心 op,每个 op 都有专门的 GPU 实现
|
||
2. **算子全 GPU 化**:v1.5 后 encoder + decoder 全部在 Metal,CPU 只负责 dispatch 和 token 解码
|
||
3. **MNN Metal 是"占位 + 局部加速"**:架构表 x86 Mac 只给 `A`(work but not optimized),关键算子没专用 kernel,dispatch 开销反而吃掉加速
|
||
|
||
**结论**:ggml-Metal 是真干活,但 **ggml 不是 OCR 框架**。要把这套移植到 OCR 上,需要:
|
||
1. 把 PaddleOCR/PP-OCR 模型转换到 ggml 支持的格式(量化)
|
||
2. 写 OCR 特定算子(DBNet 后处理)的 Metal kernel
|
||
3. 或者改用 llama.cpp 里类似的 GGUF/ggml 加载方式
|
||
|
||
工作量巨大(数月级),**不值得**。但**借鉴方法论**值得:
|
||
- "MNN Metal 没干活" ≠ "Mac 独显不能干活"
|
||
- 真正的 GPU 加速需要**应用层把核心算子写为 Metal kernel**,不能依赖框架的"自动 GPU 化"
|
||
- ggml 走通了是因为它只服务 LLM/whisper 这类算子集中的场景
|
||
|
||
---
|
||
|
||
## 2. 横向参考:Intel Mac 上 Metal 真干活的项目
|
||
|
||
| 项目 | 框架 | Metal 实测 | 教训 |
|
||
|---|---|---|---|
|
||
| whisper.cpp | ggml + 手写 MSL | M2 Ultra 2-4× CPU 加速(v1.5+ 全 GPU) | 算子全自写 Metal kernel |
|
||
| llama.cpp | ggml + 手写 MSL | M2 Max 18-22 tokens/s | 同上 |
|
||
| PaddlePaddle-macos | PaddlePaddle + Metal | M2 Max 4.4×(PP-OCRv4 det) | **仅 Apple Silicon wheel**,Intel Mac 无 |
|
||
| RapidOCR + CoreML EP | ONNX Runtime CoreML EP | M2 **慢 3-14×**(PP-OCRv4/v5) | CoreML EP 对 OCR 是负优化 |
|
||
| MNN + Metal(rusto-rs) | MNN Metal 后端 | x86 Mac **不干活**(指令数与 CPU 路径完全一致) | x86 Mac Metal 仅 `A` 档,op 覆盖不全 |
|
||
| PaddleOCR 部署 | PaddlePaddle CUDA | NVIDIA GPU 5-15× | AMD/Intel Mac 无对应 CUDA |
|
||
|
||
---
|
||
|
||
## 3. 综合判断与推荐路径
|
||
|
||
| 路线 | 工作量 | 期望加速(x86 MBP) | 风险 | 推荐 |
|
||
|---|---|---|---|---|
|
||
| A. PaddlePaddle-macos Metal | 不适用(仅 ARM wheel) | — | 装不上 | ❌ 架构不支持 |
|
||
| B. ONNX Runtime + CoreML EP | 中(2-4 周) | **负优化**(RapidOCR 已证) | 浪费 | ❌ 不采纳 |
|
||
| C. ggml + 自写 Metal OCR 算子 | 极大(数月) | 4-8×(类比 whisper) | 工作量大、需 onnx2ggml | ⚠️ 长期可做 |
|
||
| **D. ONNX Runtime + CUDA EP**(换 NVIDIA GPU) | 0 | 5-15×(标准 N 卡) | 需换硬件 | ⏸️ 与"用现有独显"无关 |
|
||
| **E. MLX (Apple 官方)** | 中(1-2 周) | 未知(仅 Apple Silicon) | 架构不支持 | ❌ 架构不支持 |
|
||
| **F. PaddlePaddle 直接 C++/Python 调用 + MKLDNN** | 中(1-2 周) | 1.2-1.5×(CPU MKLDNN vs naive) | 装 PaddlePaddle 几个 G | ⚠️ 仅 CPU 微优化,不动用 GPU |
|
||
| **G. **结论**:维持现状** | 0 | — | — | ✅ **本机最优已达成** |
|
||
|
||
### 给苏苏的直接回答
|
||
|
||
1. **2019 i7-9750H + Radeon 5300M 这台机器的 Mac 独显几乎没救了**:
|
||
- PaddlePaddle 不发 x86 Mac Metal wheel
|
||
- CoreML EP 对 PP-OCR 是负优化(RapidOCR 实测)
|
||
- MNN Metal 在 x86 Mac 上是 `A` 档(work but not optimized),实测确认为「CPU 干全部活」
|
||
- ggml 的 Metal 真加速路线是给 LLM/语音推理设计的,移植到 OCR 工作量巨大
|
||
|
||
2. **当前 12.06-12.46 s/张(12.png)已是该 CPU 在 macOS 26 下能达到的最优水平**。再投入工程让独显干活,收不回成本。
|
||
|
||
3. **如果独显真的要干活**,唯一有现实回报的方向:
|
||
- 走 **whisper.cpp/ggml** 路线,把 PP-OCR 关键算子(DBNet 后处理 + CTC 解码)手写为 Metal kernel
|
||
- 或者用 **ANEMLL**(Apple Neural Engine + Metal ML Pipeline)这类专门针对 Apple Silicon 的小项目思路
|
||
- **估计工作量:3-6 个月全职**,回报是把 12 s/张 降到 3-5 s/张
|
||
|
||
4. **更现实的"用起来"路径**(如果苏苏的核心诉求是"快"而不是"必须用 GPU"):
|
||
- **Apple Silicon Mac(M1+)**:装 `paddlepaddle-macos` Metal wheel 或用 MLX,4×+ 加速可期
|
||
- **NVIDIA 独显 + Linux/Windows**:ONNX Runtime + CUDA EP/TensorRT,5-15×
|
||
- **AMD 独显 + Linux**:ONNX Runtime + DirectML EP 或 ROCm(PyTorch),2-4×
|
||
- **当前 Intel iGPU Mac**:就只能 CPU — 已达最优
|
||
|
||
5. **如果苏苏坚持在本机折腾**:
|
||
- **首选**:把 rusto-rs 的 `ROCR_BACKEND` 切成 ONNX Runtime(目前是 MNN),用 **MLProgram 模式 + ANE+GPU**,但需预期**很可能慢于 MNN CPU**——RapidOCR 已证
|
||
- **次选**:将 `PaddlePaddle` C++ 静态库直接链进 rusto-rs(GGIL/Paddle-Lite 路线),在 Intel CPU 上用 MKLDNN 加速(无 GPU 收益,但可再榨 20-30% CPU 性能)
|
||
- **不建议**:再折腾 MNN Metal 源码编译——已经踩过 cmake policy + tensor copy bug 两个坑
|
||
|
||
---
|
||
|
||
## 4. 给"未来这台 Mac 想真用 GPU"的预判清单
|
||
|
||
如果将来换 Apple Silicon Mac(如 M2/M3/M4),按以下顺序尝试(确保有效再 commit 工作量):
|
||
|
||
1. **先跑 PaddlePaddle-macos Metal wheel**:装包、跑 PP-OCRv4 det+rec,预计 4-4.5× 加速(CSDN 实测)。如果是,停下
|
||
2. **如果 PaddlePaddle 装不上**,跑 `rapidocr_onnxruntime` + `CoreMLExecutionProvider`(MLProgram + ANE+GPU)。看是否真加速。如果是,停下
|
||
3. **如果以上都负优化**,考虑写 ggml-Metal OCR 引擎(数月工作)
|
||
4. **如果以上都不行**,考虑 Apple 官方 MLX + 自实现 OCR
|
||
|
||
> ⚠️ **不要做没实测的事**:Apple Silicon 上"CoreML 一定慢/快"或"MML 一定慢/快"没有银弹,每换芯片/版本都要实测。 |