面壁智能开源 MiniCPM-V 4.7:35B 多模态模型可在 iPhone 上离线运行,仅占约 3GB 内存
要点导读
- 面壁智能开源 35B 多模态模型 MiniCPM-V 4.7
- 优化后可在 iPhone 离线运行,占约 3GB 内存
- 实测推理速度每秒 8–12 个 token
- 未优化时约每秒 2 个 token
内容摘要
量子位实测,优化后的模型在断网的 iPhone 17 Pro Max 上推理速度可达每秒 8–12 个 token,未优化时约每秒 2 个 token。
阅读原文
原文来源:量子位(qbitai.com)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。