开源推理框架 Colibrì 走红:把 SSD 当显存,笔记本可跑 744B 的 GLM-5.2
要点导读
- Colibrì 纯 C 实现分层推理
- SSD 按需加载专家权重
- 16GB 内存可跑 744B GLM-5.2
- 已获 3.2 万 Star
内容摘要
Colibrì 为纯 C 实现的分层推理框架,将暂不使用的专家权重放在 SSD 按需加载,int4 版 GLM-5.2 最低 16GB 内存即可运行,已获 3.2 万 Star。
阅读原文
原文来源:量子位(qbitai.com)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。