蓝蓝仓库全球 AI 之窗
国内 来源:量子位

开源推理框架 Colibrì 走红:把 SSD 当显存,笔记本可跑 744B 的 GLM-5.2

开源推理框架 Colibrì 走红:把 SSD 当显存,笔记本可跑 744B 的 GLM-5.2
图片:量子位

要点导读

  • Colibrì 纯 C 实现分层推理
  • SSD 按需加载专家权重
  • 16GB 内存可跑 744B GLM-5.2
  • 已获 3.2 万 Star

内容摘要

Colibrì 为纯 C 实现的分层推理框架,将暂不使用的专家权重放在 SSD 按需加载,int4 版 GLM-5.2 最低 16GB 内存即可运行,已获 3.2 万 Star。

阅读原文

原文来源:量子位(qbitai.com)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。

链接失效 / 信息有误