蓝蓝仓库全球 AI 之窗
海外 来源:Hugging Face

Transformers now runs llama.cpp quants

Hugging Face Transformers 现已支持直接运行 llama.cpp 量化模型

Hugging Face Transformers 现已支持直接运行 llama.cpp 量化模型
图片:Hugging Face

要点导读

  • Transformers 支持 llama.cpp 量化格式
  • 可直接加载运行量化模型

内容摘要

Transformers 库新增对 llama.cpp 量化格式的支持,开发者可直接加载此类量化权重。

阅读原文

原文来源:Hugging Face(huggingface.co)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。

链接失效 / 信息有误