Transformers now runs llama.cpp quants
Hugging Face Transformers 现已支持直接运行 llama.cpp 量化模型
要点导读
- Transformers 支持 llama.cpp 量化格式
- 可直接加载运行量化模型
内容摘要
Transformers 库新增对 llama.cpp 量化格式的支持,开发者可直接加载此类量化权重。
阅读原文
原文来源:Hugging Face(huggingface.co)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。