Liquid AI 发布 LFM3 模型家族,首批多款均基于 LFM3-1.7B-Base
要点导读
- 基于三混合层架构,22T词元预训练
- 首批六款模型均基于LFM3-1.7B-Base
- LFM-1.7B支持256K上下文窗口
- 参数减少35%,性能优于上代2.6B
- 涵盖文本、视觉、音频、决策等模态
内容摘要
人工智能实验室Liquid AI发布LFM3模型家族,基于全新三混合层架构,在22T词元上预训练。首批产品包括LFM-1.7B文本模型、LFM3-VL-2B视觉模型、d1-2B决策模型、LFM3-Audio音频模型、LFM3-Omni-2B全能模型和d1-Omni-2B全能决策模型,均基于LFM3-1.7B-Base。LFM-1.7B拥有256K上下文窗口,参数减少35%的同时性能优于上代LFM2.5-2.6B。
阅读原文
原文来源:IT之家(ithome.com)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。