商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力
要点导读
- 采用 Looped Transformer 架构
- 引入循环计算扩展有效计算深度
- 仅 9B 参数媲美 27B 模型
- 探索参数规模之外的能力提升路径
- 面向日常使用的开源循环计算模型
内容摘要
商汤开源日日新 SenseNova Loop-9B-Preview,采用创新的 Looped Transformer 架构,通过循环计算扩展模型的有效计算深度。该模型仅 9B 参数,在复杂任务上可媲美 27B 参数规模的模型。
阅读原文
原文来源:雷峰网(leiphone.com)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。