Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
要点导读
- 严骏驰团队提出 JTok 和 xHC
- JTok 引入可学习参数表调制更新
- xHC 扩展残差流提高模型容量
- 训练算力节省约 1/3
- 关注低计算代价下的训练收益
内容摘要
上海交通大学教授严骏驰在 CNCC 2026 演讲中介绍两项 Transformer 架构改进工作：JTok 为 token 引入可学习参数表，通过查表和逐元素运算调制模型更新；xHC 扩展残差流，以稠密读取、稀疏写回方式提高模型容量。两项研究关注以较低额外计算代价带来持续训练收益，训练算力节省约 1/3。
阅读原文
原文来源：雷峰网（leiphone.com）。本页摘要与要点整理自公开来源，版权归原作者所有，完整内容请阅读原文。
