百度发布最新基座模型 ERNIE 5.5 Flash Base:效率、开源、高性价比
要点导读
- 百度开源 ERNIE 5.5 Flash Base
- MoE 架构,总参数 2800 亿
- 预训练 33.5 万亿 Token
- 支持最长 100 万 Token 上下文
内容摘要
百度正式开源文心 5.5 Flash Base 基座模型。该模型采用 MoE 架构,总参数 2800 亿,每 Token 激活 140 亿参数,预训练使用 33.5 万亿 Token,支持最长 100 万 Token 上下文。
阅读原文
原文来源:开源中国(oschina.net)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。