岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B：KV Cache 减少 99%
要点导读
- 开源 EdgeRock-4B 模型
- KV Cache 减少 99%
- 256K 上下文下固定 72MiB
- 单卡可跑 512 路长推理
- 吞吐为源模型 6.42 倍
内容摘要
在 256K 上下文下 KV Cache 固定为 72MiB，单张 80GB 显卡可同时跑 512 路长推理，输出吞吐达 12124 tokens/s，是源模型的 6.42 倍。
阅读原文
原文来源：量子位（qbitai.com）。本页摘要与要点整理自公开来源，版权归原作者所有，完整内容请阅读原文。
