16 块谷歌 TPU v7 运行 Kimi K3，速度比 GB200 快 57%

内容摘要

由 vLLM 原班人马创立的 Inferact 为 TPU 编写 megakernel 推理内核，16 块 TPU v7 运行 Kimi K3 达到每秒 709 个 token。