蓝蓝仓库全球 AI 之窗
海外 来源:Hugging Face Blog

MPS in PyTorch 2.15

PyTorch 2.15 改进 Apple MPS 后端:支持 FP8 并加速语言模型解码

PyTorch 2.15 改进 Apple MPS 后端:支持 FP8 并加速语言模型解码
图片:Hugging Face

要点导读

  • 聚焦 PyTorch 2.15 的 MPS 支持
  • 面向 Apple 平台加速

内容摘要

PyTorch 2.15 为 MPS 带来 FP8 支持,并优化了语言模型解码、线性层、混合专家层和线性代数运算。

阅读原文

原文来源:Hugging Face Blog(huggingface.co)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。

链接失效 / 信息有误