Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS
在 Amazon EKS 与 SageMaker HyperPod 上部署 NVIDIA Nemotron 模型
要点导读
- Nemotron 3.5 Super VL 为 120B 参数 MoE 模型
- 兼具推理、工具调用与多模态理解
- 支持部署在 EKS 与 SageMaker HyperPod
- 使用 NVIDIA Dynamo 和 vLLM 部署
原文摘要 · 中英对照
NVIDIA Nemotron 3.5 Super VL is a 120B-parameter mixture-of-experts model that pairs reasoning and tool use with multimodal understanding. This post explores its architecture and use cases, then shows how to deploy it on Amazon EKS, EKS Auto Mode, and Amazon SageMaker HyperPod EKS with NVIDIA Dynamo and vLLM.
NVIDIA Nemotron 3.5 Super VL 是一个 120B 参数的混合专家模型，将推理和工具使用与多模态理解相结合。本文探讨其架构和用例，然后展示如何借助 NVIDIA Dynamo 和 vLLM 将其部署在 Amazon EKS、EKS Auto Mode 和 Amazon SageMaker HyperPod EKS 上。
阅读原文
原文来源：AWS 机器学习博客（aws.amazon.com）。本页摘要与要点整理自公开来源，版权归原作者所有，完整内容请阅读原文。
