Darius Baruo
2025年12月02日 19:09
英伟达推出Mistral 3,一系列新型AI模型,提供无与伦比的准确性和效率。这些为英伟达GPU优化的模型增强了各行业的AI部署。
英伟达发布了其最新的AI模型系列Mistral 3,为开发者和企业承诺前所未有的准确性和效率。据英伟达开发者博客报道,这些模型已针对英伟达GPU进行了优化,适用范围从高端数据中心到边缘平台。
Mistral 3模型系列
Mistral 3系列包含为各种应用量身定制的多样化模型。它拥有一个具有6750亿参数的大规模稀疏多模态和多语言模型,以及更小、更密集的名为Ministral 3的模型,提供3B、8B和14B参数规模。每种模型规模都有三种变体:基础版、指令版和推理版,总共提供九种模型。
这些模型在英伟达Hopper GPU上训练,可通过Hugging Face上的Mistral AI访问。开发者可以使用不同的模型精度格式和开源框架部署这些模型,确保与各种英伟达GPU的兼容性。
性能与优化
英伟达的Mistral Large 3模型在GB200 NVL72平台上实现了卓越性能,利用了为大型专家混合(MoE)模型量身定制的一系列优化。性能提升比前几代高出10倍,Mistral Large 3模型在用户体验、成本效率和能源使用方面展现出显著提升。
这一性能提升归功于英伟达的TensorRT-LLM宽专家并行处理、使用NVFP4的低精度推理以及英伟达Dynamo框架,后者增强了长上下文工作负载的性能。
边缘部署与多功能性
为边缘部署设计的Ministral 3模型为各种应用提供了灵活性和性能。这些模型针对英伟达GeForce RTX AI PC、DGX Spark和Jetson平台进行了优化。本地开发受益于英伟达加速,提供快速推理速度和改进的数据隐私。
特别是Jetson开发者可以利用vLLM容器实现高效的令牌处理,使这些模型非常适合边缘计算环境。
未来发展与开源社区
展望未来,英伟达计划通过即将推出的性能优化(如推测性解码)进一步增强Mistral 3模型。此外,英伟达与vLLM和SGLang等开源社区的合作旨在扩展内核集成和并行支持。
通过这些发展,英伟达继续支持开源AI社区,为开发者提供一个强大的平台,以高效构建和部署AI解决方案。Mistral 3模型可在Hugging Face上下载,或直接通过英伟达的构建平台进行测试。
图片来源:Shutterstock
来源:https://blockchain.news/news/nvidia-mistral-3-models-boost-ai-efficiency


