TLDR 阿里巴巴通过Aegaeon将GPU使用率削减82%,大规模推动AI发展。Aegaeon将AI模型切换延迟减少97%,提升性能。在阿里巴巴的AI升级中,一个英伟达H20 GPU现可同时运行7个LLM。阿里云通过令牌级自动扩展提高GPU效率。Aegaeon助力中国AI目标,同时减少对英伟达芯片的依赖。[...] 这篇文章《阿里巴巴集团控股有限公司(BABA)股价飙升,因新AI池化技术将英伟达GPU使用量削减82%》首次发表于CoinCentral。TLDR 阿里巴巴通过Aegaeon将GPU使用率削减82%,大规模推动AI发展。Aegaeon将AI模型切换延迟减少97%,提升性能。在阿里巴巴的AI升级中,一个英伟达H20 GPU现可同时运行7个LLM。阿里云通过令牌级自动扩展提高GPU效率。Aegaeon助力中国AI目标,同时减少对英伟达芯片的依赖。[...] 这篇文章《阿里巴巴集团控股有限公司(BABA)股价飙升,因新AI池化技术将英伟达GPU使用量削减82%》首次发表于CoinCentral。

阿里巴巴集团控股有限公司(BABA)股价飙升,因新AI池化技术将英伟达GPU使用量削减82%

摘要

  • 阿里巴巴通过Aegaeon将GPU使用量削减82%,大规模推动AI发展。
  • Aegaeon将AI模型切换延迟减少97%,提升性能。
  • 在阿里巴巴的AI升级中,一个英伟达H20 GPU现可同时运行7个大语言模型。
  • 阿里云通过令牌级自动扩展提高GPU效率。
  • Aegaeon助力中国AI目标,同时减少对英伟达芯片的依赖。

阿里巴巴集团控股有限公司收盘价为167.05美元,在AI基础设施取得重大突破后,上涨1.19%。

BABA股票卡

阿里巴巴集团控股有限公司,BABA

该公司推出了一种计算池化解决方案,在模型服务操作中将英伟达GPU使用量减少了82%。这一进步使阿里云在大规模优化AI部署的竞争中处于领先地位。

Aegaeon提升效率,减少GPU依赖

总部位于杭州的公司的云计算部门阿里云实施了一个名为Aegaeon的新系统,以提高AI效率。该解决方案允许单个英伟达H20 GPU同时服务多达七个大语言模型。在内部测试中,这一变化将GPU使用量从1,192个减少到仅213个。

Aegaeon通过在并发AI工作负载的模型推理过程中执行令牌级自动扩展来工作。这一策略实现了动态资源重新分配,允许同一GPU在处理过程中在模型之间切换。它还将模型切换任务的延迟减少了97%。

该解决方案在阿里云的百炼市场进行了超过三个月的beta测试。它处理了数十个参数高达720亿的模型,且服务质量没有下降。Aegaeon现已正式部署在阿里巴巴的模型市场中,为其专有的通义千问模型提供服务。

模型市场洞察和性能优化

阿里云发现,在实际AI任务中,只有少数模型被频繁使用。尽管如此,许多GPU被分配给很少调用的模型,导致资源利用率低。数据显示,17.7%的GPU仅服务于1.35%的总推理请求。

通过Aegaeon,公司通过池化和智能扩展策略解决了这种不平衡。该系统确保了GPU使用的一致性,并防止了在很少使用的模型上的空闲处理。阿里巴巴为企业部署实现了更高的吞吐量和改进的硬件效率。

北京大学和阿里云研究人员共同撰写了一篇详述这一创新的技术论文,该论文在韩国的SOSP 2025会议上发表。研究强调,使用传统GPU方法服务并发工作负载会产生不必要的成本。这一突破直接支持了中国在资源约束下实现AI基础设施现代化的目标。

英伟达的角色和中国芯片战略转变

英伟达专门为中国的AI推理开发了H20 GPU,符合美国出口限制。然而,中国监管机构最近对该芯片可能存在的后门安全漏洞展开了调查。这种审查影响了该芯片在中国的市场地位和采用情况。

华为和寒武纪等中国企业正在加速开发国产GPU,以减少对外国的依赖。英伟达CEO表示,该公司在中国高级AI芯片的市场份额已降至零。这一趋势推动本地企业创新并本地化AI硬件供应链。

阿里巴巴的新方法在与国家技术自给自足战略保持一致的同时,加强了其市场地位。通过减少对美国芯片的依赖,阿里巴巴在中国不断发展的AI生态系统中获得了更强的立足点。股价上涨反映了市场对其技术主导的成本节约和可扩展性的信心。

 

阿里巴巴集团控股有限公司(BABA)股价飙升,新AI池化技术将英伟达GPU使用量削减82%的文章首次发表于CoinCentral。

市场机遇
Sleepless AI 图标
Sleepless AI实时价格 (AI)
$0.03549
$0.03549$0.03549
-2.17%
USD
Sleepless AI (AI) 实时价格图表
免责声明: 本网站转载的文章均来源于公开平台,仅供参考。这些文章不代表 MEXC 的观点或意见。所有版权归原作者所有。如果您认为任何转载文章侵犯了第三方权利,请联系 [email protected] 以便将其删除。MEXC 不对转载文章的及时性、准确性或完整性作出任何陈述或保证,并且不对基于此类内容所采取的任何行动或决定承担责任。转载材料仅供参考,不构成任何商业、金融、法律和/或税务决策的建议、认可或依据。