阿里巴巴集团控股有限公司收盘价为167.05美元,在AI基础设施取得重大突破后,上涨1.19%。
阿里巴巴集团控股有限公司,BABA
该公司推出了一种计算池化解决方案,在模型服务操作中将英伟达GPU使用量减少了82%。这一进步使阿里云在大规模优化AI部署的竞争中处于领先地位。
总部位于杭州的公司的云计算部门阿里云实施了一个名为Aegaeon的新系统,以提高AI效率。该解决方案允许单个英伟达H20 GPU同时服务多达七个大语言模型。在内部测试中,这一变化将GPU使用量从1,192个减少到仅213个。
Aegaeon通过在并发AI工作负载的模型推理过程中执行令牌级自动扩展来工作。这一策略实现了动态资源重新分配,允许同一GPU在处理过程中在模型之间切换。它还将模型切换任务的延迟减少了97%。
该解决方案在阿里云的百炼市场进行了超过三个月的beta测试。它处理了数十个参数高达720亿的模型,且服务质量没有下降。Aegaeon现已正式部署在阿里巴巴的模型市场中,为其专有的通义千问模型提供服务。
阿里云发现,在实际AI任务中,只有少数模型被频繁使用。尽管如此,许多GPU被分配给很少调用的模型,导致资源利用率低。数据显示,17.7%的GPU仅服务于1.35%的总推理请求。
通过Aegaeon,公司通过池化和智能扩展策略解决了这种不平衡。该系统确保了GPU使用的一致性,并防止了在很少使用的模型上的空闲处理。阿里巴巴为企业部署实现了更高的吞吐量和改进的硬件效率。
北京大学和阿里云研究人员共同撰写了一篇详述这一创新的技术论文,该论文在韩国的SOSP 2025会议上发表。研究强调,使用传统GPU方法服务并发工作负载会产生不必要的成本。这一突破直接支持了中国在资源约束下实现AI基础设施现代化的目标。
英伟达专门为中国的AI推理开发了H20 GPU,符合美国出口限制。然而,中国监管机构最近对该芯片可能存在的后门安全漏洞展开了调查。这种审查影响了该芯片在中国的市场地位和采用情况。
华为和寒武纪等中国企业正在加速开发国产GPU,以减少对外国的依赖。英伟达CEO表示,该公司在中国高级AI芯片的市场份额已降至零。这一趋势推动本地企业创新并本地化AI硬件供应链。
阿里巴巴的新方法在与国家技术自给自足战略保持一致的同时,加强了其市场地位。通过减少对美国芯片的依赖,阿里巴巴在中国不断发展的AI生态系统中获得了更强的立足点。股价上涨反映了市场对其技术主导的成本节约和可扩展性的信心。
阿里巴巴集团控股有限公司(BABA)股价飙升,新AI池化技术将英伟达GPU使用量削减82%的文章首次发表于CoinCentral。


