AI推理已进入深水区,先进存储成为“提速降本”
发布时间:2025-11-07 09:28
当前,人工智能正进入场景落地的关键阶段。随着大型模型数量逐渐转化和推理应用爆发,基于代币数量的人工智能推理成本和效率日益凸显。在此背景下,先进的存储能力作为数据元素的主要载体,成为提升AI推理性能、控制成本的关键。 11月4日,在中国信息通信研究院组织的北京“耕耘中国行”活动上,来自信息通信研究院、中国移动云、华为、Silicon Mobile等机构和企业的嘉宾就先进存储能力在AI时代大模型开发中的支撑作用和发展趋势进行了深入探讨。人工智能推理面临成本与效率的困境。在“实施大米元年””,各行各业不再满足于大型模型的存在,而是渴望将模型的能力与实际业务情况无缝结合。从投研分析、档案分析到智能客服、医学影像辅助诊断等,人工智能推理在千行百业中发挥着作用。但随着代币调用数量的爆发式增长,关注成本不断上升,“推不起来、慢、贵”成为行业通病。与会专家指出,如今的AI推理不再是简单的问答,而是一个持续处理海量、多模态、不断增长的数据的过程,要求存储系统能够同时高效地处理文本、图像、音频、视频甚至传感器数据,“A时代”。一、IT基础设施能力面临三大挑战:数据管理不善、算力无法喂饱、成本无法降低。”华为数据存储产品线战略与业务发展部总裁王旭东表示,各种智能数据源难以生成高质量、持续供应的数据集,存储系统的带宽和IOPS(每秒读写次数)不足,导致GPU等昂贵的计算资源长期闲置,传统存储架构无法满足这些挑战。满足高吞吐量、低延迟和异构数据集成的要求,造成业务瓶颈,阻碍了AI应用的实施,要打破推理困境,需要打破“内存墙”和“容量墙”两大技术壁垒,虽然费用高昂。sive HBM(高带宽内存)性能强,但价格昂贵且无法无控制地扩展。这限制了模型理解的长度并增加了硬件成本。 HBM可以通过高性能AI SSD得到更好的扩展,同时可以用大容量AI SSD来替代HDD。此外,可靠、安全的数据存储解决方案也成为企业的迫切需求。先进的存储能力是打破这一局面的关键。新京报贝壳财经记者从会上获悉,在AI场景下,我国存储技术已取得技术突破,拥有世界领先。通过创新技术和生态协同的模式,加速其在千行百业的应用。中国移动云能力中心首席项目工程师周宇表示,移动云专门采用了分层缓存调度、高速数据互联技术技术来增加带宽,并独享多模式数据。存储与标准、池化与重组架构等技术打破了这一局面。还通过高密度全闪存存储、数据缩减、自研SPU高密度服务器,提升存储性能、降低成本。从未来趋势来看,移动云将推动存储从被动存储向智能协同计算迈进,分阶段实现高密度全闪存存储、高速数据互联、存储与集成融合等技术,长远构建池化多体存储系统,同时强调技术集成和生态协作。王旭东介绍,华为发布了面向AI推理的UCM内存数据管理技术,从“集中优质数据、加速AI训练、优化推理”三个角度打造AI推理解决方案。Nolat表示,UCM可降低初始令牌延迟高达90%,提升系统吞吐量高达22倍,上下文推理窗口扩大10倍以上。北京硅基流技术有限公司解决方案总监唐安波表示,硅基流构建的AI基础设施工具链拥有适应多模态模型和国内外算力的基础推理框架,并适配升腾并优化DeepSeek模型实现了成本效益的改进,从推理框架延伸到MAAS服务平台,去掉了主要的MAINSTREAM资源模型,通过理解加速和API为开发者提供服务,并在解决方案上结合nitor UCM技术卸载KVCache以释放视频内存并提高性能。l 存在长上下文等痛点。基于KVCache的存储解决方案可以显着提高系统吞吐量。中国信息通信研究院首席专家史友康表示,研究院在政策研究、标准制定、测试服务等方面开展了多项工作,并与供应链企业联手推动“发展产业方阵先进存储人工智能推理工作组”的发展。同时他通过了三点建议:鼓励存储技术研发和创新、推动存储与计算深度融合、加强存储与计算协同产业生态圈建设。号召业界同仁凝聚共识,共同推动我国存款会计行业协调发展。新京报贝壳财经记者魏博雅编辑杨娟娟校对穆祥彤