"甲子光年:科技浪潮下的新纪元,你准备好了吗?"

发布:2024-09-30 18:03:49 阅读:432

在数字化浪潮席卷全球的今天,数据存储作为数字基础设施的基石,正面临前所未有的挑战与机遇。近日,华为公司副总裁、数据存储产品线总裁周跃峰在华为全联接大会2024上强调,中国的数字化进程虽快,但在数字基础设施创新方面仍需加强,特别是存储、计算和网络的协同发展至关重要。

随着人工智能和大模型技术的飞速发展,算力需求急剧增长,对数据存储的性能提出了更高要求。计算如同“印刷机”,不断生成海量数据,而存储则是支撑这一切的“纸张”。国家互联网信息办公室发布的数据显示,我国算力基础设施综合水平全球领先,但数据存储能力相对滞后,存算比偏低,这成为制约数据处理效率和算力发挥的瓶颈。

各国通用计算存算比对比图

为应对这一挑战,华为联合罗兰贝格发布了《先进数据存力白皮书》,预测全球算力将持续高速增长,而中国作为算力大国,对存储能力的需求将更加迫切。然而,现实情况是,中国存储能力的增长速度远不及算力,导致算力空载现象严重,数据存储成为制约AI大模型训练效率的关键因素。

在大模型训练中,Checkpoint的保存与读取速度直接影响到训练效率。存储写入带宽的不足会导致GPU算力闲置,增加训练时间和成本。而频繁的训练中断更是对存储的可靠性和恢复速度提出了更高要求。据SNIA峰会上的数据,大模型训练中的Checkpoint保存时间显著影响训练效率,高性能存储成为解决这一问题的关键。

在数据存储领域,不同介质各有千秋。内存(RAM)以其高速读写能力著称,但容量有限且易失性限制了其应用范围;而闪存(Flash),特别是NAND Flash,以其大容量、高速度和低功耗成为数据中心的首选。SSD(固态硬盘)作为NAND Flash的主要应用形式,在大数据处理和AI训练中发挥着越来越重要的作用。

华为董事、ICT产品与解决方案总裁杨超斌在大会上发布了新一代OceanStor Dorado全闪存存储,该产品在性能、韧性和AI支持方面实现了全面升级。通过智能DPU和FLASHLINK智能盘控卡等技术创新,新一代OceanStor Dorado实现了亿级IOPS和极低时延,大幅提升了数据存储的性能。同时,其全局互联架构和防勒索功能也增强了系统的可靠性和安全性。

华为新一代OceanStor Dorado全闪存存储

尤为值得一提的是,新一代OceanStor Dorado全闪存存储集成了AI技术,实现了对话式运维和异常主动发现,运维效率显著提升。此外,OceanStor A800作为业界首款提供长记忆能力的存储产品,通过多级KV缓存机制,支持AI大模型的长记忆推理,减少了重复计算,提升了推理效率和成本效益。

面对AI时代的挑战,数据存储的创新已迫在眉睫。华为等企业的努力不仅推动了存储技术的进步,更为AI应用的落地提供了坚实的支撑。只有不断寻找存储的最优解,才能确保数据到算力的“最后一公里”畅通无阻,推动数字化和智能化进程迈向新的高度。

热门产品

查看更多