智慧有数 浪潮信息发布生成式AI存储解决方案
当前,生成式AI(AIGC)已经成为AI产业化发展的主战场,随着大模型参数量和数据量的爆发式增长,多源异构数据的传、用、管、存,正在成为制约生成式AI落地的瓶颈之一。为了化解生成式AI的数据存储与管理瓶颈,浪潮信息在“数智未来”AIGC数据应用创新论坛上,正式发布面向生成式AI的存储解决方案,该方案以极致融合、极致性能、极致节能,和热温冷冰四级数据全生命周期管理,助力开启生成式AI新局面,创造智慧时代新机遇。
生成式AI亟待突破多源异构和存储性能瓶颈
生产式AI是人工智能从1.0时代进入2.0时代的重要标志,其具备强大的认知智能,在搜索引擎、艺术创作、影音游戏,以及金融、教育、医疗、工业等领域有着广阔的应用前景。Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。据分析师预测,到2032年,生成式人工智能市场规模将达到2,000亿美元,占据人工智能支出总额的约20%,显著高出当前的5%。换言之,未来十年市场规模可能每两年就会翻一番。
生成式AI主要应用场景涵盖文本生成、语音生成、图片生成、视频生成、代码生成、虚拟人生成等,在每种应用的背后是基于行业上下游对数据进行采集、标注、训练、推理、归档,其特征是数据量大、多元数据类型复杂、服务协议多样、性能要求苛刻、要求服务持续在线。生成式AI对数据存储提出如下挑战:
● 异构数据的融合:生成式AI训练模型的数据呈现来源多、格式多的多源异构现状,传统存储面向单一数据类型设计,需要以搬移数据的方式实现多协议访问,存储成为应用平台的关键瓶颈;
● 持续的低延迟与高带宽:模型训练过程中,频繁地从数据集取Token,每个Token一般4字节,实时高并发小IO性能需要极低的延迟;存储模型Checkpoint时,为Checkpoint数据可快速写入,需要高带宽;
● EB级大容量存储需求:越多的数据投喂结果越精准的工作原理,决定了大模型训练存在深度学习网络层数多、连接多、参数和数据集种类复杂、数据量大的特征,随着模型参数和数据量的快速增长,对于存储的大容量和扩展需求也迫在眉睫。
数据存储产业需要进行全方位的技术升级,通过在多源异构融合、数据高速传输、海量数据管理等方面持续创新,打造专业的生成式AI存储产品与解决方案。
