大模型需要什么样的存储性能？

一次完整的AI大模型训练流程，通常分为数据集准备、模型开发、模型训练、模型推理几个阶段。其中每个阶段对数据存储的性能需求并不十分一致，属于混合复杂异构的工作负载，要求数据存储系统提供强大的综合性能表现。

举例来说，数据集准备阶段，涉及到不同终端、不同来源的大量数据，来源丰富且规模巨大，这些数据都需要存储到系统中，需要数据存储提供较大的带宽性能和高吞吐能力；此外，在长时间训练模型时，需要定期将阶段性的训练成果写入硬盘，这个过程即Checkpoint，这个过程对存储系统的小文件读写性能和带宽性能都要求非常高，如果存储系统性能不足，就会出现加载效率低，GPU空等的情况，从而拉低整个训练效率。 

强悍存力，提升智算系统算力利用率

基于新一代傲擎平台的新华三AI数据存储平台H3C UniStor Polaris X20000系列，通过对存储软件栈进行重构和优化，大幅精简系统无效IO，优化数据读写路径，单节点性能就可实现80GB带宽和200万IOPS，大幅提升不同阶段的数据加载效率，可以减少30%的训练等待时间，保障智算系统的有效算力供给。

Polaris X20000系列通过多项技术革新提升在智算场景下的性能体验，包括： 

元数据性能优化 

对高性能智算存储来说，元数据管理是至关重要的部分，将直接影响到文件系统的性能、可扩展性和可靠性。Polaris X20000系列创新性地针对分布式kv数据库进行了优化，来支撑整个元数据读写需求；同时设计了多级的元数据缓存，对元数据缓存结构做了针对性精简，减少内存占用，对元数据访问具有极大的加速效果。此外，采取多MDS、元数据打散、元数据协程化免锁等多种元数据性能优化手段，提升Polaris X20000系列的性能表现。 

CPU智能分组 

Polaris X20000系列针对AI/HPC 场景做了深度分析和软件优化设计，对CPU实现智能分组、绑核处理，实现专核专用，避免资源抢占，减少核间调度，最大程度发挥CPU性能。 

高性能EPC客户端 

同时，通过独有的高性能EPC客户端，Polaris X20000系列可同时连接多个存储节点，对上层应用提供标准POSIX和MPI-IO接口，获得更好的兼容性和更优的性能，多存储节点实现IO级负载均衡，最大程度发挥单节点性能。 

​

AI训练综合负载能力提升 

高带宽：通过RDMA、内存零拷贝、EPC、400G网络(结合硬件交换机)提升系统并行访问能力，实现高带宽性能；

高IOPS：通过Dcache技术，在小IO读写时，先写入高速缓存层，并通过ROW写时重定向快照，将多个小IO聚合成为大IO再一次性落盘，提升IOPS性能表现；

混合负载优化：在 EC逻辑层之上引入加速引擎层，对不同IO实现分组与流控调度，可同时满足大IO高带宽、小IO高IOPS与低时延的“混合负载”需求。

当前，大模型参数从千亿向万亿演进，更大的模型参数需要更大规模的算力供给。新华三基于对智算场景的深入理解，对数据存储产品实现持续优化。面向未来，新华三集团将秉持“精耕务实，为时代赋智慧”的理念，不断深化“内生智能·成就智慧存储”技术战略，充分发挥自身在数字领域的创新优势，持续推动产品的智能进化，携手百行百业激发数据潜能，迈向智能新未来。

成都新华三存储代理商 —— 成都强川科技有限公司 

联系电话：400-028-6620    028-85042466

公司地址：成都市武侯区一环路南二段2号新世纪商业中心东楼17楼B座