您当前的位置:首页 > 文章中心 > 产业资讯 > 突破数据协议壁垒 加速智算平台运行效率
突破数据协议壁垒 加速智算平台运行效率
作者:server2008   来源:本站   点击:84   时间:2025-1-6

智算场景下,复杂异构应用往往会导致数据处理流程涉及到对象、文件、大数据等不同类型的协议访问,与此同时,用于智算训练的数据集规模庞大,来源复杂,涉及到各类不同的数据格式。这一过程中,用户时常会面临数据迁移、转换带来的低效问题。

以自动驾驶场景为例,采集到的原始数据是NFS格式,需要先转换为HDFS格式,才能利用大数据平台进行预处理,最后再将数据转换回NFS格式导入AI训练集群及演练仿真集群,进行深度挖掘和处理后,进一步调整自动驾驶策略。

为了应对上层文件、对象、大数据等不同的访问类型,AI/HPC系统通常在一套存储硬件集群上划分出多个独立的逻辑资源池,分别部署对象、块、文件系统的存储池,每个逻辑资源池仅支持单一访问协议。当跨协议访问数据时,需要先行拷贝原格式的原始数据,将其转换格式后,再进行处理及交互。

在数据处理过程中,突破不同类型数据间的访问障碍,实现协议融合,是提升智算平台整体运行效率的有效途径。


重构元数据架构与流程实现语义、性能双“无损”

新华三H3C UniStor Polaris X20000系列高性能分布式融合存储,基于新华三自主研发的傲擎数据存储平台,重构了“元数据”的架构和处理流程,使得文件、对象、HDFS等非结构化数据共享唯一一份元数据,不同的上层业务系统可高效调用,而无需进行额外的拷贝与转换,从而实现“语义无损”和“性能无损”。

通过协议融合,将为智算平台建设带来如下收益:

● 简化架构,避免为不同业务系统单独构建存储系统,减少TCO;

● 提升数据处理效率,多样化数据可实现就地处理,数据零迁移;

● 整个数据处理流程中只需要访问一份源数据,无需多次拷贝,节约存储空间,可用容量可提升40%。

数据要素推动着人工智能技术的广泛应用与跨界融合。面向未来,新华三集团将秉持“精耕务实,为时代赋智慧”的理念,不断深化“内生智能·成就智慧存储”技术战略,充分发挥自身在数字领域的创新优势,加大产品创新力度,为智算场景提供最佳数据存储平台。

 


成都新华三存储代理商 —— 成都强川科技有限公司 

​联系电话:400-028-6620    028-85042466 

公司地址:成都市武侯区一环路南二段2号新世纪商业中心东楼17楼B座


   
 
上一篇:ThinkPad P1 2024工作站评测             下一篇: 宝德AI加速服务器PR6910E2
友情链接: 四川服务器总代理 | 成都服务器总代理 | 成都戴尔总代理 | 成都戴尔服务器总代理 | 成都联想总代理 | 成都浪潮服务器总代理 |
成都强川科技有限公司 版权所有 Copyright 2011-2024
全国免长途热线:400-028-6620 技术支持:028-85041466 传真:028-85215166
地址:成都市武侯区新世纪电脑城东17楼B座       ICP备案编号:蜀ICP备11026978号-2