淮海智算中心宣布AI大模型训练算力效率超50%

(资料图片)

【网易科技2月21日报道】淮海智算中心与浪潮信息进行了超大规模参数AI大模型训练性能测试，数据表明，千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率为53.5%。

具体来说，针对AI大模型训练的计算特点，浪潮信息AI团队对淮海智算中心算力系统进行了优化，系统架构上，采用单节点集成8颗加速器的AI服务器，节点内加速器间实现超高速P2P通信，节点间建立低延迟高带宽的Infiniband通信网络。

在大模型训练技术层面，运用了中文巨量AI模型“源1.0”的训练优化经验，对分布式训练策略进行了优化，通过合理设计张量并行、流水并行和数据并行，精准调整模型结构和训练过程的超参数，最终千亿参数规模AI大模型的训练算力效率达到53.5%。

据悉，这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能高效率的AI大模型训练算力服务。(定西)

关键词