-
科大讯飞携手华为,实现基于国产算力的MoE模型推理方案
3月11日,据“科大讯飞研究院”公众号,近日,科大讯飞携手华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理,这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。
科大讯飞介绍,联合团队通过软硬件的深度协同创新,在多个关键技术层面深挖硬件潜力,完成昇腾集群上的验证和部署。在算子融合方面,团队在MLA预处理阶段通过Vector与Cube异构计算单元并行流水,并将多个小算子融合重构为原子级计算单元,消除小算子下发开销,MLA前处理时延降低50%+,实现性能的显著提升。
在混合并行策略和通信计算并行优化方面,团队构建了TP(张量并行)+EP(专家并行)混合范式:对MLA计算层采用机内TP并行,发挥机内高速互联优势,降低跨机通信损耗;创新MoE专家分层调度,64卡均衡分配专家计算节点,定制AllToAll通信协议,专家数据交换效率提升40%,构建跨机/机内双层通信架构,通过分层优化降低跨机流量60%;同时研发路由专家负载均衡算法,实现卡间负载差异小于10%,集群吞吐提升30%。
通过分布式架构创新与算法协同优化,联合团队在国产算力上实现了显著的性能提升。单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。
科大讯飞称,这一突破性的解决方案也将应用于讯飞星火深度推理模型的训练加速,预期训练时推理效率将提升200%。同时,基于该方案的推理引擎也实现了国产算力上DeepSeek V3和R1的高效推理。
近期,科大讯飞深度推理大模型星火X1也完成升级,在模型参数量比业界同行少一个数量级的情况下,星火X1的数学能力全面对标DeepSeek R1和OpenAI o1,在中文数学各项任务中均实现领先。科大讯飞始终坚定走国产化道路,星火X1也是当前唯一采用全国产算力训练的深度推理大模型。
- 责任编辑: 连政
-
《哪吒2》将在欧洲37个国家上映
2025-03-11 16:02 -
两个月吸金20亿,中国机器人创企为何成资本新宠?
2025-03-11 15:17 观网财经-科创 -
国补首次覆盖新能源汽车用品,京东养车再提速
2025-03-11 14:10 观网财经-互联网 -
“高贵的”昂跑和lululemon,也有了高贵的烦恼
2025-03-11 14:03 观网财经-消费 -
稚晖君发布灵犀X2机器人:毫秒级交互反应能力
2025-03-11 13:14 -
国产CPU生态突围需要“竞合”,而非“内耗”
2025-03-11 11:14 观网财经-科创 -
美股大幅低开,特斯拉大跌9%较历史最高位“腰斩”
2025-03-10 23:06 -
方便面“老二”地位动摇,统一靠饮料撑起业绩
2025-03-10 21:49 观网财经-消费 -
出海!宇树在速卖通开设官方店铺
2025-03-10 21:15 观网财经-互联网 -
这些年轻的面孔,都是中国科创的功臣
2025-03-10 21:06 观察者头条 -
17岁男孩“在海底捞”醉酒撒尿,卖酒的人该担责吗?
2025-03-10 19:35 观网财经-消费 -
马来西亚运营商与华为中兴签约,将在5G与AI方面合作
2025-03-10 18:12 观网财经-科创 -
东茅街茶馆会成为下一个文和友吗?
2025-03-10 18:11 观网财经-消费 -
层高至少3米!住建部将从这三个方向落实“好房子”标准
2025-03-10 18:11 2025两会 -
到海外买矿!坐拥7座金矿的赤峰黄金港股再上市
2025-03-10 18:02 观网财经-消费 -
茶咖日报|奈雪的茶被调出港股通标的名单;瑞幸咖啡泰国商标案胜诉
2025-03-10 17:56 观网财经-消费 -
网易回应“将关闭公有云”
2025-03-10 16:10 观网财经-科创 -
苹果折叠屏被曝将搭载硅碳负极电池,宁德新能源独供
2025-03-10 15:46 观网财经-科创 -
登顶热搜,美的被曝强制18点20下班?官方回应,网友吵翻
2025-03-10 14:24 大公司 -
国家机器人创新中心与华为开展具身智能领域合作交流
2025-03-10 10:45 观网财经-科创
相关推荐 -
十四届全国人大三次会议闭幕 评论 0“夹在中美两头大象中间”,加拿大农民“喊疼” 评论 90美股暴跌,华尔街被特朗普吓坏了… 评论 230这些年轻的面孔,都是中国科创的功臣 评论 84“闭嘴、说谢谢”,马斯克和鲁比奥联手欺凌美关键盟友 评论 1651婚检艾滋这事,感觉有点离谱评论 215 赞 432韦东奕的健康状况,刻不容缓!评论 163 赞 693近年来中国数学崛起势头强劲,全民数学兴趣大增,韦东奕关注度极高,有点走偏了评论 104 赞 134短讯:俄罗斯已向印度提供苏57许可生产证+开放完整源代码~评论 100 赞 75美国“靓丽的风景线”来了!喜闻乐见评论 94 赞 556直击印度痛点!俄罗斯要与印度合作“增强版”苏-57E,会给中国带来多大麻烦?评论 90 赞 187如何看待79岁的特朗普,在6月8日这天上空军一号的时候,差点摔了一跤?评论 58 赞 484秒视频涨粉1000万!北大向韦神家属提出交涉,双方压力都很大评论 46 赞 49稀土将成为中国管制世界的手段评论 40 赞 4410观察:巴基斯坦HQ19系统的覆盖范围~评论 36 赞 16最新闻 Hot