华为揭秘：国产昇腾训出世界一流大模型

APP下载

扫一扫

下载观察者APP

华为揭秘：国产昇腾训出世界一流大模型

分享到：

2025-05-30 16:15:07 字号：A- A A+ 来源：观察者网

近日，华为在MoE模型训练领域再进一步，重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节，充分体现了昇腾在超大规模MoE训练性能上的跨越。

训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型的全流程训练。

在模型架构上，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。此外，他们还提出了 EP loss 负载优化方法，这一设计不仅保证了各个专家之间的能保持较好的负载均衡，也提升了专家的领域特化能力。同时，盘古Ultra MoE使用了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。

在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上，高效打通大稀疏比MoE强化学习（RL）后训练框架的关键技术，使RL后训练进入超节点集群时代。同时，在5月初发布的预训练系统加速技术基础上，在不到一个月的时间内，华为团队又完成了一轮迭代升级，包括：适配昇腾硬件的自适应流水掩盖策略，进一步优化算子执行序，进一步降低Host-Bound以及提升EP通信的掩盖；自适应管理内存优化策略的开发；数据重排实现DP间Attention负载均衡；以及昇腾亲和的算子优化，这些技术实现万卡集群预训练MFU由30%大幅提升至41%。

此外，近期发布的盘古Pro MoE大模型，在参数量仅为720亿，激活160亿参数量的情况下，通过动态激活专家网络的创新设计，实现了以小打大的优异性能，甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上，位居千亿参数量以内大模型排行并列国内第一。

华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践，同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证，为中国人工智能产业的发展提供了一颗“定心丸”。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签华为盘古
- 责任编辑: 杨依婷
- 欧洲高端手机需求强劲，三星+苹果份额超60%
  
  2025-05-30 15:52 观网财经-科创
- 工信部印发《算力互联互通行动计划》
  
  2025-05-30 14:15 观网财经-科创
- 老外黄牛为抢Labubu当街混战！泡泡玛特饥饿营销隐忧浮现
  
  2025-05-30 13:45 观网财经-消费
- 增收不增利的名创优品，一季报后市值蒸发超过80亿元
  
  2025-05-30 11:49 观网财经-消费
- 黄仁勋减持600万股；大疆23亿深圳拿地；宇树科技回应更名
  
  2025-05-30 08:34 观网财经-科创
- 宇树科技改名，公司回应
  
  2025-05-29 23:14 大公司
- 国产EDA概念股大涨
  
  2025-05-29 22:28 观网财经-科创
- 新茶饮4月开店1857家，同比减少34%
  
  2025-05-29 20:40 观网财经-消费
- 字节跳动放宽博士招聘条件，薪酬不设上限
  
  2025-05-29 19:51 观网财经-互联网
- 西门子EDA断供中国将如何冲击国内芯片产业？
  
  2025-05-29 18:30
- 水艺新生定制未来德国高仪携重磅新品亮相2025中国国际厨卫展
  
  2025-05-29 17:51 产业万象
- 目标中国前三，李健誓言带荣耀重生
  
  2025-05-29 16:00 观网财经-科创
- 黄仁勋：无论有没有美国芯片，中国AI发展都会继续
  
  2025-05-29 15:52 观网财经-科创
- 马斯克宣布即将离开美政府；大模型用隐私威胁人类；比亚迪回应经销商暴雷
  
  2025-05-29 08:49 观网财经-科创
- 46人的泰国公司在中国狂赚11亿，但椰子水市场隐忧已现
  
  2025-05-28 20:41 观网财经-消费
- 星巴克辟谣“牛马”广告语嘲讽打工人
  
  2025-05-28 20:19 观网财经-消费
- 做机器人时代的Wintel，地瓜机器人完成1亿美元融资
  
  2025-05-28 19:54 观网财经-科创
- 魅族前高管：攻击玄戒没有自主技术的人，都不懂芯片
  
  2025-05-28 12:36 观网财经-科创
- 追梦空天牵手柘飞航空，共推AAM商业化
  
  2025-05-28 11:45 观网财经-科创
- 夸克健康大模型通过副主任医师职称考试，医生怎么说？
  
  2025-05-28 11:40 观网财经-互联网
搜索

   观察者头条查看全部

这届白玉兰也太难选了评论 0

“中国学生：美国梦碎，回国效力” 评论 432

24小时内三项裁决，“与美国谈判的各国乐了” 评论 127

月均一起重大事故，海陆空三军无一例外…韩媒发愁评论 104

中方严管，印企着急：几天内汽车生产将陷入停滞评论 289

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

华为揭秘：国产昇腾训出世界一流大模型

欧洲高端手机需求强劲，三星+苹果份额超60%

工信部印发《算力互联互通行动计划》

老外黄牛为抢Labubu当街混战！泡泡玛特饥饿营销隐忧浮现

增收不增利的名创优品，一季报后市值蒸发超过80亿元

黄仁勋减持600万股；大疆23亿深圳拿地；宇树科技回应更名

宇树科技改名，公司回应

国产EDA概念股大涨

新茶饮4月开店1857家，同比减少34%

字节跳动放宽博士招聘条件，薪酬不设上限

西门子EDA断供中国将如何冲击国内芯片产业？

水艺新生定制未来德国高仪携重磅新品亮相2025中国国际厨卫展

目标中国前三，李健誓言带荣耀重生

黄仁勋：无论有没有美国芯片，中国AI发展都会继续

马斯克宣布即将离开美政府；大模型用隐私威胁人类；比亚迪回应经销商暴雷

46人的泰国公司在中国狂赚11亿，但椰子水市场隐忧已现

星巴克辟谣“牛马”广告语嘲讽打工人

做机器人时代的Wintel，地瓜机器人完成1亿美元融资

魅族前高管：攻击玄戒没有自主技术的人，都不懂芯片

追梦空天牵手柘飞航空，共推AAM商业化

夸克健康大模型通过副主任医师职称考试，医生怎么说？

这届白玉兰也太难选了

“中国学生：美国梦碎，回国效力”

大陆武统台湾，韩国是否出手？李在明回答就很迷

总统候选人用厌女言论攻击对手，韩国炸了

“美国施压台在野党：别挡路，买我武器要紧”

日本百年巨头：拼不过中国，去美国找出路

“欧洲要独立，要摆脱枷锁”

“中国科技企业未雨绸缪：没有英伟达，有国产”

日本遗孀外交？普京：我知道安倍的梦想，但时过境迁

这一棒火星四溅，“全球企业损失超340亿美元”

全球人群基因组填上“最后一块拼图”，能解答人类起源了吗？

24小时内三项裁决，“与美国谈判的各国乐了”

1+11外长会“对台表述”更强有力，传递出两层意思

黄仁勋在华新布局，又被盯上了

泽连斯基污蔑：中国不卖西方无人机，却给俄罗斯

“对美国没信心，等着挨中国一拳吧”