华为昇腾推出高性能保精度量化方案，更好适配DeepSeek

APP下载

扫一扫

下载观察者APP

华为昇腾推出高性能保精度量化方案，更好适配DeepSeek
- 万肇生Guanchazhewanxgun
分享到：

2025-05-25 10:14:44 字号：A- A A+ 来源：观察者网

（文/万肇生编辑/张广凯）

近日，华为公开了昇腾服务器上部署DeepSeek V3/R1推理的最佳实践，并介绍了一系列创新技术。

其中，华为在降低计算资源需求方面，创新提出了昇腾亲和的低比特量化解决方案OptiQuant，最终实现了INT8量化模式与FP8的模型推理精度持平。

由于DeepSeek V3/R1模型是基于英伟达生态训练，并推荐使用FP8精度推理，而国产芯片普遍没有原生支持FP8精度，导致国产芯片对DeepSeek的适配不佳。华为昇腾的上述研究应该就是为了解决这一问题。

通常情况下，在模型推理阶段，进行量化（如FP8量化为INT8）可以显著降低模型对硬件的存储需求和计算复杂度，但也会造成模型推理精度的损失以及逻辑错误等问题。因此如何保持推理精度，是低比特量化满足不同平台部署需求时的前提。

据华为介绍，基于BF16的DeepSeek需要1.3TB的显存空间，同时导致极大的算力和跨机通信开销。而校准集的泛化性缺失导致了在很多任务上难以达到与原有模型相近的精度水平，甚至在某些场景下精度下降十分严重。同时，还要考虑如何设计昇腾亲和的量化算法，以发挥硬件性能。

针对上述问题，华为提出了OptiQuant量化框架，一种高性能保精度量化方案，设计了层间自动混精、自动混合校准、离群值抑制、可学习的截断和SSZW参数量化算法。除了支持业界主流量化算法功能之外，它还新增支持三个功能：接入自定义量化算法和数值类型，可以将多种量化算法的自由组合搭配使用；支持业内主流评测数据集和用户自定义的数据校准集；支持数据并行和流水并行，针对不同大小的大语言模型实现精度验证性能加速。

OptiQuant框架主要由以下几个模块组成：

量化类型和数值类型：OptiQuant支持了Int2/4/8和FP8/HiFloat8等数据类型，支持业界的Qserve，HQQ，LUT等量化方法，在此基础上提出了可学习截断和量化参数优化等算法，进一步减少了量化误差。

多样化测试数据集和用户自定义校准集：多样化测试数据集和用户自定义校准集：OptiQuant支持了判断题，问答题，代码题和数学题等多种测试类别，语种上支持了十种常见语言。此外，OptiQuant支持用户自定义校准集，提升模型量化过程中的泛化性。

量化权重生成：OptiQuant提出了自适应层间混精算法，并且根据对应的量化配置生成对应的权重参数，通过去冗余技术减少参数保存的参数量；OptiQuant进一步提出了FlexSQ等算法，在数据校准过程中，对大模型激活异常值进行了平滑处理，有助于对激活做低比特量化。

最终，基于Atlas 800I A2服务器的精度测试实验结果显示，对于DeepSeek-V3-0324模型，W8A8C16和W4A8C16均采用Per-channel量化，实现了推理精度与FP8-GPU持平。

华为表示，在DeepSeek R1/V3大模型推理场景中，实现了INT8量化模式与FP8的模型推理精度持平，而且进一步发挥了华为Atlas 800I A2和CloudMatrix384集群推理硬件性能。而相关代码也将逐步开源。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签
- 责任编辑: 万肇生
- “去耐克化”，滔搏想做运动品牌的“MCN”
  
  2025-05-24 16:53 观网财经-消费
- 茶咖日报｜霸王茶姬计划内地新增1000家门店
  
  2025-05-23 20:06 观网财经-消费
- 饿了么上线“国补”，下单最高可享2000元补贴
  
  2025-05-23 20:05 观网财经-互联网
- 加速出海！天猫618淘宝包邮区将扩容至全球12站
  
  2025-05-23 20:05 观网财经-互联网
- 京东工业发布Joy industrial，系首个以供应链为核心的工业大模型
  
  2025-05-23 20:03 观网财经-互联网
- BOSS直聘一季报：营收19.23亿元，净利润5.12亿元
  
  2025-05-23 20:03 观网财经-互联网
- 美团外卖“神抢手”日订单量突破1000万单
  
  2025-05-23 17:19 观网财经-互联网
- “投资中国就是投资未来！”，多位国际品牌高管财报季密集发声
  
  2025-05-23 17:06 观网财经-消费
- 特朗普想换鲍威尔？美最高法院出手：美联储是“独特”实体
  
  2025-05-23 15:00
- 观网调查：为什么在招聘平台找不到工作？寒门子弟更难
  
  2025-05-23 14:24 观网财经-互联网
- 联想杨元庆：坚持中国作为大本营，全球化没有终结
  
  2025-05-23 13:20 观网财经-科创
- 近40万台Windows电脑被感染，微软起诉
  
  2025-05-23 10:33 观网财经-科创
- 黑芝麻智能华山A1000芯片助力东风奕派2025款eπ007智雅领航，型动上市！
  
  2025-05-23 10:15
- 净利率连年走低的“燕麦第一股”，寄希望于老龄化市场突围
  
  2025-05-23 10:05 观网财经-消费
- 相比3纳米SoC，小米自研4G基带更值得关注
  
  2025-05-23 09:43 观网财经-科创
- 小米发布玄戒和YU7；三款iPhone被过时；OpenAI计划推出1亿台AI伴侣
  
  2025-05-23 08:50 观网财经-消费
- 老铺黄金港股狂飙，潮宏基能否复制“黄金股神话”？
  
  2025-05-22 21:11 观网财经-消费
- 雷军：小米芯片跑分超300万，不可能上来就吊打苹果
  
  2025-05-22 20:51 观网财经-科创
- 内部人士回应快手强制员工刷短视频：“并不属实”
  
  2025-05-22 20:22 观网财经-互联网
- 传快手要求员工每天刷1小时短视频，内部人士回应
  
  2025-05-22 19:15 观网财经-互联网
搜索

   观察者头条查看全部

特朗普为何突然对欧盟发难？“嫌对华施压还不够” 评论 31

“越谈越僵！最急着签的都杠起来了” 评论 75

美欧这事儿闹的，还扯上中国… 评论 61

“美国失败了，不只黄仁勋这么想” 评论 63

“美国给中国送大礼，共和党人这下该解释麻了” 评论 53

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

华为昇腾推出高性能保精度量化方案，更好适配DeepSeek

“去耐克化”，滔搏想做运动品牌的“MCN”

茶咖日报｜霸王茶姬计划内地新增1000家门店

饿了么上线“国补”，下单最高可享2000元补贴

加速出海！天猫618淘宝包邮区将扩容至全球12站

京东工业发布Joy industrial，系首个以供应链为核心的工业大模型

BOSS直聘一季报：营收19.23亿元，净利润5.12亿元

美团外卖“神抢手”日订单量突破1000万单

“投资中国就是投资未来！”，多位国际品牌高管财报季密集发声

特朗普想换鲍威尔？美最高法院出手：美联储是“独特”实体

观网调查：为什么在招聘平台找不到工作？寒门子弟更难

联想杨元庆：坚持中国作为大本营，全球化没有终结

近40万台Windows电脑被感染，微软起诉

黑芝麻智能华山A1000芯片助力东风奕派2025款eπ007智雅领航，型动上市！

净利率连年走低的“燕麦第一股”，寄希望于老龄化市场突围

相比3纳米SoC，小米自研4G基带更值得关注

小米发布玄戒和YU7；三款iPhone被过时；OpenAI计划推出1亿台AI伴侣

老铺黄金港股狂飙，潮宏基能否复制“黄金股神话”？

雷军：小米芯片跑分超300万，不可能上来就吊打苹果

内部人士回应快手强制员工刷短视频：“并不属实”

传快手要求员工每天刷1小时短视频，内部人士回应

特朗普为何突然对欧盟发难？“嫌对华施压还不够”

特朗普自夸：美国黄金时代的第一批西点军校毕业生，诞生了

俄军称又控制三个居民点，乌军否认

用没用翻译？俄乌突然吵起来了

“越谈越僵！最急着签的都杠起来了”

“推倒重来要几十年！没有中国我们根本无法生产”

美欧这事儿闹的，还扯上中国…

印军称击毙一名巴基斯坦越境者，巴官员称印方“含糊其辞”

特朗普胡诌：有学生2+2都不会，怎么进的哈佛？

内蒙古一地突降大雪，多匹马被冻死

美议员跑加拿大求“复合”：咱有共同“敌人”，中国啊

“美国给中国送大礼，共和党人这下该解释麻了”

特朗普威胁三星：25%

波音被美司法部“豁免”

万斯炒作：美国绝对主导时代结束了，中俄想各个击破

特朗普AI顾问叫嚣：荷兰继续对中国限制出口