DeepSeek“开源周”，连续掏出两大核心武器

APP下载

扫一扫

下载观察者APP

DeepSeek“开源周”，连续掏出两大核心武器
- 张广凯13764468101
分享到：

2025-02-25 11:47:31 字号：A- A A+ 来源：观察者网

今天是DeepSeek“开源周”第二日，DeepSeek宣布开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。

昨天，DeepSeek则开源了代码库Flash MLA，这是针对Hopper GPU优化的高效MLA解码内核，针对可变长度序列作了优化。

MoE（混合专家架构）和MLA（多头潜在注意力机制）被认为是DeepSeek以低成本实现杰出表现的核心原因。

简单理解，MoE架构是由多个专注于垂直技能的专家模型分工协作来实现最终输出结果，训练成本和推理成本更低。有消息称，GPT-4就使用了MoE架构，由8个220B模型组成。但MoE架构的缺点之一是会增加通信成本。

DeepEP通信库就是针对通信环节的优化，其特点包括：高效、优化的全员沟通；节点内和节点间均支持 NVLink 和 RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生 FP8 调度支持；灵活的 GPU 资源控制，实现计算-通信重叠。

MLA则是让模型预测更远位置的token，从而增强语义理解能力。DeepSeek的Flash MLA专为英伟达Hopper GPU打造了高效MLA解码内核，特别针对变长序列进行了优化。
本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签
- 责任编辑: 张广凯
- DeepSeek带动英伟达在华订单大增？
  
  2025-02-25 11:11 观网财经-科创
- 经济数据引发美国科技股再跳水，热门中概股大幅回落
  
  2025-02-25 11:07 观网财经-互联网
- 国产GPU厂商被曝考虑赴港IPO，拟募资3亿美元
  
  2025-02-25 10:12 观网财经-科创
- 今日头条2024年拦截不实信息超500万条，处置不友善内容3亿条
  
  2025-02-24 22:12 观网财经-互联网
- 京东：外卖骑手五险一金的所有成本，全部由京东承担
  
  2025-02-24 18:39 观网财经-互联网
- 苹果推出超低配iPhone16e的原因找到了？
  
  2025-02-24 18:26 手机
- 公开指责字节旗下红果短剧垄断，爱奇艺因何焦虑？
  
  2025-02-24 18:21 观网财经-互联网
- 茶咖日报｜霸王茶姬发起青年艺术共创计划；喜茶携手Adyen加速全球支付布局
  
  2025-02-24 18:05 观网财经-消费
- 首款为原生鸿蒙而生的手机3月发布，腾讯回应余承东
  
  2025-02-24 16:27 观网财经-科创
- 喜茶海外首家LAB店落地纽约，美国门店已超20家
  
  2025-02-24 16:15 观网财经-消费
- 工信部副部长熊继军：加快完善我国开源生态体系建设
  
  2025-02-24 14:20 观网财经-科创
- 超百亿加码+深度创新，SHEIN链深耕服装产业升级
  
  2025-02-24 13:47
- 事关AI，阿里宣布：将投3800亿
  
  2025-02-24 10:46 人工智能
- 全球开发者先锋大会在上海开幕，有哪些看点？
  
  2025-02-22 22:55 观网财经-科创
- 黄仁勋首度回应DeepSeek冲击
  
  2025-02-22 20:49 人工智能
- 沈向洋谈DeepSeek：开源和闭源不是对立的商业模式
  
  2025-02-22 19:32 观网财经-科创
- 元宝下载量仅次于DeepSeek！腾讯股价创近4年来新高
  
  2025-02-22 18:27 观网财经-互联网
- 道指跌超700点，中概股逆势上涨
  
  2025-02-22 11:41
- 全球折叠屏出货罕见大跌18%：华为超三星成第一，荣耀联想进前五
  
  2025-02-21 21:58 观网财经-科创
- 仅仅10年前，中国游客还在东京秋叶原抢马桶盖
  
  2025-02-21 21:10 中国经济
搜索

   观察者头条查看全部

24小时内三项裁决，“与美国谈判的各国乐了” 评论 0

月均一起重大事故，海陆空三军无一例外…韩媒发愁评论 81

中方严管，印企着急：几天内汽车生产将陷入停滞评论 263

“欧盟想‘投降’，只有法国公开反对” 评论 150

被当面说“胆怯”，特朗普大破防评论 163

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001 网登网视备（沪）02020000041-1号互联网宗教信息服务许可证：沪（2024）0000009 广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571

沪公网安备 31010502000027号中国互联网举报中心上海市互联网违法与不良信息举报中心

返回顶部