Meta开源“记忆层”，重塑Transformer架构大模型

APP下载

扫一扫

下载观察者APP

Meta开源“记忆层”，重塑Transformer架构大模型
- 朱道义
分享到：

2025-01-03 14:29:32 字号：A- A A+ 来源：观察者网

最后更新: 2025-01-03 14:29:37

11月3日凌晨三点，全球社交巨头Meta分享了一个创新研究——Memory layers（记忆层）。

目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”则提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。

换言之，可以在不增加算力的情况下显著增加大模型的参数。在传统的键值查找中，每个查询都需要与记忆层中的每个键进行比较，以找到最匹配的值。该方法在键的数量较少时是可行的，但随着记忆层规模的增长，这种暴力搜索的方式变得非常低效，需要消耗巨大算力和时间。

Product - Key Lookup是“记忆层”的核心算法之一，使用了一种分而治之的策略，将传统的单一键集合分解为两个较小的键集合，通过两个阶段的查找来减少必要的比较次数，从而提高查找效率。

除了计算效率之外，Product-Key Lookup模块还优化了内存和带宽的使用。由于每个GPU只需要处理一半的键，因此内存的使用量减少了一半。由于每个GPU只需要返回与自己处理的键相关的值，所以内存带宽的需求也得到了优化。

Product-Key Lookup算法不仅提高了记忆层的查询效率，还为记忆层的应用开辟了新的可能性，使得记忆层可以被应用于更大规模的数据集和更复杂的任务中，包括大规模知识图谱的查询、长文本的语义检索等。

并行记忆层则主要是用于对硬件GPU的优化。在传统的Transformer架构模型中，随着模型规模的增加，计算和内存需求也随之增长。特别是在处理大规模数据集时，单一的计算单元很难满足这种需求。并行记忆层通过在多个GPU之间分配任务，有效解决这一难题。在并行记忆层的设计中，每个计算单元只负责处理一部分数据，这样可以减少单个计算单元的负担，同时提高整体的处理速度。

共享记忆参数则是另外一个重要优化方法，允许不同层的记忆层共享同一个参数集合。这种设计的优势在于，它减少了模型的总参数数量，同时提高了参数的利用率。

为了应对训练期间可能出现的变化，研究人员开发了一套动态调整策略。每当有新的键加入或旧有的键被更新时，系统会自动调整相应的子集，而无需对整个记忆池进行全面改造。这样的设计既简化了维护流程，又提高了系统的灵活性和适应性。
本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签 Memory layers Meta
- 责任编辑: 朱道义
- 中国10年期国债收益率跌破1.6%
  
  2025-01-03 10:05 金融观察
- 茅台原董事长丁雄军被查
  
  2025-01-02 20:55 观网财经-消费
- 上海医药收购和黄药业10%股权，中药板块加速布局
  
  2025-01-02 17:30 观网财经-健康
- 新规后首家！黄光裕旗下公司触发市值退市
  
  2025-01-02 17:30
- “医疗大模型第一股”港交所上市：资本簇拥，科大讯飞 “血缘” 深厚
  
  2025-01-02 16:44 观网财经-健康
- “癌症早筛第一股”停牌第九个月，CEO辞职
  
  2025-01-02 15:38 观网财经-健康
- 培育钻石行业掀起涨价潮，市场迎来新动向
  
  2025-01-02 14:29
- 台积电设立2nm试产线，或将在今年量产
  
  2025-01-02 13:35
- 债市开门红！国债期现货全线大涨
  
  2025-01-02 11:38 金融观察
- 中国结算推出减半优惠措施，助力SFISF业务蓬勃发展
  
  2025-01-02 11:03
- 重大人事调整，五粮液“85后”副总走马上任
  
  2024-12-31 17:11 观网财经-消费
- 中核科技重组停牌标的公司曾谋求上市未果
  
  2024-12-31 13:04
- 央行首开债市罚单：三家机构共罚超7000万
  
  2024-12-30 22:51 金融观察
- 贵阳银行拟任“85后”副行长辞职
  
  2024-12-30 22:51 金融观察
- “今年以来大量资金涌向债券市场，市场利率过快下行”
  
  2024-12-30 21:42 金融观察
- 1766亿“红包雨”来了，四大行股价年内创新高
  
  2024-12-30 21:32 金融观察
- 金融观察员｜12月24日-12月30日银行周报
  
  2024-12-30 19:09 金融观察
- 沪上阿姨冲刺港交所，门店数已达8980家
  
  2024-12-30 15:36 观网财经-消费
- 好丽友第三代继承人上位，在华高层也有新任命
  
  2024-12-27 19:09 观网财经-消费
- 滨江集团戚金兴：明年销售目标约1000亿元
  
  2024-12-27 16:27 观网财经-消费
搜索

   观察者头条查看全部

巴菲特罕见警告美元：不会投资“在下地狱”的货币评论 61

巴菲特首次批评贸易战：75亿人不喜欢你，这是大错误评论 138

“这事传到特朗普那儿，龙颜大怒” 评论 42

48%流向美贫困区，“离了这些，我们根本活不起了” 评论 140

“终于从中国借到了月壤，NASA却…” 评论 95

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

Meta开源“记忆层”，重塑Transformer架构大模型

中国10年期国债收益率跌破1.6%

茅台原董事长丁雄军被查

上海医药收购和黄药业10%股权，中药板块加速布局

新规后首家！黄光裕旗下公司触发市值退市

“医疗大模型第一股”港交所上市：资本簇拥，科大讯飞 “血缘” 深厚

“癌症早筛第一股”停牌第九个月，CEO辞职

培育钻石行业掀起涨价潮，市场迎来新动向

台积电设立2nm试产线，或将在今年量产

债市开门红！国债期现货全线大涨

中国结算推出减半优惠措施，助力SFISF业务蓬勃发展

重大人事调整，五粮液“85后”副总走马上任

中核科技重组停牌标的公司曾谋求上市未果

央行首开债市罚单：三家机构共罚超7000万

贵阳银行拟任“85后”副行长辞职

“今年以来大量资金涌向债券市场，市场利率过快下行”

1766亿“红包雨”来了，四大行股价年内创新高

金融观察员｜12月24日-12月30日银行周报

沪上阿姨冲刺港交所，门店数已达8980家

好丽友第三代继承人上位，在华高层也有新任命

滨江集团戚金兴：明年销售目标约1000亿元

48%流向美贫困区，“离了这些，我们根本活不起了”

“终于从中国借到了月壤，NASA却…”

他称“无法确保出席阅兵式的各国领导人安全”，俄方回击

阿尔巴尼斯成功连任，“特朗普因素成幕后推手”

访美期间突感身体不适，武契奇紧急回国入院治疗

鲁比奥“对线”德国外交部

局势再升级！印度发布禁令

“加州不是美国，我们对中国伸出开放之手”

美国糊弄人，日本拆台：不可接受

刚签完乌克兰矿产协议，美国又要对俄罗斯动手了？

马哈蒂尔：美帝国走向末路，拦不住中国

数千美情报人员将被裁撤，美媒炒：他们“反水”中俄怎么办

5年来首次，香港金管局买入美元以稳定汇率

特朗普下手，英伟达对华“特供版”要改

中国人寿通过议案，险资有望加入债券“南向通”

美防长命令双航母战斗群继续留在中东