百度研发出大模型加持的广告推荐系统，转化率提升3.6%

APP下载

扫一扫

下载观察者APP

百度研发出大模型加持的广告推荐系统，转化率提升3.6%
- 张睿佳
分享到：

2025-04-03 17:07:47 字号：A- A A+ 来源：观察者网

（文/张睿佳编辑/张广凯）

上月，百度团队于arXiv上发表论文，介绍了一种名为COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，该框架被应用于提升生成式模型在广告推荐系统中的使用效果。

根据文章介绍，工程师把COBRA投放到真实环境，在 A/B 测试中增加了3.6%的转化率，ARPU（平均每用户收入）增加4.15%，目前该框架已经被应用在百度广告推荐业务上。

利用生成式大模型来提高广告推荐的准确性，是很多企业都在做的尝试。早在去年，谷歌就提出了一种生成式检索推荐系统范式TIGER。

百度团队的论文提到，谷歌的TIGER是利用 Transformer 编码器-解码器架构中的一系列稀疏 ID 作为输入，直接预测下一个项目的稀疏 ID。而百度这篇论文的标题就是“当稀疏遇到稠密”，相较TIGER做出了进一步改进。

据悉，COBRA是一个融合生成式和密集检索的框架。

在生成式推荐中，模型需要预测的目标对象（item)是一个个综合体，并非简单的token。所以在技术上，需要明确如何表征，并进行序列建模。

百度最先采用的是纯文本表征和LLM建模策略。该策略提升了对用户意图的理解能力但是运行成本较高，同时在表征和建模中存在不匹配的问题。

为解决该问题，百度团队又使用了稠密学习和对比学习度量，但这个方案缺少兴趣探索过程，建模复杂度较高。

在受到谷歌推出的推荐系统生成检索的TIGER方法启发后，团队又尝试了稀疏表征和稀疏ID生成。

这个过程中运用到一个名为“残差量化变分自编码器（RQ-VAE）”的技术。顾名思义，该技术综合了残差学习、量化技术和变分自编码器三种方法。可以减少信息损失、提高模型的泛化能力，并通过优化模型参数，改善重构效果。

但是稀疏表征带来的信息缺失，使得该方案在捕捉用户偏好的精细变化时效果较差。

最后，团队提出了COBRA框架，稀疏稠密级联表征和⽣成度量⼀体化方案，并达到了SOTA 级别的推荐性能。

在该框架中，稀疏ID负责提供稳定的类别基础信息，稠密向量确保模型捕获高级语义和细粒度细节。模型在稀疏ID的指导下动态地细化稠密向量，可以获得更加全面的目标对象（item) 特征。同时端到端的训练方法，可以捕获高级语义和协同信息。

实测效果上，在利用公开数据集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工业数据集(Baidu Industrial)，以及离线和在线评估后，证明COBRA 优于目前业内最先进的方法。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签百度 COBRA
- 责任编辑: 张睿佳
- 多家果链大厂跌停：关税客户承担，不可能亏钱给他做
  
  2025-04-03 16:15 观网财经-科创
- 拼多多推出“千亿扶持”惠商计划
  
  2025-04-03 16:10 观网财经-互联网
- 乐事薯片陷TBHQ致癌争议，专家称合规使用无风险
  
  2025-04-03 15:38 观网财经-消费
- 中国市场暴涨65%，全球数码相机出货再现2位数增长
  
  2025-04-03 14:23 观网财经-科创
- 银行去年“反向讨薪”成绩单：两银行均追回超3000万
  
  2025-04-03 13:24 金融观察
- 全球加税阴霾，A股小幅震荡
  
  2025-04-03 12:54 股市
- “再逼中国大陆，他们可能重新定义半导体，就像DeepSeek一样”
  
  2025-04-03 12:26 观网财经-科创
- “吨级商载、百米起降”再获亿元融资
  
  2025-04-03 12:01 观网财经-科创
- 全球首个且唯一！aTTP靶向纳米抗体药物获CDE优先审评资格
  
  2025-04-03 11:55 观网财经-健康
- 我国成功发射卫星互联网技术试验卫星
  
  2025-04-03 11:55 观网财经-科创
- 2024年1.8万人离开证券业，中信、国信、广发减员超千人
  
  2025-04-03 11:39 金融观察
- 特朗普这样捏造他国对美“税率”？
  
  2025-04-03 11:00 应对特朗普冲击波
- 国产手机芯片龙头完成股改，高端市场何时能破局？
  
  2025-04-03 10:24 观网财经-科创
- 前谷歌学者罗剑岚加入智元机器人，任首席科学家
  
  2025-04-03 09:28
- 智能早报丨美国征税科技股大跌；AI图灵测试击败人类；港大华为推最强模型
  
  2025-04-03 08:48 观网财经-科创
- 又摊上事了，这回还有华尔兹
  
  2025-04-02 21:21 美国一梦
- 获利9897万、罚没3.96亿！一股民以虚假申报手段操纵多只股票被罚
  
  2025-04-02 21:10 金融观察
- 增利不增收的青岛啤酒，连续六年出现季节性亏损
  
  2025-04-02 20:40 观网财经-消费
- 与清华合作，支持22种中文方言的语音大模型来了！
  
  2025-04-02 20:06
- 业绩狂飙的老铺黄金，股价却即将承压？
  
  2025-04-02 20:03 观网财经-消费
搜索

   观察者头条查看全部

砍1630亿美元！但“马斯克和SpaceX是赢家” 评论 42

“特朗普的黄金时代需要工厂，但工厂离不开中国机器” 评论 52

“我们高度依赖中国，特朗普这么干，打残自己” 评论 120

美国商会喊话特朗普：赶紧减免关税，经济撑不住了评论 115

商务部：美方主动向中方传递信息，中方正评估评论 410

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

百度研发出大模型加持的广告推荐系统，转化率提升3.6%

多家果链大厂跌停：关税客户承担，不可能亏钱给他做

拼多多推出“千亿扶持”惠商计划

乐事薯片陷TBHQ致癌争议，专家称合规使用无风险

中国市场暴涨65%，全球数码相机出货再现2位数增长

银行去年“反向讨薪”成绩单：两银行均追回超3000万

全球加税阴霾，A股小幅震荡

“再逼中国大陆，他们可能重新定义半导体，就像DeepSeek一样”

“吨级商载、百米起降”再获亿元融资

全球首个且唯一！aTTP靶向纳米抗体药物获CDE优先审评资格

我国成功发射卫星互联网技术试验卫星

2024年1.8万人离开证券业，中信、国信、广发减员超千人

特朗普这样捏造他国对美“税率”？

国产手机芯片龙头完成股改，高端市场何时能破局？

前谷歌学者罗剑岚加入智元机器人，任首席科学家

智能早报丨美国征税科技股大跌；AI图灵测试击败人类；港大华为推最强模型

又摊上事了，这回还有华尔兹

获利9897万、罚没3.96亿！一股民以虚假申报手段操纵多只股票被罚

增利不增收的青岛啤酒，连续六年出现季节性亏损

与清华合作，支持22种中文方言的语音大模型来了！

业绩狂飙的老铺黄金，股价却即将承压？

“特朗普的黄金时代需要工厂，但工厂离不开中国机器”

特朗普再对两家美媒“断粮”

“美国商品短缺和价格上涨的倒计时开始”

美国商会喊话特朗普：赶紧减免关税，经济撑不住了

“我们高度依赖中国，特朗普这么干，打残自己”

马斯克自比佛陀：佛陀去世后，佛教不是更兴盛了吗？

商务部：美方主动向中方传递信息，中方正评估

三个月了，日本被困下水道的卡车司机终于找到

中国批准了，澳大利亚业界“非常振奋”

“美国现在是不撞南墙不回头，不见棺材不落泪”

“群聊泄密门”始作俑者被解雇，原来他早就被…

麦当劳“叫苦”：经济难以预测，美国人不敢花钱了

“英伟达焦虑：若DeepSeek用中企芯片…”

瑞安航空：若涨价，退了波音考虑C919

“白宫在努力控制叙事，但美国消费者很清楚”

美财长：该降息了