外网热议：中国科技巨头百度比OpenAI更早发现Scaling Law

APP下载

扫一扫

下载观察者APP

外网热议：中国科技巨头百度比OpenAI更早发现Scaling Law

分享到：

2024-12-30 17:51:25 字号：A- A A+ 来源：观察者网

最后更新: 2024-12-30 17:55:12

近日，一项关于大模型核心理论“Scaling Law”的起源讨论正在外网热烈展开。最新观点和证据表明，中国科技巨头百度比OpenAI更早实现了这一突破。

知名媒体《南华早报》在其报道《百度在OpenAI之前就发现了Scaling Law？AI领域的辩论重新燃起》中指出，尽管美国在AI模型创新方面一直被视为领先者，但最新的讨论显示，中国在探索这些概念上可能更为超前。

大模型发展的核心是“Scaling Law”——这一原则认为，训练数据和模型参数越大，模型的智能能力就越强。这一思想广泛归功于OpenAI在2020年发表的论文《Scaling Laws for Neural Language Models》，自那以后，这个概念已成为AI研究的基石。

然而，OpenAI论文的合著者、前OpenAI研究副总裁、Anthropic创始人Dario Amodei ，在11月的一期播客中透露，他在2014年与吴恩达在百度研究AI时，就已经发现了模型发展的规律Scaling Law这一现象。Dario Amodei表示，随着提供给模型的数据量增加、模型规模的扩大以及训练时间的延长，模型的性能开始显著提升。这一非正式的观察后来在OpenAI的GPT-1语言模型中得到了验证，并被认为是大模型发展的“金科玉律”。

此外，行业人士也发文称，关于Scaling Law的原始研究实际上来自2017年的百度，而不是2020年的OpenAI。Meta研究员、康奈尔大学博士候选人Jack Morris在X（前Twitter）上引用了一篇标题为《Deep Learning Scaling is Predictable, Empirically》论文，论文于2017年由百度硅谷人工智能实验室发布，详细讨论了机器翻译、语言建模等领域的Scaling现象。

但这篇论文的重要性被严重忽视，OpenAI在 2020年的Scaling Law研究中引用了百度研究人员在2019年发表的论文《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人类水平的准确性：深度学习的计算挑战）。批评者称，OpenAI 有选择地引用了百度 2019 年的论文，而忽略了 2017 年早些时候的研究，而该研究才是Scaling Law概念的真正原始来源。

有研究者表示，正是百度的早期研究为AI大模型的发展奠定了理论基础，并在2019年发布了第一代文心大模型，几乎与OpenAI处于同一时期。“中国在大型模型方面的进步也获得国际认可。”据《南华早报》，在上海举行的百度世界大会2024上，百度宣布了新技术，用以减轻图像生成中的幻觉问题——即生成误导性或事实不一致的图像。百度还透露，截至11月初，百度文心大模型的日均调用量已经达到了15亿，相较一年前首次披露的5000万次，增长约30倍。

随着AI技术的不断进步和应用的深入，中国在全球AI领域的影响力和领导地位将更加凸显。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签
- 责任编辑: 沐梵
- AI芯片竞争激烈，英伟达将未来押在机器人上？
  
  2024-12-30 16:27 观网财经-科创
- “AI教父”：30年内AI致人类灭亡几率达10%至20%
  
  2024-12-30 10:35
- 华为董事：这两年终端能活下来，有国民对华为品牌的热情
  
  2024-12-30 10:07 观网财经-科创
- 财政部：年度公务用车采购总量中新能源汽车占比原则上不低于30%
  
  2024-12-30 09:47 车市快讯
- 华为多款手机降价，Mate X5直降2500元
  
  2024-12-30 08:56 观网财经-科创
- 全球首个重症医疗大模型，来自中国
  
  2024-12-29 15:15 观网财经-互联网
- 特朗普请求最高法暂缓出售TikTok，专家：不可盲目乐观
  
  2024-12-29 15:13 观网财经-互联网
- 荣耀完成股改并更名，将适时启动IPO
  
  2024-12-28 10:21 观网财经-科创
- 小米：自研IoT操作系统Vela全面开源
  
  2024-12-27 21:35 观网财经-科创
- “美元全球官方储备份额，降至30年新低”
  
  2024-12-27 20:24 美国一梦
- 工信部：2025年推进工业5G独立专网建设
  
  2024-12-27 17:30 观网财经-科创
- “AI界的拼多多”推出新款大模型，水平如何？
  
  2024-12-27 17:01 科技前沿
- 旗舰配色搞国内外区别对待？OPPO称绝对没有
  
  2024-12-27 12:39 观网财经-科创
- 美团发布情况说明：坚决治理骑手注册个体工商户
  
  2024-12-27 10:53 观网财经-互联网
- 台媒称大陆手机镜头厂“暴雷”，涉事企业：与事实严重不符
  
  2024-12-27 10:26 观网财经-科创
- 世界银行上调今年中国GDP增长预期
  
  2024-12-27 09:43 中国经济
- 民调：只有19%的美国人认为国家走在正确的道路上
  
  2024-12-27 08:58 美国政治
- 政企办公应用鸿蒙化，为什么刻不容缓？
  
  2024-12-27 08:11 观网财经-科创
- 山寨台积电？韩产业界提议政府组建“韩积电”
  
  2024-12-26 15:42 科技前沿
- 小米被曝正搭建GPU万卡集群，大力投入大模型
  
  2024-12-26 13:49 观网财经-科创
搜索

   观察者头条查看全部

美媒反思：G7如今这点追求，还有啥意义？评论 0

中国电影“已亏损十年”？业界巨头都在聊“如何省钱” 评论 106

再升级，以军称打死伊朗最高军事指挥官评论 431

“她带了块磁铁只为蛐蛐中国，G7没胆写进声明” 评论 399

特朗普最新表态，伊朗提出条件评论 317

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

外网热议：中国科技巨头百度比OpenAI更早发现Scaling Law

AI芯片竞争激烈，英伟达将未来押在机器人上？

“AI教父”：30年内AI致人类灭亡几率达10%至20%

华为董事：这两年终端能活下来，有国民对华为品牌的热情

财政部：年度公务用车采购总量中新能源汽车占比原则上不低于30%

华为多款手机降价，Mate X5直降2500元

全球首个重症医疗大模型，来自中国

特朗普请求最高法暂缓出售TikTok，专家：不可盲目乐观

荣耀完成股改并更名，将适时启动IPO

小米：自研IoT操作系统Vela全面开源

“美元全球官方储备份额，降至30年新低”

工信部：2025年推进工业5G独立专网建设

“AI界的拼多多”推出新款大模型，水平如何？

旗舰配色搞国内外区别对待？OPPO称绝对没有

美团发布情况说明：坚决治理骑手注册个体工商户

台媒称大陆手机镜头厂“暴雷”，涉事企业：与事实严重不符

世界银行上调今年中国GDP增长预期

民调：只有19%的美国人认为国家走在正确的道路上

政企办公应用鸿蒙化，为什么刻不容缓？

山寨台积电？韩产业界提议政府组建“韩积电”

小米被曝正搭建GPU万卡集群，大力投入大模型

美媒反思：G7如今这点追求，还有啥意义？

“中东面临严重威胁，土耳其将加速中远程导弹生产”

一言不合被批“博眼球”，法国政客：对马克龙彻头彻尾的羞辱

马斯克公布了毒品检测报告，但…

欧空局完成首次“人造日食”，发回太阳日冕图像

伊朗人排长队“争先恐后”逃离德黑兰？在伊华人发声

向“钱德勒”非法提供氯胺酮，美一医生或面临最高40年监禁

中国电影“已亏损十年”？业界巨头都在聊“如何省钱”

再升级，以军称打死伊朗最高军事指挥官

高志凯提建议后，印度真有人怕了...

美国施压对华“脱钩”，越南企业哭了：要“毁了”我们

“他俩闹掰，中国把美国看得更透了 ”

“中国不要，欧亚买家接盘”

伊朗发布指南：这些人，通通可疑

“她带了块磁铁只为蛐蛐中国，G7没胆写进声明”

美驻以使馆：帮不了，撤不走，自求多福吧