观察员
-
马斯克抢先一步后，国产大模型纷纷发力十万卡集群
-
张广凯13764468101
国内大模型企业的十万卡时代，真的要来了吗？
9月25日，百度发布了全面升级的百舸AI异构计算平台4.0，百度智能云事业群总裁沈抖直言，百舸4.0就是部署十万卡大规模集群而设计的。
百度集团执行副总裁、百度智能云事业群总裁沈抖观察者网
而就在几天前，阿里云宣布其灵骏单网络集群已拓展至10万卡级别。此前，腾讯也发布了支持十万卡集群的星脉网络2.0。
一度还停留在设想层面的十万卡集群，突然成为舆论焦点是在9月初。马斯克突然宣布在短短122天内建成10万张英伟达H100显卡的Colossus集群，意味着其算力可能已经超过OpenAI。
由显卡规模撑起的算力水平，是决定大模型性能的最重要指标之一。一般认为，1万枚英伟达A100芯片，是做好AI大模型的算力门槛。
建一个万卡集群，单是GPU的采购成本就高达几十亿，因此国内能够部署万卡规模集群的，原本就只有阿里、百度等寥寥几家大厂。而想要部署十万卡集群，其“烧钱”程度可想而知。
除了资金成本，十万卡集群同样面临巨大的技术挑战。沈抖指出，GPU是一种很敏感的硬件，连一天之内气温的波动，都会影响到GPU的故障率，而且规模越大，出故障的概率就越高。“Meta训练llama3的时候，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。”
此外，区别于传统CPU集群的串行特点，大模型训练过程需要全部显卡同时参与并行计算，对网络传输能力也提出了更大的挑战。
相比于美国同行，中国大模型企业还面临一重特殊的困难，无法像马斯克那样全部采用英伟达方案，而是需要使用包括国产GPU在内的异构芯片。这也意味着，即使同样十万张显卡，国内企业在算力规模上也很难同美国企业匹敌。
在上述三重挑战之下，国内大模型企业的进步速度也有目共睹。
据沈抖介绍，百舸4.0在万卡集群上实现了有效训练时长占比99.5%以上，业界领先，并通过在集群设计、任务调度、并行策略、显存优化等一系列创新，大幅提升了集群的模型训练效率，整体性能相比业界平均水平提升高达30%。
而阿里云CTO周靖人此前也透露，目前阿里云的万卡算力集群可以实现大于99%以上连续训练有效时长，模型算力利用率可提升20%以上。
但随着性能提升，大模型成本问题只会越来越引人注目。单从能耗来看，沈抖透露，十万卡集群每天就要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。
一位开发者向观察者网直言，尽管在过去一年中大模型厂商的降价幅度确实可观，但这更多是平台补贴开发者的结果，并非根本解决之道。
对此，阿里云方面强调，AI发展仍然处在一个非常早期的阶段，必须要靠降价带动应用爆发，而阿里云搞AI大基建，并不会只算眼前账。
本文系观察者网独家稿件，未经授权，不得转载。
标签 大模型- 责任编辑: 张广凯
-
上海投入5亿元发消费券！首批本周六申领，涵盖餐饮、住宿、电影等
2024-09-25 16:39 观网财经-消费 -
小米要求印度撤回反垄断报告：包含商业机密
2024-09-25 15:33 观网财经-科创 -
上证指数收复2900点
2024-09-25 13:15 观网财经-金融 -
三星18亿美元投资越南，加工OLED面板模组
2024-09-25 12:06 观网财经-科创 -
亚行预计亚太地区今年经济增长5%，中国4.8%
2024-09-25 11:33 观网财经-宏观 -
OpenAI全面发布类人ChatGPT语音助手，支持中文等50多种语言
2024-09-25 11:29 观网财经-互联网 -
在美中概股昨夜集体大涨，华尔街称涨势将持续
2024-09-25 11:20 观网财经-金融 -
读懂央行新政：为居民减负才是精准药方
2024-09-25 08:52 观网财经-宏观 -
离岸人民币兑美元收复7.0关口
2024-09-25 08:15 观网财经-海外 -
金融资产投资公司股权投资试点范围扩大至18个城市
2024-09-24 21:25 金融观察 -
证监会发布《关于深化上市公司并购重组市场改革的意见》
2024-09-24 20:30 政策风向标 -
中国粮食75年增产5倍，海外友人：中国大米比日本和泰国米更好吃
2024-09-24 20:10 -
智能终端操作系统国家标准研讨会：华为、vivo、小米等参加
2024-09-24 20:02 观网财经-科创 -
“纯血鸿蒙”即将公测，鸿蒙PC可能也快来了
2024-09-24 18:22 观网财经-科创 -
3年超越西方30年？
2024-09-24 17:35 观察者头条 -
商务部：对美国PVH集团启动不可靠实体清单调查
2024-09-24 16:30 -
专家解读：房价触底、缓解提前偿债压力、刺激内需、对冲通缩
2024-09-24 16:19 -
沪指创4年多最大单日涨幅，两市成交额超9700亿
2024-09-24 15:34 -
印度电信巨头签36亿美元大单，提升4G覆盖、引入5G
2024-09-24 14:22 观网财经-海外 -
大促免佣、店播免佣、解绑运费险！今年双11淘宝商家获“大红包”！
2024-09-24 13:50 双11节
相关推荐 -
-
挑战中国稀土地位？“澳大利亚，远不够格” 评论 31
来了！2025年高考作文题汇总 评论 186
“在华美企：回美国？不可能的” 评论 59
中澳合作铁矿投产，主要销往中国 评论 90
美国下黑手，全球航运巨头：不改，还买中国船 评论 44
1直击印度痛点！俄罗斯要与印度合作“增强版”苏-57E，会给中国带来多大麻烦？评论 207 赞 39
375岁老人独自去游乐园被拒入园，游乐园设年龄“上限”门槛合理吗？评论 166 赞 3
4美国“靓丽的风景线”来了！喜闻乐见评论 165 赞 119
5如何看待79岁的特朗普，在6月8日这天上空军一号的时候，差点摔了一跤？评论 114 赞 6
6如何看待北大辛德勇教授，怀疑“采药昆仑”石刻乃今人伪刻？评论 105 赞 8
7作为0距离观察艾滋病患者的人，我想说多数人对艾滋病群体的行为逻辑缺乏直观认识评论 100 赞 12
9稀土将成为中国管制世界的手段评论 87 赞 78
10局面加速雪崩，马斯克凶多吉少！评论 70 赞 11最新闻 Hot
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
