-
肖仰华:国内大模型真正的短板并非数据和算力,而在"炼制"工艺
-
周毅是故意的还是不小心?
最后更新: 2024-05-08 21:24:12【文/观察者网 周毅 编辑 张广凯】
微软再一次抛出“王炸”。
5月23日,在西雅图的微软Build 2023开发者大会上,微软CEO纳德拉正式宣布,正在为Windows 11添加人工智能助手“Windows Copilot”,用户可以在Windows系统中使用聊天机器人。
在ChatGPT领域,中国此前已有阿里通义千问、百度文心一言、京东灵犀等多款产品。
在AIGC的新风口下,如何看待中国企业的挑战和机遇?
5月22日,2023数字经济(东湖)论坛在武汉举办。在论坛上,复旦大学教授、上海市数据科学重点实验室主任肖仰华对观察者网表示,与国际同行相比,模型、数据和算力并不是中国最大的劣势,真正的短板在于对大模型"炼制"工艺的掌握,包括数据配方、数据清洗和参数设置等等。
肖仰华表示,大模型"炼制"工艺从根本上决定了大模型的效果。但是和OpenAI等企业相比,我们仍有一定的时间差距。但是中国也有自己的优势,比如举国体制。我们可以成立产业联盟多线并进,缩短试错周期。
图源2023数字经济(东湖)论坛
肖仰华还提醒,我们不能因为炒作ChatGPT一个热点,而忽略了具身智能等其他赛道。
值得重视的短板:先进工艺
在肖仰华看来,以ChatGPT为代表的生成式人工智能技术(AIGC),将成为推动我国数字经济进步,实现高质量发展的重要引擎。在ChatGPT之前,人工智能处于不成熟的产业阶段;ChatGPT的出现将人工智能带入快速发展、快速变现的重工业发展阶段。
但在类ChatGPT等大模型领域,中国尚处于起步阶段,需要进一步规划和统筹。
肖仰华认为,大模型产业发展的取决于数个因素。
首先是模型。模型好比功夫中的“内功”,模型越大,潜力越强;其二是算力,这是大模型的核心竞争力,大模型竞争归根结底是算力的竞争;其三是数据。只有高质量的数据,才能喂养出高水平的大模型。不过,它们都不是中国大模型产业的真正短板所在。
图源微软
“我国的大模型产业,在数据上有优势,在算力上有基础,模型本身也不存在什么秘密,我们真正缺的是先进工艺。”肖仰华说。
他解释道,“炼制”大模型的工艺过程至关重要,它包括数据配方、数据清洗、参数设置、流程设计和质量控制等等。它从根本上决定了大模型的效果,是大模型产业发展的重要因素。当前我国大模型产业发展缺乏先进工艺过程,这是短期之内难以跟上的,需要付出巨大代价进行摸索。
数据配方,指的是根据模型的学习目标,确定不同领域、不同类型、不同模态数据的配比;数据清洗,指的是对原始语料进行去噪、去重、过滤、规范化等操作,提高语料一致性、多样性与完整性。
所谓的参数设置,是根据模型的架构和规模,选择合适的超参数,如学习率、批次大小、优化器、激活函数等,这些选择将影响模型训练的效率和效果。
流程设计,是根据模型的训练目标和资源限制,设计各相关组件之间的流程排布、目标设定、训练策略等,提高模型的泛化能力和适应性。
质量控制,指的是对模型的训练过程和结果进行监控和评估,通过准确率、困惑度等关键指标监测,通过对比不同模型或版本的表现,以保障大模型训练的质量和稳定性。
肖仰华表示,上述的每一个具体模块,国内其实都知道怎么做,但是将它们整合在一起,总体效果和国外是存在差距的。“不是能做还是不能做的问题,而是做出来的效果是70分与100分的差别。”肖仰华表示,我们要赶上最后这几十分,要不断试错、评测和改进。
肖仰华对观察者网表示,先进工艺的掌握需要试错,需要时间积累。OpenAI成立于2015年,在2018年投入大模型研发,到今年整整用了5年时间,他们花了很多时间去试错和摸索。即使现在很多中国企业在努力追赶,但是这个“时间差”是一朝一夕难以赶上的。
OpenAI网站截图
但是,中国也有优势:举国体制。
“我们可以把串行的试错变成并行的试错,甚至可以10条技术路线同时试错,”,肖仰华解释道,当一些人在验证某一个路线,那么其他人就不必重复验证该路线,可以转而去验证求索B路线、C路线……这就是中国举国体制的力量。
肖仰华提到,并行试错需要相关研发机构形成联盟,例如算力联盟、数据联盟和技术联盟。如果大家能够做到技术共享、协同研发,就可以把试错的成本大大降低,并显著缩短试错周期。“人家需要用5年,我们可以只用1年。迎头追赶的策略是存在的,关键是我们能不能推动这些联盟的团结。”
- 责任编辑: 周毅 
-
王炸芯片,难再成苹果救星
2024-05-08 18:18 观网财经-科创 -
ST阳光:控股股东涉嫌内幕交易被证监会拟罚款2.32亿元
2024-05-07 20:57 -
华为苹果同日对决,背后还有中韩面板之争
2024-05-07 17:23 观网财经-科创 -
历史性一幕!iPhone在华市场份额跌出前五
2024-05-07 11:13 观网财经-科创 -
45亿加码“五五购物节”,拼多多助力上海“拼”出精彩
2024-05-06 19:32 -
美国Tiktok法案的起草人,引火烧身了
2024-05-06 18:47 观网财经-金融 -
舒适赛道红利释放,红豆股份品牌转型出成效
2024-05-06 13:33 -
“五一”近3亿人次出游,较2019年同期增长28.2%
2024-05-06 12:16 观察者头条 -
巴菲特股东大会要点来了!回应减持苹果、巨额现金储备等
2024-05-05 08:28 -
武广高铁、沪杭客专等4条高铁线涨价,涨幅近20%
2024-05-04 14:13 高铁世纪 -
深圳将取消福田、南山之外区域住房限购?深圳住建局回应
2024-05-04 10:27 观网财经-房产 -
-
20张营业执照只有3家实存?央媒:问题在下头,根子在上头
2024-05-03 11:21 基层治理 -
上海推出商品住房“以旧换新”活动
2024-05-03 09:39 观网财经-房产 -
中俄东线天然气管道最新进展
2024-05-03 09:30 国企备忘录 -
31省份“一季报”:苏鲁浙增速超6%,山西总量下滑
2024-05-02 21:39 宏观经济 -
美联储维持利率不变,纳指两连跌星巴克重挫
2024-05-02 07:42 观网财经-海外 -
南京公积金新政:包括宣城、马鞍山在内的南京都市圈9城互认互贷
2024-05-01 19:50 观网财经-房产 -
美国当前经济数据中,也许藏着高官接连访华的答案
2024-05-01 09:24 -
余承东不再担任华为终端BG CEO
2024-05-01 08:53 观网财经-科创
相关推荐 -
-
巴军:击落6架印军机,含3架新锐“阵风” 评论 1081商务部:中方决定同意与美方接触 评论 411“指挥混乱!他突然擅自下令,特朗普都被蒙在鼓里” 评论 74后院起火?加拿大“最保守省”酝酿“独立公投” 评论 130美财长卖力为关税洗地,台下高管们只关注中国 评论 57最新闻 Hot
-
巴军:击落6架印军机,含3架新锐“阵风”
-
“辛杜尔”是什么意思?印度称向这几个国家通报了行动
-
巴军方:印度袭击已致26死46伤
-
结巴、颤抖、不知所云…美财长被彻底问崩了
-
绕开美国中间商,“找商品,直接和中国谈”
-
巴方:印度已“越过界限”,当然会进行报复
-
“形势变了,加拿大过去那么对中国,太蠢”
-
巴西豆农笑了
-
商务部:中方决定同意与美方接触
-
特朗普拒不付钱,加州又扯中国
-
欧洲最后一家关键抗生素原料商@欧盟:让你不打钱,我们去中国了…
-
黄仁勋:错失中国市场,损失巨大
-
印巴交火,特朗普:很遗憾
-
“加拿大永远不卖”“永远别说永远”
-
“指挥混乱!他突然擅自下令,特朗普都被蒙在鼓里”
-
第二轮投票通过,默茨正式当选
-