-
肖仰华:国内大模型真正的短板并非数据和算力,而在"炼制"工艺
-
周毅是故意的还是不小心?
【文/观察者网 周毅 编辑 张广凯】
微软再一次抛出“王炸”。
5月23日,在西雅图的微软Build 2023开发者大会上,微软CEO纳德拉正式宣布,正在为Windows 11添加人工智能助手“Windows Copilot”,用户可以在Windows系统中使用聊天机器人。
在ChatGPT领域,中国此前已有阿里通义千问、百度文心一言、京东灵犀等多款产品。
在AIGC的新风口下,如何看待中国企业的挑战和机遇?
5月22日,2023数字经济(东湖)论坛在武汉举办。在论坛上,复旦大学教授、上海市数据科学重点实验室主任肖仰华对观察者网表示,与国际同行相比,模型、数据和算力并不是中国最大的劣势,真正的短板在于对大模型"炼制"工艺的掌握,包括数据配方、数据清洗和参数设置等等。
肖仰华表示,大模型"炼制"工艺从根本上决定了大模型的效果。但是和OpenAI等企业相比,我们仍有一定的时间差距。但是中国也有自己的优势,比如举国体制。我们可以成立产业联盟多线并进,缩短试错周期。
图源2023数字经济(东湖)论坛
肖仰华还提醒,我们不能因为炒作ChatGPT一个热点,而忽略了具身智能等其他赛道。
值得重视的短板:先进工艺
在肖仰华看来,以ChatGPT为代表的生成式人工智能技术(AIGC),将成为推动我国数字经济进步,实现高质量发展的重要引擎。在ChatGPT之前,人工智能处于不成熟的产业阶段;ChatGPT的出现将人工智能带入快速发展、快速变现的重工业发展阶段。
但在类ChatGPT等大模型领域,中国尚处于起步阶段,需要进一步规划和统筹。
肖仰华认为,大模型产业发展的取决于数个因素。
首先是模型。模型好比功夫中的“内功”,模型越大,潜力越强;其二是算力,这是大模型的核心竞争力,大模型竞争归根结底是算力的竞争;其三是数据。只有高质量的数据,才能喂养出高水平的大模型。不过,它们都不是中国大模型产业的真正短板所在。
图源微软
“我国的大模型产业,在数据上有优势,在算力上有基础,模型本身也不存在什么秘密,我们真正缺的是先进工艺。”肖仰华说。
他解释道,“炼制”大模型的工艺过程至关重要,它包括数据配方、数据清洗、参数设置、流程设计和质量控制等等。它从根本上决定了大模型的效果,是大模型产业发展的重要因素。当前我国大模型产业发展缺乏先进工艺过程,这是短期之内难以跟上的,需要付出巨大代价进行摸索。
数据配方,指的是根据模型的学习目标,确定不同领域、不同类型、不同模态数据的配比;数据清洗,指的是对原始语料进行去噪、去重、过滤、规范化等操作,提高语料一致性、多样性与完整性。
所谓的参数设置,是根据模型的架构和规模,选择合适的超参数,如学习率、批次大小、优化器、激活函数等,这些选择将影响模型训练的效率和效果。
流程设计,是根据模型的训练目标和资源限制,设计各相关组件之间的流程排布、目标设定、训练策略等,提高模型的泛化能力和适应性。
质量控制,指的是对模型的训练过程和结果进行监控和评估,通过准确率、困惑度等关键指标监测,通过对比不同模型或版本的表现,以保障大模型训练的质量和稳定性。
肖仰华表示,上述的每一个具体模块,国内其实都知道怎么做,但是将它们整合在一起,总体效果和国外是存在差距的。“不是能做还是不能做的问题,而是做出来的效果是70分与100分的差别。”肖仰华表示,我们要赶上最后这几十分,要不断试错、评测和改进。
肖仰华对观察者网表示,先进工艺的掌握需要试错,需要时间积累。OpenAI成立于2015年,在2018年投入大模型研发,到今年整整用了5年时间,他们花了很多时间去试错和摸索。即使现在很多中国企业在努力追赶,但是这个“时间差”是一朝一夕难以赶上的。
OpenAI网站截图
但是,中国也有优势:举国体制。
“我们可以把串行的试错变成并行的试错,甚至可以10条技术路线同时试错,”,肖仰华解释道,当一些人在验证某一个路线,那么其他人就不必重复验证该路线,可以转而去验证求索B路线、C路线……这就是中国举国体制的力量。
肖仰华提到,并行试错需要相关研发机构形成联盟,例如算力联盟、数据联盟和技术联盟。如果大家能够做到技术共享、协同研发,就可以把试错的成本大大降低,并显著缩短试错周期。“人家需要用5年,我们可以只用1年。迎头追赶的策略是存在的,关键是我们能不能推动这些联盟的团结。”
- 责任编辑: 周毅 
-
阿里回应裁员传闻:谣言!6大业务集团今年将新招1.5万人
2023-05-25 22:58 观网财经-互联网 -
财经大V为非法期货交易平台引流,被判4年10个月
2023-05-25 21:06 -
消费真复苏了?美团一季度业绩大增
2023-05-25 20:25 观网财经-互联网 -
中集天达即将上会,欲成为创业板首家红筹企业
2023-05-25 18:26 观网财经-金融 -
英伟达业绩惊人,市值飙升超特斯拉
2023-05-25 16:29 观网财经-金融 -
合肥三批次土拍成交55.6亿,4宗宅地有3宗封顶
2023-05-25 16:03 -
文心一言市场负责人怒怼科大讯飞:别动不动就碰瓷
2023-05-25 15:24 观网财经-科创 -
债务上限谈判焦灼,美国AAA评级或将不保
2023-05-25 15:18 观网财经-金融 -
“百度优选”上线,百度用AI“卷”电商
2023-05-25 15:08 观网财经-互联网 -
联想一季度营收865亿,杨元庆:PC库存调整接近尾声
2023-05-25 15:03 观网财经-科创 -
章泽天现身戛纳,化身京东“招商官”
2023-05-25 12:27 观网财经-消费 -
小鹏汽车一季度营收大跌45.9%,G6将成扭转局势关键
2023-05-24 20:39 观网财经-汽车 -
沾了旅游复苏的光,同程旅行一季度营收增长50%
2023-05-24 19:23 观网财经-互联网 -
昆明辟谣“城投文件”后,海通证券、民生银行相继回应
2023-05-24 18:57 地方债 -
买房惊现“负首付”!无需首付,还能拿到50万装修款……
2023-05-24 17:45 观网财经-房产 -
江苏新安拟主板上市,第一大客户三星电子业绩暴跌
2023-05-24 13:17 观网财经-金融 -
中鼎恒盛IPO:部分员工曾未缴公积金,“入职未满3年”理由是否合规?
2023-05-24 11:01 观网财经-金融 -
中国经济的理论贡献,一个重要因素被忽视了
2023-05-24 09:03 本土经济学家逆袭 -
被曝裁员7%,阿里云回应
2023-05-24 08:01 观网财经-科创 -
腾达科技IPO:报告期后业绩下滑,曾784名员工中无一人缴公积金
2023-05-23 17:45 观网财经-金融
相关推荐 -
-
神十五神十六乘组顺利完成“太空会师” 评论 60“中国脱贫是许多国家的榜样”,他们已学了对口帮扶… 评论 141神舟十六号发射圆满成功 评论 310“中国将为普通人打开太空之门” 评论 94没被拜登“赶下台”,埃尔多安还能扛多久? 评论 141最新闻 Hot
-
“中国脱贫是许多国家的榜样”,他们已学了对口帮扶…
-
“我们想加入金砖” “我支持”
-
“俄罗斯人死去是美国最好的投资”,被通缉后美老牌政客否认
-
泽连斯基:已确定反攻日期
-
马来西亚扣押中国船只,称其非法打捞二战名舰遗迹
-
美共和党议员公开反对债务上限协议:是对民众的侮辱
-
欧盟外长:对今夏结束冲突不乐观,俄罗斯仍在争取胜利
-
乌军罕见承认:5架战机被俄军击中
-
五角大楼:被中方拒了
-
“中国将为普通人打开太空之门”
-
“撕破脸”后,二人通话
-
真挂“旭日旗”来了,韩网友怒了
-
“局势或失控,科索沃领导人渴望并梦想成为‘新泽连斯基’”
-
“想要核武器就加入俄白联盟”?托卡耶夫:欣赏卢卡申科的幽默感
-
他在台湾问题上打了个比方,日方急了
-
没被拜登“赶下台”,埃尔多安还能扛多久?
-