-
院士何积丰:应对大模型的安全问题,需设好“紧箍咒”
模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不入”。AI的发展因此带来了新的安全隐私问题,如何解决这一隐患,9月7日开幕的2023 INCLUSION·外滩大会上,中国科学院院士何积丰开出了他的“药方”:利用对齐技术为大模型戴上紧箍咒。
何积丰院士认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能发生在使用过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。
中国科学院院士何积丰
“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”
不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正,设好大模型的“紧箍咒”也是挑战。
因此,对齐技术已经成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。
何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着,不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”何积丰说。
本文系观察者网独家稿件,未经授权,不得转载。
标签 外滩大会- 责任编辑: 陈济深 
-
院士张人禾:单打独斗已不适应大科学时代,要进行“有组织科研”
2023-09-07 14:52 观网财经-科创 -
外滩大会今日开幕 近20位“两院”院士、诺贝尔奖和图灵奖得主齐聚上海
2023-09-07 14:35 观网财经-金融 -
混元已接入腾讯50多个业务,国产大模型将加速转入长跑期?
2023-09-07 11:44 观网财经-科创 -
细则落地!存量首套房贷利率调整,四大行发布公告
2023-09-07 11:25 观网财经-房产 -
全面拥抱大模型,腾讯混元正式亮相
2023-09-07 10:47 观网财经-互联网 -
京东集团CEO许冉:印尼将会成为京东全球供应链网络的重要节点
2023-09-07 10:45 观网财经-海外 -
顶风作案!340万股,买回来
2023-09-07 08:58 观网财经-金融 -
二手车商日子难过:600平米展厅一年上千万流水只赚1万元
2023-09-07 08:10 -
网约车围城:一年之内涌入41家平台、上百万名驾驶员
2023-09-07 08:06 观网财经-汽车 -
莫斯科交易所:8月人民币交易额环比增长超30%
2023-09-06 20:02 观网财经-海外 -
报告:高净值人群进一步年轻化,“富二代”占比减少?
2023-09-06 17:46 观网财经-金融 -
国家发改委上线民间投资问题反映专栏
2023-09-06 17:39 -
欧洲最大地方政府破产,怎么回事?
2023-09-06 16:09 观网财经-宏观 -
旅游需求强劲,携程二季度营收超2019年同期29%
2023-09-05 18:27 观网财经-消费 -
杭州今日起实施“认房不认贷”
2023-09-05 18:02 观网财经-房产 -
欧洲车企“焦虑”:这是一个转折点
2023-09-05 16:59 汽车展 -
华为:网传“美国邀请任正非去美国”纯属造谣
2023-09-05 16:25 观网财经-科创 -
华为公开表态后,诺基亚持有的鼎桥51%股权不卖了
2023-09-05 14:19 观网财经-科创 -
手机寒冬中净利润翻倍,小米卢伟冰回应“友商回归”
2023-09-05 07:49 观网财经-科创
相关推荐 -
时隔四年半重启,中日韩合作如何整装再出发? 评论 127境外间谍机构恐吓国内专家强迫“合作”,国安部提示 评论 207德国警告:贸易战只有输家,没有赢家 评论 121“若这么干,就能连通中国,拥有一条泛亚铁路” 评论 180“和谈应基于当下事实,泽连斯基已失合法性” 评论 193最新闻 Hot
-
以色列、美国、欧盟、土耳其……国际社会纷纷表态
-
美媒叹:中国人不觉得美国月亮“更圆”了
-
朔尔茨:这个不能给
-
时隔四年半重启,中日韩合作如何整装再出发?
-
G7称就利用俄资产放贷取得进展,法德意仍在担忧
-
哈马斯:没通知,不需要再进行停火谈判
-
美防长将访问柬埔寨,“想诱使其远离中国”
-
德国警告:贸易战只有输家,没有赢家
-
“和谈应基于当下事实,泽连斯基已失合法性”
-
“全球科技巨头都是中国和美国的,这太疯狂了!”
-
“与中国比”?印外长寻求扩大对中亚、中东和非洲影响力
-
美军回应:正关注印太地区“所有活动”
-
俄安全局局长确认:乌军方情报部门与此案有直接关联
-
“普京希望以当前战线谈停火,西方不回应就继续打”
-
为这事,以色列痛批德国:许多人都需检查自己的道德准则
-
“巴方赔偿方案出炉:每人51.6万美元”
-