-
OpenAI发布灾备架构应对大模型风险,AI安全问题正在成为关注焦点
最后更新: 2023-12-19 14:47:08(观察者网讯)当地时间12月18日,OpenAI在官网发布灾备架构测试版介绍文档,描述该架构应对流程以跟踪、评估、预测和防范日益强大的模型带来的灾难性风险。OpenAI规定了四个安全风险等级,并表示只有得分在“中”或以下的模型才能部署。
OpenAI灾备架构测试版文档 图片来源:OpenAI
据路透社报道,由微软支持的OpenAI只会在确认没有网络和核等方面安全威胁的情况下才会部署其最新的技术。此外,该公司还正在创建一个咨询小组来审查AI安全报告,并将其审查结果发送给公司的高管和董事会。这样可以确保虽然AI运行的决策权在高管手中,但董事会可以推翻这些决策。
OpenAI灾备架构 图片来源:OpenAI
该文档的提出被认为是OpenAI进一步加强AI应用安全监管的一个尝试。近期由于AI的快速发展,AI应用的安全性问题被广泛关注。
对于AI应用安全这一问题,长期以来有两派观点,即有效加速主义和AI对齐思想。
有效加速主义(Effective accelerationism,简称为“e/acc”)是一种21世纪基于科技发展而兴起的哲学思想。其支持者一般认为,由人工智能驱动的进步是一种伟大的社会平等器,应该被推动前进。因此,不惜一切代价,采用包括加速商业化在内的一切手段,推动技术进步才是唯一在道德上合理的行动方针。值得注意的是,一般认为OpenAI的现任CEO山姆·奥特曼(Sam Altman)是有效加速主义的支持者。
与有效加速主义对应的是AI对齐(AI alignment)思想,该派理论则更注重AI安全问题,强调人工智能系统的对齐问题,即如何确保未来超出人类智能的超级人工智能系统的行动目标与人类的目标一致。因为如果人工智能系统的目标与人类的目标不一致,可能会导致不可预见和潜在的危险后果。OpenAI中负责AI安全并参与罢黜CEO山姆·奥特曼的首席科学家伊利亚·苏茨克韦尔(Ilya Sutskever)等人,以及此前从OpenAI脱离并创立大语言模型Claude的达里奥·阿莫代(Dario Amodei)等人都是AI对齐思想的支持者。
据路透社、The Information等媒体报道,之前震惊世界的OpenAI“宫斗”事件就源自于有效加速主义和AI对齐思想的路线之争。
11月22日,路透社报道称OpenAI拥有一个尚未公布的新模型Q*。该模型能够解决某些数学问题,虽然现阶段其数学成绩仅达到小学生的水平,但在相关测试中取得的成绩让研究人员对Q*未来的成功非常乐观,并认为Q*在推理模型方面相较于之前的大模型有了巨大的进步。这可能意味着人类将快速实现完全超越人类本身智能的超级AI。
据悉,Q*的出现加剧了包括首席科学家伊利亚·苏茨克韦尔在内对于AI安全性的担忧,并最终促使董事会决定解雇支持有效加速主义的山姆·奥特曼。
值得注意的是,早在今年3月,包括前OpenAI投资者,著名人士马斯克等上千人曾签署联名信,公开信呼吁人类暂停开发比目前GPT-4模型更强大的人工智能,为时至少6个月。
近期除了OpenAI在官网发布灾备架构测试版外,由OpenAI首席科学家伊利亚牵头的,于今年7月建立地“超级对齐”团队,在本月15日发布了其成立以来的第一篇论文。在其最新的研究中,该团队提出了一个技术路线:使用GPT-2级别的AI对GPT-4进行监督并伴以一定的置信度损失,实现了对于GPT-4的微调。这样的GPT-4可以在NLP任务上恢复到接近GPT-3.5级别AI的性能。
该论文指出,通过上述方法可以实现“弱到强泛化”(Weak-to-Strong Generalization)训练,证实了我们可以通过使用更弱、更可控的模型来微调更强大的人工智能模型,使其达到与传统训练方法所训练出的AI更相近的性能。这为“AI对齐”的设想提供了一条实际可行的技术路径。
论文截图 图片来源:OpenAI
该论文和灾备架构文档的发表同样也意味着,OpenAI正在试图研究如何监管潜在的全面超越人类智能的超级AI。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 唐晓甫 
-
我国科学家开创新理论,研发出超薄高能效光学晶体
2023-12-19 14:44 -
全球最先进大洋钻探船来了!
2023-12-18 11:46 科技前沿 -
英特尔推出第五代至强和酷睿Ultra,多个中国厂商到场支持
2023-12-18 08:54 观网财经-科创 -
我国成功发射双曲线一号商业运载火箭
2023-12-17 15:24 航空航天 -
含氦煤层气提取99.999%以上高纯氦,我国突破了
2023-12-16 09:10 -
“七项可以改变世界的化工分离之一”,浙大团队实现突破
2023-12-16 08:11 -
“南极天目”时域天文望远镜阵原型机研制成功
2023-12-16 08:00 -
我国成功发射遥感四十一号卫星
2023-12-15 22:28 航空航天 -
国际首次!中国团队绘制肝癌转移多组学全景图谱
2023-12-15 14:28 科技前沿 -
新一代人造太阳“中国环流三号”面向全球开放
2023-12-15 09:11 科技前沿 -
我科研人员开发疫苗研制新技术:“纳微复合”干粉吸入
2023-12-15 09:10 科技前沿 -
“新舟”60灭火机首次超低空满载6吨投水试飞圆满成功
2023-12-14 09:30 中国精造 -
极飞多款智慧农业产品发布,实现多项突破性创新
2023-12-13 14:48 -
我国科研人员发布古籍大语言模型:智能作诗、精确翻译、自动标点…
2023-12-13 09:03 -
“雪龙2”号完成卸货任务离开罗斯海新站
2023-12-13 09:03 南极探险 -
国家科学技术奖提名办法发布,严重失信将进“黑名单”
2023-12-12 15:15 -
比太阳亮1万亿倍!这一大国重器取得关键进展
2023-12-11 21:46 科技前沿 -
国内首次应用!效率提高三倍以上
2023-12-11 09:19 -
文昌发射场正建设规划新一代载人登月火箭发射工位
2023-12-10 14:16 航空航天 -
长征系列运载火箭第500次飞行!遥感三十九号卫星成功发射
2023-12-10 10:39 航空航天
相关推荐 -
“哈马斯得到美方保证”?以官员威胁:不会同意 评论 31国际刑事法院忍无可忍:再威胁试试 评论 192省级督察组现场核实情况,遭故意封路阻挠 评论 133嫦娥六号成功发射!开启人类首次月球背面取样之旅 评论 339“美军还没撤,俄军就把这里占了” 评论 224最新闻 Hot
-
国际刑事法院忍无可忍:再威胁试试
-
澳大利亚“设卡”,中国在非洲淘到“白金”
-
“半数以上AI最热门领域,中国研究领先”
-
省级督察组现场核实情况,遭故意封路阻挠
-
美国又出新规:想要补贴,电动汽车上不能有“中国制造”
-
“中俄在台海附近军演,逼着美国改计划”
-
他催拜登采取行动:保住内塔尼亚胡,不然逮捕令会落到咱们身上
-
以代表称:没料到美国精英大学里也有哈马斯
-
“内塔尼亚胡决心竞选连任”
-
香港暴徒“屠龙小队”队长:计划使用炸弹杀害港警,至少30个
-
“美国各地逾2000名抗议者被捕”
-
“欧盟得把成年男性遣返乌克兰,上战场”
-
“这样拆掉中国设备,许多农村就没网了”
-
果然,印度和日本破防了
-
“美军还没撤,俄军就把这里占了”
-
“北约发这种提案,简直疯了”
-