【文/乔恩·阿斯科纳斯、弗拉基米尔·波波夫，翻译/慧诺】

图源：互联网

自ChatGPT发布之后，各种“先进的”人工智能层出不穷。与此同时，一群技术专家开始呼吁，各界应该立即停止六个月的大规模人工智能模型训练。他们的公开信得到了特斯拉创始人埃隆·马斯克和苹果联合创始人史蒂夫·沃兹尼亚克的签署支持：“人工智能实验室陷入了无法控制的竞赛，不断开发和部署更强大的数字智能。甚至连它们的创建者都无法理解、预测或可靠控制这些模型。”

对于这封公开信，人工智能专家的意见分化非常严重。在一些主流媒体上，一些知名专家撰文认为，足够先进的人工智能系统有可能摧毁我们所知的文明。他们和一些工程师都相信，“超级智能”机器可能比人类更强大，而这个未来将变得不可控，这对一个以自然选择为基础的世界来说并不是一个好兆头。人工智能似乎激发了人类的“存在危机”。

其他资深专家则坚决反对暂停，并嘲笑这些人是“杞人忧天”。图灵奖得主、人工智能先驱杨立昆戏称，“在我们达到‘如上帝般的人工智能’之前，我们需要经过‘如狗般的人工智能’。”如果因为错误的、未经证明的科技恐惧而暂停人工智能发展，这将严重阻碍有各种可能促进人类繁荣的科学进步。

对于非专业人士来说，“人工智能”圈子内的争论实在是让人困惑，如果整个讨论不能被称为荒谬的话。这一次硅谷的炒作终于真的失控了吗？或者，我们真的有足够的理由去怀疑，人工智能科学家就是二十一世纪的核物理学家吗？

对于有效地监管人工智能，我们依然需要快速而明智地回答上述问题。不过，我们应该建立一种“常识性”方法，既能跟踪到人工智能系统那些令人费解的前沿动态，又能适度评估人工智能监管和不当使用的风险。

一、人工智能的风险

在考虑最严重的人工智能场景之前，首先应该探讨一下当前最近的风险。仅仅举几个例子，通过ChatGPT这样的新语言模型，全球虚假和错误信息的传播被明确加速，人工智能驱动的语音克隆已经在电信诈骗中很普遍。

对于恶意行为者来说，强大的人工智能很容易被武器化。随着人工智能在与人类心理和计算机系统的交互变得更加成熟，这些威胁很可能会不断升级。网络安全技术的可能被利用来实施新的黑客攻击，就像机器助手也可悲用来创造新的自动武器。

与恶意行为者无关，新兴的人工智能系统还带来了另一种“无意的”严重风险，这往往被研究人员归纳为“人工智能安全”问题。例如，偏见问题已经渗透到了各种各样的人工智能模型中，系统性地歧视各种群体的就业、贷款申请，甚至监禁时间。在自动驾驶、军事打击和健康诊断等生死攸关的领域，鲁棒性——系统可靠执行任务的能力——已经是一个明显问题。此外，未预见的人工智能与人类互动可能会产生灾难性后果，比如高级聊天机器人可能鼓励未成年人参与不适当的性关系或严重恶化精神疾病。随着人工智能越来越多地融入生活的各个方面，这些风险只有增加的可能。

然而，本文开篇“是否要暂停人工智能开发”的辩论并不来自于上述两类风险，而是来自强大人工智能的增长轨迹。

人工智能的风险场景有多种形式，但通常都遵循相似的模式。理论家们认为，随着人工智能变得越来越聪明和能干，某个时刻它们将能自主生成比人类更优秀的智能体。此后，人工智能及其能力将以指数方式不断增长，因为更聪明的系统继续建造更聪明的系统，形成一种良性循环。

理论认为，这种智能系统将远远超过人类的智能水平，很可能会偏离人类最初的意图，因为后续的迭代将更多地受到机器反馈的影响，而不是经过深思熟虑的人类设计。其结果将是，就像人类现在统治着不太聪明的生命形式一样，超级人工智能将统治人类。不用说，这将把人类置于一个岌岌可危的位置。无论是由于自然选择的压力还是与人类福祉不一致的其他动机，超级人工智能很可能会随着时间的推移将人类消灭。

这个理论可能听起来像一个科幻寓言，但它却在领先的工程师和商业领袖中获得了出人意料的广泛认可。为了强调这种结果的可能性，支持者指出，高度先进的模型会自发地发展出其制造者意料之外的技能；这种技能很难检测，更不用说减轻了。最先进的语言模型已被证明极难以可靠的方式去理解或控制。人工智能系统已经能在人类最复杂的策略游戏中一贯击败最优秀的人类选手，甚至包括一些需要欺骗和操纵的游戏。如果高级人工智能脱离我们的掌握，这是一个黑暗的前兆。

然而，即便你我不相信人工智能将达到“神”一样的地位，还是会有另一个平行的担忧：一些人过于痴迷人工智能，并且试图将整个千年的资源都投入其中。那些掌握着人工智能最大进展的人，都怀有实现超级人工智能的乌托邦愿景，并提供近乎宗教般的承诺。

头部企业OpenAI的CEO山姆·阿尔特曼（Sam Altman）宣称，构建超越人类的人工智能是“也许是人类历史上最重要、最有希望、最可怕的项目”。Google的CEO孙达尔·皮柴（Sundar Pichai）也认为人工智能是“人类正在投身的最深刻的技术变革——比火和电还要深刻”。这种狂热者的名单很长，包括该领域几乎所有最有影响力的机构的领导者。

历史上充斥着实现乌托邦梦想而走上歧途的灾难性尝试。每年涌入实验室的数百亿美元，用来实现那些全身心投入到上述目标的人的愿望。这并不是一个好兆头，因为越来越多的人工智能公司正在逐渐放弃安全，只追求速度。考虑到新兴人工智能技术的高度实验性质、行业缺乏安全规范和标准，以及其领导者的危险野心，我们必须采取措施来控制多个层面不断增长的风险。

二、人工智能安全措施的风险

在人工智能之外，其配套的安全措施也存在风险。当前一个关键观点是，我们必须在评估中包括“治疗性成本”（iatrogenic cost）。如果不这样做，微小的边际风险可能会导致巨大的成本。例如，美国食品药品监督管理局对Covid-19疫苗的安全评估模型中，就未能包含由于疫苗延迟部署而导致的额外死亡。

对于人工智能的安全措施，必须要在这一点上进行额外的审查，因为其政策建议和成本效益分析的许多依赖于“尾部风险”（tail risks，译者注：在金融学中，尾部风险是指在巨灾事件发生后，直到合约到期日或损失发展期的期末，巨灾损失金额或证券化产品的结算价格还没有被精确确定的风险）的权重，即极低概率、极高成本的事件。尾部风险无法被完全忽略，但要论证它们却十分困难，因为使其发生的情况非常脆弱，越是高成本期望的情景，其发生的概率越小。对于人工智能安全的担忧，必须同时分析其潜在危险的可能性及其对应的成本。

两个因素可能会使我们对尾部风险场景的可能性产生怀疑。首先，虽然“这一次真的不一样”是可能的，但许多新技术都曾引发了歇斯底里的“警情”。与基因编辑或核技术相比，人工智能系统将要进入的混乱人类世界似乎充满了各种缺陷。当今世界，大多数关键系统仍然需要沉闷的手动操作，核导弹仍然运行在软盘上，我们很难想象人工智能如何悄无声息地进入物理世界，并且能启动自组装的纳米机器工厂。

其次，使得当前人工智能运行的前提，即其理解背景的能力，往往会降低其风险。大多数让人工智能发生风险的情景，其所需要的上下文前提往往非常“离谱”。例如，在一个名为“曲别针制造机”（Paperclip maximizer）的思想实验中，一个通用人工智能（Artificial General Intelligence，AGI），其效用函数就是制造尽可能多的曲别针。换而言之，它的终极目的是制造曲别针这个看似无害的目标，并且它对人类没有特殊的情感。但是，这样一个看上去无害的人工智能却很有可能对人类造成威胁。（译者注：关于强人工智能/通用人工智能AGI，有一种理论叫做“工具趋同”理论，它认为无论目的为何，强人工智能总是会选择相同的手段来更加有效地达成自己的目标：保证自身的存续，自我改进，以及攫取更多资源。于是我们提到的这个专做曲别针的强人工智能在老实做一段时间的曲别针之后，就会以指数级的速度用周围的资源增强自己，直到它将全宇宙的资源纳入自己的系统中，并将所有的资源全部做成曲别针为止。即使不考虑这种极端情况，曲别针制造机也很可能会把人类的生活必需品甚至人类都收集来做曲别针，从而威胁到人类的生存。）

然而，要达到这样强人工智能，就需要为大语言模型（Large Language Model，LLM）添加足够的上下文和广度，这就依赖直观的人类限制。目前看来，改善LLM的大小和范围似乎与改善其对人类上下文的理解是一回事。虽然围绕这个问题的研究仍处于早期阶段，但迄今为止，改善模型性能似乎也有利于人工智能在其初始状态下与人类社会的对齐。

大语言模型（图源：网络）