1.观察者网：网易十一期间在《永劫无间》游戏中引入“噩梦AI”，为何会有一次这样的策划？

吕唐杰：噩梦AI的上线是一个不错的开始，游戏机器人曾在福利局、人机模式等玩法中扮演了重要的角色，但随着玩家游戏水平的逐渐提升，初始版本的游戏机器人已经跟不上玩家的需求。

一方面是由于机器人本身的竞技水平比较弱，另一方面是机器人的行为模式还比较固定甚至说是蠢萌，其根本原因则是在技术层面上，《永劫无间》原始版本的游戏机器人是通过行为树、状态机等基于规则的方法开发的，这类方法的特点是简单、易用，但同时机器人所能达到的水平上限不高。

目前，强化学习领域的研究者们已经在相当多的场景，特别是游戏场景中实现了匹敌甚至超越人类专家水平的AI，而强化学习也被认为是实现更通用、更广泛、更高级的机器智能的重要技术手段之一。

因此，我们借助了深度强化学习技术对游戏机器人进行了多方面的能力提升，包括寻路效率、战斗博弈水平、迂回作战等。

另外，从技术的角度来讲一定是先进生产力取代落后生产力，不单是《永劫无间》，网易大多数游戏项目组也都在积极拥抱新一代人工智能技术，这是一个让人兴奋的趋势。

2.观察者网：与玩家认知中的传统游戏AI相比，当前阶段在游戏中引入的AI有什么不同？从玩家角度来观察，对两种AI的感知又有何不一样？

吕唐杰：首先是两种游戏AI的制作产生方式不同。传统游戏AI可以看成是“什么情况下做什么”的若干规则的组合，是人类有限经验的堆叠。而当前我们在游戏中引入的AI，是通过像“新手玩游戏变成老手”那样的过程“训练”出来的，可以将其视为具备了感知、认知、决策以及学习能力的智能体。

其次，两种游戏AI的技能水平差异很大，这也是第一点所直接导致的。基于规则的AI其实是人类先验知识的一种简易的表达，体现的是游戏开发者、策划对于怎么玩游戏的一种认知。

但其问题就在于人类虽然可以精通游戏，却拙于提炼如何精通游戏。因此，一个基于规则的游戏AI逻辑，往往包含了成千上万条规则以尽可能地覆盖所有决策情形，规则越多，游戏AI也就越智能，但在实际中规则AI其实很难达到极高的智能水平。

而在求解“如何将游戏玩得更好”这个问题的过程中，强化学习算法能够自动探索可能的决策情形，将应对策略凝练到参数模型中，不需要庞大的规则库，也不需要人工干预学习过程。

与规则AI这种机械的“人工智能”相比，这是更高级形式的“人工智能”，“人工”是因为它仍然是人类设定的程序，“智能”是因为这种程序实现的（或者说模拟的）是人类获取知识的方法，而非直接表达知识本身。

目前，人工智能技术日新月异的发展所带来的各行各业的变化已经非常容易被常人所感知到，强化学习技术在围棋、星际争霸、Dota2等游戏中的突破都引起了非常大的轰动。在游戏领域大家已经形成了这样的共识——现代人工智能技术在某些特定领域超越人类，已经是事实。

从我们自己的经验来讲，玩家们对于传统游戏AI和用强化学习算法训练出的游戏AI的感知有非常明显的区别，这主要也是由两者之间的技能水平差异所带来的。

比如新AI学会了比较高级的连招技能，新AI表现出像人一样的欲擒故纵、声东击西等计谋，新AI压迫性太强等等。如果只局限于传统的基于规则的方法，游戏AI只能演配角戏，比如给新手玩家练手、在深夜玩家数量较少时充人数，那游戏AI对于很多玩家来讲其实是可有可无的。

目前来看，深度强化学习为代表的现代人工智能技术可以有无限潜力，借助这些技术产生的游戏AI可以帮助玩家做更多的事情，与玩家在游戏世界里面共建共生，或许可以成为游戏玩法的全新发展方向。

3.观察者网：一般的认知中，游戏中任何怪物、NPC的操作均遵从开发人员设定的逻辑，AI的引入能否理解为未来游戏中的对应怪物、NPC会有自主的运行逻辑？这会对游戏内的生态带来哪些变化？

吕唐杰：随着大模型预训练技术的发展，游戏行业的这一天可能很快就能到来，这对于游戏内的生态会产生重要的影响。

首先，可以提升游戏内怪物、NPC的制作效率，并且还能将这些NPC的智能水平提升到一个新的层次。此前游戏中的NPC是基于传统规则方案所制作的，游戏策划使用行为树、流程图等工具，手工制作AI的行为逻辑，基本上“有多少人工，就有多少智能”。因为生产力低下，鉴于游戏开发团队有限的预算和投入，一般游戏中的怪物、NPC就会存在智能不足、可玩性有限的问题。

通过使用人工智能技术，怪物和NPC拥有了自我学习的能力，游戏策划只需要给这些怪物、NPC赋予故事背景和人设，并设定好他们的行动空间，剩下的就可以交由AI，让其通过学习大数据完成智能水平的提升，从而让玩家体验到NPC的鲜活感。

其次，游戏真正有可能变成一个自由开放的世界，并让玩家获得身临其境的交互体验。比如玩家可以跟NPC进行自由的交流，包括文字、语音、表情、行为等多种交互形式，而NPC又能根据游戏世界观、自己的人设以及与玩家和其他NPC的交互，在游戏里自主式的发展，那玩家每一次在游戏里都会有新奇的体验，不同玩家的体验也各不相同。

《西部世界》电视剧中描绘了一种终极NPC的形态，我相信通过人工智能技术的发展，这种高智能、高自由度的NPC在游戏中必将出现，这也是我们努力的目标，而这对于很多想要持续探索开放游戏世界的玩家来说将是一个福音。

4.观察者网：传统游戏中的强力AI角色通过后台读取对应的数据来实现强大的应对能力（如RTS游戏中战争迷雾无效等），而如今游戏AI则是依据当前场景判定下一步的行动逻辑。这种纯自主性的AI在开发及应用层面与传统的游戏AI有何不同？

吕唐杰：由于传统的游戏AI与纯自主性的AI背后所依赖的技术不同，使它们具有不同的特点：传统的游戏AI由于完全以逻辑方式实现，其行为更加可控及可定制化，但其行为模式较为单一固化，且通常无法应对复杂的游戏场景；

与之相对的，纯自主性的AI基于深度神经网络，其具有更高的上限，能够应对复杂场景，同时行为表现上具有一定的变化，但由于深度神经网络的黑盒性质，对其进行定义化的行为调整存在一定困难。

从开发层面来看，传统的游戏AI要展现强大的应对能力，除了通过后台获取数据外，往往还会在属性数值方面进行增强。而此次《永劫无间》噩梦人机模式背后的AI，是结合深度神经网络及强化学习方法，在设定任务目标后，通过AI之间的自我对弈训练，最终人为挑选后产生，其获取的数据范围及数值属性，与真实玩家间不存在差异。

5.观察者网：除了在游戏内与玩家互动，AI在游戏开发、日常运营的过程中还能够带来哪些改变？

吕唐杰：在游戏开发阶段，AI技术可以大大提升游戏团队的制作效率。例如通过语音合成表情技术，可以让游戏的角色通过配音直接输出角色表情，相比于传统人工手绘表情方案，工作效率能提升上百倍；

再比如使用AI技术可以快速地将演员或视频中角色的表情、动作等迁移到角色模型上，相比于传统的基于动作捕捉的方案，能显著地提升产出效率、降低制作成本；

AI文图生成技术则可以让策划通过文本快速地生成和挑选一些合适的概念图，降低了策划跟美术之间的交流障碍，减少中间返工的成本等等。

在日常运营阶段，AI反外挂技术通过分析玩家在游戏中的行为数据，可以快速识别出异常行为玩家，从而作为传统反外挂技术的有效补充。

6.观察者网：目前全球来看游戏AI技术的开发、应用等方面中外之间是否有明显的差异？

吕唐杰：AI技术跟游戏本身是一种相辅相成的关系。

一方面，游戏作为研究和验证AI技术的绝佳场景，在AI技术的发展过程中起到了至关重要的作用。无论是最初的AlphaGo、还是后来的OpenAI Five、AlphaStar等，AI研究团队都是通过这些复杂的游戏场景来反复打磨AI算法、验证技术效果。可以说，这些游戏极大地促进了AI技术在算法研究、神经网络架构探索以及大规模分布式计算等方面的飞速发展。

总体来说，国外在使用游戏来促进AI技术发展这一领域要比国内要做得更好一些；但同时，依靠AI技术的发展、应用来反向促进游戏本身，这一领域国内很多公司走得更为靠前，目前国内很多大型游戏公司都成立了自己的AI技术部门，在用AI技术赋能游戏上做了大量的技术创新和应用落地。

当然，无论是用游戏来促进AI技术的研究，还是用AI技术来促进游戏产业的发展，两者都对全球产业带来了正向的促进作用。比如网易伏羲已在“游戏+AI”领域发表了150多篇国际级论文，拥有200多篇技术专利，并在全球游戏开发者大会（GDC）做过10余次AI技术专题分享，在国际和国内享有一定的声誉。

7.国内数字新基建所打造的算力网、数据中心等对游戏AI技术的开发、应用带来了哪些作用？

吕唐杰：AI技术的三大要素是算法、算力和数据。目前游戏行业算法研究比较开放，全球的AI研究员都可以及时跟进最前沿的技术方案，而算力和数据则成为了各家公司的技术壁垒。

得益于在数字新基建方面的投入，国内的游戏AI技术取得了快速的发展。例如网易伏羲已经搭建了一个拥有数万CPU和上千GPU的计算集群，并拥有PB级的数据处理能力。同时阿里云、华为云等公有云计算提供商、国内的一些超算中心也为游戏AI技术的研究和应用提供了大量支持，也正是依托这些数字基建，我们才能研发出像《永劫无间》机器人、反外挂机器人、AI照片捏脸、智能对话机器人等优秀的技术落地案例。