有点意外的是，实际大突破到出圈的却是LLM，这次人工智能热潮就是自然语言处理（NLP，Natural Language Processing）的飞跃进步引发的。

“Transformer模型是一种具有注意力机制的深度学习模型，可以用来解决自然语言处理（NLP）问题。它使用注意力技术来聚焦模型中每个符号的输入序列，从而可以捕捉句子中词语之间的关系，而无需显式地定义特征或构建特征提取器。此外，Transformer模型利用并行化，避免了传统序列模型（如递归神经网络）时需要等待前一步执行结束才能开始新一步的等待时间，提高了计算速度。”

上面这段是ChatGPT介绍的LLM技术关键：Transformer模型（这类常见概念介绍它不忽悠）。意思是说，Transformer训练和计算有利于并行加速，这样可以引入几百亿个参数的大模型。以前的语言模型，如“循环神经网络”（RNN，Recurrent Neural Network），参数不能太多，训练样本也多不了，“需要等待前一步执行结束才能开始新一步”，例如RNN将推理结果当作下一步推理的输入（这就是“循环”）。不方便并行，训练就慢，大模型训练需要的时间太长，没法用。

2015年底，谷歌收购最有可能做出通用人工智能的Deepmind，风险投资家Sam Altman（后来的OpenAI CEO）和马斯克等不少科技圈的人对此不满，于是共同投资成立了OpenAI。和Deepmind一样，OpenAI也开发了游戏AI，据说在Dota2项目上达到了人类水平。但真正取得大突破的还是2020年的语言模型GPT-3（Generative Pre-trained Transformer 3），前面还有GPT-2和GPT-1。

GPT-3的开发思想就是把整个互联网的知识都当成训练素材，做出几百亿个参数的超级大模型，看能训练出什么。语言模型的训练目标很简单，就是把一段话作为输入，“预测”后面最可能出现的词，以此类推，最后输出完整的对话或文章。

GPT-3似乎学会了整个互联网上的所有知识，鉴于许多程序员将代码放到了网上，GPT-3甚至学会了写程序。微软收购的Github开发了Copilot等辅助编程工具，机器编写的代码量占比逐渐上升至30%-40%，以至于程序员们一边使用辅助编程工具，一边默默忧虑自己何时会被AI取代。可以说，GPT-3使整个IT业界为之震撼，不过由于使用门槛相对较高，所以没有“出圈”。

随后，OpenAI在GPT-3的基础上开发出“GPT-3.5”也即ChatGPT，于2022年11月30日上线，并迅速火出了圈。相较于GPT-3，ChatGPT的关键优势在于人工优化——GPT-3肚里有大量干货，但不擅长理解人的对话，需要“懂行”人士的引导才能输出有效内容；OpenAI则经过了大量人工测试，人工对不对劲的反馈进行训练修正，用有点意外的方式解决了问题（业界习气是让机器干活，少搞人工操作）。

经过这一关键优化，聊天机器得以从专业人士才能用的GPT-3，进化成普通人也能欢快聊天的ChatGPT！后面的事大家都知道了：业界内外的大量用户纷纷注册，踊跃“调戏”ChatGPT，月活用户数在短短2个月内轻松突破1亿。作为互联网产品，这是现象级的。事实上，ChatGPT让人们首次意识到，AI也能直接成为互联网产品。

现在，LLM已成为互联网公司新的“必争之地”。微软宣布，Bing搜索引擎、Office套件等全线产品都将引入ChatGPT，对OpenAI增加投资100亿美元（之前投了10亿美元，有优先权）。

谷歌和百度也都计划推出竞品。据彭博社1月30日报道，知情人士透露百度公司计划在3月推出与ChatGPT类似的聊天机器人，并将之嵌入搜索服务。

谷歌更是不得不行动了——员工都让ChatGPT写关于谷歌裁员的诗了，写得很有意思。谷歌对前OpenAI员工2021年创立的公司Anthropic紧急投资4亿美元，后者的聊天机器人Claude有520亿个参数的模型，还在内测，尚未公开。值得注意的是，前OpenAI员工之所以创立Anthropic，就是因为他们认为ChatGPT商业化严重，输出内容的正确性有严重缺陷。

关于谷歌裁员的诗，“作者”为ChatGPT（作者供图）

以上是ChatGPT简略的技术原理和发展历史。其实AI的原理并不难懂（希望一些技术名词没有造成理解困难），主要还是得实际干出来，Show me the code，这就需要海量的技术细节和投资。

Jacob Browning 和Yann LeCun论AI和语言的局限性（作者供图）

为了超越ChatGPT写文章的层次，笔者还想从“AI哲学”层面进行一些深入的探讨。近日，杨立昆作为Meta首席科学家表示，就底层技术而言，ChatGPT不是多了不起的创新，主要是在产品层面设计组合很好，才被视为“革命性产品”。这一态度在很大程度上基于其AI哲学观——早在ChatGPT上线之前，图灵奖得主杨立昆（Yann LeCun）和研究AI哲学的Jacob Browning就在Noema杂志上发表文章，指出了AI语言模型的重大缺陷：

“这些系统只会有浅层理解，永远不会有人类的完全理解能力”

“放弃所有知识都是语言学的观点，让我们意识到知识中有多少是非语言的”

“只由语言素材训练的系统永远都不会接近人类智能，即使它训练到宇宙毁灭都不行”

杨立昆说的是什么意思？其实和ChatGPT聊一阵子就明白了。笔者的感觉是，机器“查找资料、泛泛聊天”能力已经超过了所有人类。但是，如果将聊天的标准上升，考察真正的智慧，那么ChatGPT将很快露出破绽，其后续版本（如将知识引擎从GPT-3升级到GPT-4）也难以解决这个问题。

再往深里说，这涉及哲学层面的语言之思。海德格尔怀疑，我们也许并不能从日常语言经验中获得获得本质洞见，而毋宁只能获得一种虚假的可理解性。随着计算机的发展，人们愈发深刻地认识到，语言不能直接等价于知识，知识还需要人的感官与情感作为支撑。

哲学性地说，人类在以语言表述知识时，有两种状态：一种是真正的智慧，也就是在对知识融会贯通、彻底理解之后，做出有条理、经得起盘问的表述；另一种是“人云亦云”，也就是不假思索地复述他人的说法。例如，对“中国2022年GDP是121万亿元”这一知识，绝大多数人只是能以不同形式复述这句话，但对于GDP这个名词的理解都是糊涂的、经不起盘问的，整个体系的相关知识接近于零。