机器学笔记｜AI之争：人工智能还是自动智能

十大正规杠杆平台排行

正规杠杆平台排行

164 2024-04-24 15:17

同时读“控制论之父”诺伯特·维纳的《人有人的用处》和“现代计算机之父”冯·诺伊曼的《计算机与人脑》，还是很有意思的。这两位都深度参与了二战期间的盟军军方项目以及早期现代计算机的研制，应该颇有渊源。前者的手稿写于1955年，后者初版于1949年，经过相当大改写的新版则出版于1954年。可以看到，到1950年代中期，一种基于统计概率、偶然性/不完备性以及数字化信息中介的世界观已经完全确立起来了，只不过要让至今生活在牛顿的确定性宇宙幻觉中的人们接受，还很难——快70年过去了，这两本小册子不可谓不畅销，但对普通人的“常识”的改变依然微乎其微。

诺伯特·维纳（Norbert Wiener，1894~1964）

实际上，这两个天赋异禀之人的确有很重要的交集。维纳比冯·诺伊曼大9岁，晚死7年，基本上属于同代人，但是神童出身的维纳出道很早，11岁读大学，19岁成为博士，21岁已经在哈佛任教，而当时的冯·诺伊曼还只是奥匈帝国一个因一战爆发而不得不辍学的大学预科生。所以维纳算得上是冯·诺伊曼的半个师长。

冯·诺伊曼移居美国后，维纳先是想把当时在普林斯顿的他挖去麻省理工当数学系主任，后又在1944年召集了美国研究电子计算和相关技术领域的顶级数学家以及人工神经元网络计算的主要理论家在普林斯顿开研讨会，并向与会的冯·诺伊曼推荐了麦卡洛克-皮茨模型——这个模型可以看作是第一代神经网络模型，今天已成为机器深度学习历史上的里程碑，而模型名称中的“皮茨”，即年轻的天才数学家沃尔特·皮茨，当时正是维纳的博士生。冯·诺伊曼旋即在1945年发表了奠定现代计算机理论基础和沿用至今的“冯·诺伊曼体系结构”的划时代报告《EDVAC报告书的第一份草案》（First Draft of a Report on the EDVAC），其中唯一引用的一篇公开发表的论文，就是麦卡洛克和皮茨合作的那篇当初并未引起反响的《神经活动中思想内在性的逻辑演算》（A Logical Calculus of Ideas Immanent in Nervous Activity）。

约翰·冯·诺伊曼（John von Neumann，1903~1957）

冯·诺伊曼自己认为，EDVAC是第一台“将维纳提交给布什的五条原则整合为一的机器”。所以其实一直有人认为，“冯·诺伊曼体系结构”的确切命名应该是“维纳-冯·诺伊曼体系结构”。维纳本人对此并没有发表过意见，反而在《人有人的用处》中多次引用冯·诺伊曼《博弈论与经济行为》一书中的观点，并极有创见地将囚徒困境与通信/信息问题联系起来。其后，在控制论、计算机、神经科学和人工智能历史上具有重要影响的历次“梅西会议”（1946～1953），维纳和冯·诺伊曼都是重要参与者。

真正有趣的思想，通常因其超前性而被长久埋没。莱布尼茨的二进制、单子、微知觉等一系列天才构想，一定要等400年后进入计算机和网络时代，才有可能真正“复活”。大语言模型的思想先驱，或许也可以追溯到莱布尼茨，毕竟是他最先尝试依托数理逻辑，构建一整套通用的“普遍语言”，“它通过字母和符号进行逻辑分析与综合，把一般逻辑推理的规则改变为演算规则，以便更精确更敏捷地进行推理”（《神正论》）。

不过我们把视线移近一点，其实在上世纪中叶，冯·诺伊曼和诺伯特·维纳就在研制真正的现代计算机的基础上，不约而同地提出了相似的观点，不过当时很少人意识到其重要性而已。就AI，尤其是大语言模型、神经网络和深度学习而言，冯·诺伊曼和维纳或许比图灵，甚至比后面的麦卡锡、香农、明斯基、辛顿这一代代“AI之父”都更接近问题的核心，因为他们都是半个科学家＋半个哲学家，都敏锐地意识到了统计概率＋高维几何的威力。

“按照词在语言中出现的统计频数，人们可以选出一个词汇序列（两个字构成的或三个字构成的字组），来求得和一种语言（例如英语）显然相似之物；由此而得到的胡言乱语也会与正确英语具有显著的令人信服的相似性。从语音学观点看来，这种有意义的言语的没有意义的类似物实际上等同于有意义的语言，虽则它在语义学上是妄语……”（《人有人的用处》P60）

读维纳在《人有人的用处》中探讨机器学习时涉及语言问题的这段论述，你是否觉得今人对GPT原理的“科普”，看上去就像在抄书？

冯·诺伊曼在《计算机与人脑》中对神经信息系统运行原理的解析，同样可以看作是在统计学基础上初步设想了神经网络的构造——

“……神经系统中所用的信息系统基本上具有统计特性。换句话说，重要的不是明确的记号和数字的精确位置，而是它们出现的统计特征，即周期性或近周期脉冲序列等的频率。

因此，神经系统似乎采用的是与我们在普通的算术和数学中所熟悉的记号系统截然不同的记号系统。它不是精确的记号系统。在记号系统里，每个记号的位置和存在与否对于确定消息的含义都具有决定性意义。而它是这样一种记号系统，在这个系统中，消息的意义是由消息的统计特性传递的。我们已经看到，这个系统是如何采取较低的算术精度但更高的逻辑可靠性的策略的：算术运算引起的恶化通过逻辑的改进而得到补偿。”

最后一句话，如果你多少了解一点GPT运行的基本原理，是不是会觉得相当程度上，它可以被看作GPT核心算法Transformer的“中心思想”?

很多重要的东西，都已蕴含在这两本带有科普性质的小书中，但其真正的价值要被大多数人——即便是科学家中的大多数人——认识到，还是要等上六七十年。

事实上，发明“人工智能”（Artificial Intelligence）一词的约翰·麦卡锡正是1948年在加州理工读书时，听冯·诺伊曼讲解维纳的控制论而萌生了研究智能计算的想法。用“人工智能”这个词，更多是为了显示独创性、拉开与维纳的距离，但后来麦卡锡自己也承认，“人工智能本应叫控制论，也就是智能自动化（Automation of Intelligence）”——正如我在前一篇文章里指认的，麦卡锡对“人工智能”的命名很可能是一段弯路的起点，它的重点倒向了“仿生学”路径，而维纳更多基于信息、通信和机器学习原理的“自动机”，或许才是“正路”，换句话说，AI这一名头，其实更应属于“自动智能”，而非“人工智能”。

“自动智能”的核心不是刻意去模仿人的意识、自我意识乃至思维、情绪与情感，等等，而是很实际地着重于一件最关键的事情，我们今天对这件事情已经耳熟能详：机器学习。但在人工智能发展的历史上，机器（自主/自动）学习成为核心是相当晚近的事情，而此前长期的核心，正是模仿——怎样尽可能让人能做的都变成机器能做的，并做得更精确、更有效率。

关于机器学习这件事情，维纳写道：

“反馈就是一种把系统的过去演绩再插进它里面去以控制这个系统的方法。如果这些结果仅仅用作鉴定和调节该系统的数据，那就是控制工程师所用的简单的反馈。但是，如果说明演绩情况的信息在送回之后能够用来改变操作的一般方法和演绩的模式，那我们就有一个完全可以称之为学习的过程了。”

也就是说，在维纳看来，机器学习的本质无非是反馈循环。并且与今天强调人工智能还远远不具备“以假乱真”的能力——因为机器没有情绪、情感、欲望等——的人相反，维纳恰恰强调了这些所谓的主观的、内在的心理机制，其实也是学习的一环，是学习的某种阀门——

“那种被我们主观地称为情绪的现象，也许并不单纯是神经活动中的一种没有用处的附带现象，它很可能是控制着学习过程中的以及其他类似过程中的某一重要阶段……那些在人与其他生命体的情绪和现代类型的自动机的应答之间截然划上一条不可逾越的鸿沟的心理学家，在他们做出否定的结论时，应当像我作出肯定的结论时那样小心谨慎。”

与之多少形成呼应的是，冯·诺伊曼强调了学习的另一个面向——记忆或存储器：

“心灵一定是一个容量相当大的记忆库，而且很难想象，像人类神经系统这么复杂的自动机如果没有它将如何运作。”

“神经细胞系统以各种可能的周期性方式相互刺激，也构成了记忆。这些记忆是由活性元素（神经细胞）组成的。我们在计算机技术中经常大量使用这种存储器。事实上，它们是第一批被实际引入的存储器。”

根本来说，不管人还是机器，学习和反馈当然都必须依赖于记忆/存储，这是一而二二而一的事情。这也是70年过去了，不管电脑怎么迭代，芯片怎么“纳米”，基于存储器的冯·诺伊曼架构至今不可动摇的原因。