计算机百年史 10 · 智能的螺旋(1943—2026)

「计算机百年史」系列 · 第 10 篇 / 共 10 篇
按《从铜线到智能——计算机两百年》原书卷次连载。本篇:智能的螺旋(1943—2026),共 10 章,约 9.8 万字符。

卷十一 · 智能的螺旋(1943—2026)卷首语

本卷是全书的最后一卷,共八章,从 1943 年写到 2026 年——它不写成 AI 公司的宣传软文,而是老老实实记一笔账:"机器如何获取智能"这八十年里,人类的三种核心信念如何剧烈震荡、螺旋轮替:知识由人类逻辑写出(符号主义)、知识从物理数据中关联生长(联结主义)、知识在万亿算力的规模压缩中自然涌现(规模法则)。每一次范式更迭,都不是旧理论被彻底证伪,而是底层物理与数据约束迁移引发的相变:专家系统死于知识获取的人力账本,感知机死于一条画不出的直线,统计学习让位于算力,深度学习等来了显卡——每次交接都伴着一场冬天,每场冬天都冻死一批认真的人。

必须预先声明:本卷不预测未来,只记账。M-P 神经元的图纸在 1943 年就画完了,深度学习的理论在 1986 年就发表了,Transformer 的动机是让 GPU 吃满——智能史的每一次跳跃,都是老想法等到新机器;而每一次机器升级,账单都换了一个名字:先是拨款,后是电费,如今是标注工的时薪、创作者的版权与被重构的岗位。第 108 章的隐线总清算,记的正是这三笔大多数人没见过的账。

本卷的主导物理约束有四条:矩阵乘法的能效比、显存带宽墙、跨节点集合通信的延迟,与社会能源的总账。从麦卡洛克与皮茨手绘的第一张神经元蓝图,到今天按秒出售"思考时间"的推理模型,八十年里智能的每一步都踩在这些物理边界上——最后一步踩上的,是全书最大的那笔账:我们造出了两百年前无法想象的符号机器,用它自己的话说,是"我们用我们的语言与它交谈";而这台机器为什么这样回答,已经没有人能完全说清。铜线的故事,到这里交给了智能体。
阅读指引。 本卷是全书的压轴,技术密度与叙事张力并重。非技术读者建议精读 099(AI 命名)、100(感知机与第一次寒冬)、101(专家系统与第二次寒冬)、105(AlexNet 惊雷)、106(AlphaGo 封神)、108(大模型与智能体终局)——这六章构成 AI 史的主干故事线,几乎不需要数学背景。技术读者应当全卷精读:102(反向传播)、103(CNN 与 LSTM)、104(SVM)三章的机制拆解是全书技术密度最高的段落之一,值得逐段消化。第 107(Transformer)是当下所有大模型的共同祖先,无论背景如何都建议精读——读懂它,就读懂了 ChatGPT 为什么长这个样子。


第 099 章 1943—1956:从神经元电开关到“人工智能”的命名

1943 年的芝加哥,伊利诺伊大学医学院一间堆满神经解剖标本的办公室里,神经生理学家沃伦·麦卡洛克(Warren McCulloch)与一个二十岁不到、离家出走向学的年轻人沃尔特·皮茨(Walter Pitts)合写完一篇论文。皮茨没有学位,是靠啃读罗素与怀特海的《数学原理》自学成才的逻辑学少年,为逃离家庭一路流落芝加哥,被麦卡洛克收留在家中客房;麦卡洛克本人出身神经生理学与精神医学,常年琢磨一个问题——大脑这台湿漉漉的机器,到底凭什么能思考。两人的论文当年发表在《数学生物物理学报》,标题拗口:《神经活动中思想内在性的逻辑演算》。全文没有做任何实验,纯靠推导,却把一个此前只属于哲学的问题变成了可以写方程的问题:神经细胞要么放电、要么沉默,行为像一个开关,而开关可以算逻辑。论文的插图由麦卡洛克让女儿手绘完成——这份日后被追认为“人工智能第一张蓝图”的文献,就这样诞生于一间家庭书桌、一支绘图笔和一个逃难少年的逻辑。本章从这篇论文讲到十三年后一个夏天:那门后来叫做“人工智能”的学科,是如何在十三年里被零星造出零件、又如何在一个新罕布什尔州的校园里领到名字的。

把时间拨回 1943 年才能看清这些零件有多超前。那一年人类还没有一台通用的电子计算机,ENIAC 要两年后才通电;图灵的机器还是纸上的定义;数字电路仍在为破译密码与弹道计算服役。在这样的年份讨论“神经元的逻辑演算”,工程上无处着力,学问上无门可归——医学期刊嫌它数学太多,数学期刊嫌它神经太多,两头都把它当越界之作。此后十三年的全部故事,就是这几个越界者各自等待环境追上自己:等一条让权重自变的规则,等一台算得动的机器,等一个把散兵游勇收编成学科的名字。

大脑的第一张方程

麦卡洛克与皮茨的出发点是一条神经生理学的铁则:神经细胞遵循“全或无”原则——输入的刺激超过阈值,它就沿着轴突发出一个不折不扣的脉冲;低于阈值,它就一声不吭。没有中间状态,像电闸,不像调光旋钮。两人把这个事实直接翻译成数学:一个神经元接收若干个输入,每个输入取 0 或 1,全部加权求和,总和达到阈值就输出 1,否则输出 0——写成一行,就是加权和与阈值的一次比较。这个模型后来被称为 M-P 神经元,它砍掉了真实神经元的几乎全部生物学细节:没有化学递质的种类,没有发放频率的时间结构,没有抑制与兴奋的复杂级联;留下来的只有一个事实——神经细胞的响应是二值的。这种“砍到只剩骨头”的建模方式,在当时的设计里是有意为之:模型要证明的是“逻辑运算足以被神经元实现”,多余的生物细节只会模糊证明的主线——至于真实大脑的化学细节,那本来就是神经生理学家一辈子的功课,不必写进这篇逻辑论文。

砍掉这么多,剩下的却足以惊人。把这样的神经元连接起来,逻辑运算立刻有了实体:让两个激发性输入各自略低于阈值、相加后越过阈值,它就是一枚与门——两个都来才放行;让单个输入的权重高过阈值,它就是一枚或门;再引入抑制性连接——某个神经元一旦发放就足以把输出压回零——它就成了非门,还能实现“全或否决”的组合。两人接着证明:把这样的开关神经元连接成网络,网络可以实现一切基本的逻辑运算,而逻辑运算的完备组合,恰好就是图灵机做的那类计算。换句话说,这台由神经元开关搭成的机器,在可计算性上与图灵机等价:凡是图灵机能算的,足够大的神经元网络也能算。这是人类第一次为“大脑在计算”这个直觉写出严格版本——计算的方法从此被引入大脑研究,“大脑的本质是信息处理器”这个 20 世纪最深远的理念,在这篇论文里第一次有了数学形态。它同时也是一次双向的预支:既然神经元能搭出逻辑机,逻辑机也就有了模仿神经元的资格——此后八十年“用硅复制大脑”与“用大脑启发硅”两条路,都从这十三页论文里领了执照。模型简单到可以在黑板上画完——多年以后有人统计,让任何工程师手算一个 M-P 神经元的输出,所需时间不超过一分钟;这份简单正是它的生命力:今天教科书里的感知机、卷积网络乃至Transformer的每一个神经元节点,抽象到底仍是“加权求和、过阈值或过函数”——血统的另一个写法,是没有人再引用它,因为没有人能绕开它。

需要按当时的语境还原这两位作者的立场:他们没有宣称大脑就是逻辑机,更没有预言什么产业。麦卡洛克感兴趣的是心智的机械基础,一个神经生理学家对“灵魂如何服从物理”的老问题给出可检验的形式;皮茨感兴趣的则是逻辑本身能否在物理世界里找到寄居的皮囊。一位想给灵魂找物理根据,一位想给逻辑找物理容器,两人就在“精神不过是不守规矩的唯物主义”这句玩笑话上合流——论文的每个方程,都是这句玩笑的正经版本。理论在等它的两样东西:一条让权重自己变化的规则,和一台算得动它的机器。两样东西后来都等到了,但它们到货的年份隔着整整十年——先到的规则没人会用,后到的机器不知道该算什么;错位的十年里,两位作者一个转向神经生理实验,一个在朋友家里孤独终老。等的人里,最先动身的是一位在蒙特利尔教心理学的加拿大人——他要回答的问题与麦卡洛克相反:不是神经元如何计算,而是神经元之间如何互相改变。

一起激发的就连在一起

第一条规则等到了 1949 年。加拿大心理学家唐纳德·赫布(Donald Hebb)出版《行为的组织》,试图回答 M-P 模型留下的缺口:神经元网络的结构是固定的,可学习分明在改变行为——连接的什么性质在变?赫布的答案后来被称为赫布法则,用他自己那段被引用了半个多世纪的话说:当细胞 A 的一个轴突足够靠近、反复持续地激发细胞 B 时,某种生长过程或代谢变化会在两者之间发生,使 A 激发 B 的效率提高。通俗版本只有一句话:一起激发的神经元,连在一起。这句话后来被工程师翻译成一行代码——权重增量正比于前后两个单元激活值的乘积——神经网络的第一次“自己学习”,用的就是这条 1949 年的心理学猜想。同步发放的连接被强化,总是搭不上节拍的连接则被削弱剔除——赫布为此打过一个管弦乐队的比方,跟不上合奏的演奏者会被淘汰,配合默契的声部则越练越默契。这个比喻的精髓在于淘汰的自动化:没有人给突触打分,节拍本身就是考官——大脑不需要老师,只需要让神经元们一起干活,干得合拍的连接自然越用越粗。

这套法则的来路并不神秘。赫布承认灵感部分来自巴甫洛夫的条件反射:铃声与食物反复同时出现,狗就学会两者相联——神经元层面的版本,不过是把“同时出现就加强联系”下放到了突触。而促成他反思的田野经历同样具体:在蒙特利尔神经研究所的实习让他看到,一些脑损伤患者摘除了大块皮层,智力却几乎无损——智能似乎并不存放在某个固定位置,而是分布式的;小鼠迷宫实验则显示,发育期刺激更丰富的个体,成年后学习能力更强——经验的输入在物理上重塑着回路。两件事拼在一起,指向同一个结论:大脑的结构由经验按“共同激发”的原则逐步雕刻。赫布给这套理论配了两个概念,细胞组装(cell assembly,共同激发的神经元抱成的功能团)与相位序列(组装之间的激发链条)——学习不再是往空壳里灌信息,是网络自己长出形状。

《行为的组织》同样不写代码,全书没有一条可执行的算法——权重如何随激发具体增减、增减多少,赫布没有给出公式。这本书在心理学界的际遇称得上一段传奇:出版后的年代里,它像被施了魔法一样把一批最聪明的年轻人吸进心理学与神经科学,麦吉尔大学因此成为北美心理学的研究重镇——一条关于突触的猜想,改写了一个学科的生源地图。不过对工程师而言,它始终隔着一层:这是一份心理学理论,语言的接口面向神经科学家,公式没有接口文档,更没有可调的参数。但它把一条决定性的信念植入了后续所有连接主义研究:智能的坯子可以在网络内部自发生长,不必逐条教。这条信念日后有两个血统迥异的后裔:一脉把“生长”交给误差修正,长成感知机与它的多层后代;另一脉把“生长”交给统计相关,长成今天的表示学习——它们认的祖师都是赫布,尽管老人毕生的兴趣始终在理解真实大脑一侧,从没写过一行训练代码。这条法则里藏着一点当时的读者未必在意、后来却极要紧的偏向:赫布只讲“同时激发就增强”,是单向的正向规则——它解释了联想如何形成,却没有给“答错了怎么办”留出机制。神经网络的学习若要真正工作,除了奖励性的靠近,还需要一种由误差驱动的修正:错了,把权重往回扳。这个缺口要在十年后由一位康奈尔的工程师来补。麦卡洛克与皮茨画出了神经元的形状,赫布补上了连接变化的规则;至此,人工神经网络的全部零件图纸已经散落在三篇文献里,缺的只是把它们焊上电路的人——以及一个更大的问题:这些零件拼起来的东西,凭什么有资格叫“智能”。这个问题被另一位英国人接了过去,他用了最巧妙的一招:根本不接。

把问题换掉的人

零件之间,一位旁观者把这场运动最抽象的地基先打好了。1950 年 10 月,艾伦·图灵(Alan Turing)在哲学期刊《心灵》上发表《计算机器与智能》。写下这篇论文的人,正是十四年前在纸上定义“可计算”的那一位——从图灵机到机器智能,他给了这门学问躯壳,又来给它注入灵魂。这篇论文要处理的问题,前两节的作者都刻意绕开了:机器能思考吗?图灵的处置方式是整篇文章最著名的手笔——他拒绝在这个问题上浪费时间。“能思考”三个字太含混,争论下去只会变成语义词的缠斗;他把原问题替换成一个可操作的替代品,模仿游戏。游戏的原始版本本是一场社会猜谜:提问者隔着帘子向两位匿名者发问,凭答案分辨谁是女人谁是男人;图灵把其中一方换成机器,猜性别的聚会游戏就此升级成一场哲学实验。后世把这个思想实验称为图灵测试。论文顺带做了一个预测:五十年内,机器将能在典型问答中让 70% 的判断者误判。为了让读者有手感,他甚至在论文里写了一段示范对话:提问者请对面的“人”做一道四则运算,对方拖了几秒才给出一个错误的答案,又拿“算错正是人之常情”打趣——图灵解释,机器最好也别把算术答得太准,否则身份立刻穿帮。

整篇论文的真正骨架,是对九类反对意见的逐条回应——图灵没有回避“机器不可能”的每一种论证,而是把它们拉到桌面上逐个拆解。其中分量最重的一条来自 19 世纪的洛弗莱斯夫人:分析机只会按人给出的指令行事,永远无法原创,“机器无所创见”。图灵在专节里正面回应这条异议,他的反驳带着此后八十年生成式 AI 的全部气质:机器可能违反的,只是我们对创见的定义——机器做的一切当然出自某种机制,可若机制的产物让旁观者认不出规律,旁观者就只好称之为原创。其余的反对意见,清单读来近乎今天的评论区:神学的反驳说思考是灵魂的职分,上帝只把灵魂发给人类;意识的反驳说你永远无法证明机器有内在体验;还有“机器永远做不出惊喜”“机器没有自己的动机”“神经系统是连续的而机器是离散的”一类……图灵或给出反驳,或直指其不可检验——九条意见,九种拆法,拆完之后,“机器不能思考”这个命题再也没有一条站得住的公共论证。文章的结尾也是一个纲领:与其争论机器能否思考,不如研究机器能否被教育——他还替这条路线的反对者准备了一句釜底抽薪的话:若是嫌学习太慢,教育总比重新设计物种便宜;——他提出“儿童机器”设想:不要试图一步模拟成人心智,那太复杂;先造一台儿童心智水平的机器,再用恰当的教育课程把它养大。他甚至为这台机器列好了开销的账:儿童心智的存储需求远低于成人,用当时的存储技术也并非全无指望;不指望机器自己长成大人,指望教育课程一层层往上垒。机器的智能应当像儿童的心智一样,是喂出来、教出来的。

儿童机器这个设想在 1950 年同样没有工程回声——那时的计算机内存以千字节计,连一台儿童心智的存储都远远不够。但这个设想的结构性含义,值得替它说破:图灵把智能的实现从“编写”挪到了“养育”,把工程重心从规则转到了成长机制。这篇论文留下的两项遗产各自长寿:模仿游戏成了此后七十年哲学界与工程界之间的那面镜子——每隔几年就有人宣布机器“通过”或“没通过”测试,镜子两侧的争论从未终结;儿童机器则成了另一条路上更遥远的先知——先造初生的心智,再用数据养育它长大,这套养育式训练的思路,要在算力与数据都充足之后才会兑现它真正的分量。十年后感知机的研究者引用赫布,二十年后的研究者引用图灵——三个人的文献在 1950 年代汇成同一条伏流。伏流要浮出水面,还差一样东西——一个能把散兵游勇收编成建制、让经费与学位有着落的名分。1956 年夏天,一个三十八岁的年轻人决定亲手把它写出来。

一个夏天与一个词

契机在 1955 年到 1956 年之间成形,幕后推动者是四人中最年轻的一位。约翰·麦卡锡(John McCarthy)1948 年在加州理工读研究生时听过冯·诺依曼关于自复制自动机的报告,从此对机器智能着迷;1953 年在贝尔实验室工作时,他向信息论的创立者克劳德·香农(Claude Shannon)提议编一本机器模拟智能的论文集,成果《自动机研究》直到 1956 年才出版。那本论文集的阵容本身就是一张学科前夜的合影:香农亲笔写通用图灵机,冯·诺依曼的论文开创了容错计算,麦卡锡自己则讨论图灵机的逆函数——从输出反推输入的问题。这本书是“机器智能”这个词被发明之前,散落各处的相关工作的唯一汇拢。1955 年夏天,麦卡锡到 IBM 兼职,与 IBM 信息研究主管内森·罗切斯特(Nathan Rochester)、贝尔实验室的香农反复讨论机器智能,提出了一条明确的路线主张:这个领域不应沿控制论或自动机的老路走——控制论关心反馈与稳态,自动机研究关心抽象的计算结构,而他要的是能直接推理的知识与规则,要用符号表示与逻辑推理直接模拟人类思维的机制。那年,他与在哈佛任教的挚友马文·明斯基(Marvin Minsky)联名向洛克菲勒基金会递交了“达特茅斯人工智能夏季研究项目”提案(这个夏天之后,与会者各自回校,把麻省理工学院、斯坦福大学与卡内基梅隆大学一处处打造成了人工智能的研究重镇——一个学科的最早版图,是从夏令营的通讯录上画出来的),申请在达特茅斯学院办一次为期两个月的研讨会,预计十人参加——提案里第一次写下了 artificial intelligence 这个词。

基金会的审批给出了这次远足的第一个现实刻度。生物与医学部门主任莫里森审阅后认为,提案的内容太过宽泛、目标过于发散,最后同意按五周有限目标资助,经费砍到申请额的一半:7500 美元。按后世的目光回看,这笔审批近乎一份精准的风险评估:基金会的官员读得懂提案里的野心,也读得懂那野心与两个月会期的落差——他们没有拒绝这笔钱,只是拒绝为全部野心买单。事实证明双方的判断都对了一半:学科确实诞生了,可它确实不是一个暑假能搞定的项目。研讨会在 1956 年 6 月 18 日如期开进新罕布什尔州汉诺威镇的达特茅斯学院,讨论一直延续到 8 月 17 日;计划中的十人来了,没被写进计划的也来了,先后到会的达三四十人。它的形态不像会议,更像一个漫长的夏令营:一群二三十岁的年轻人在常青藤校园里过暑假,没有议程表式的报告节拍,白天猜谜、争论、互相串门看对方写的程序,夜晚继续。多年以后当事人回忆那个夏天,记得的与其说是哪场报告,不如说是那种所有人都在同一间思想厨房里做饭的气味。会上拿出的东西与提案的宏大标题并不相称。麦卡锡介绍了他为下棋程序设计的 α-β 搜索法——搜索时跳过明显吃亏的分支,让机器用更少的算力看得更远,这个剪枝思想此后统治了五十年博弈程序;明斯基报告了博士论文里的神经网络机器 SNARC——一台用真空管搭的学习机器,神经元的连接权重由机器自己调整,那是他的第一版野心,也是会场上唯一一件与“神经网络”沾边的实物;全场最重要的成果来自不在主办方名单里的赫伯特·西蒙:他的“逻辑理论家”程序自动给出罗素《数学原理》中命题逻辑部分 38 个定理的证明。全场最重要的成果来自不在主办方名单里的赫伯特·西蒙:他与艾伦·纽厄尔写的“逻辑理论家”程序自动给出罗素《数学原理》中命题逻辑部分 38 个定理的证明——一部人类数学家合作数年的巨著,被程序拿下了开篇一角。一部人类数学家合著的巨著的开篇一角,就此被程序拿下——会议的其余成果在这个演示面前都成了配角。会议的共识倒是清楚:数理逻辑的方法最受看好——这就是后来符号主义流派在娘胎里领到的第一张默许状。这张默许状在会后的岁月里持续增值:西蒙与纽厄尔沿逻辑理论家一路走向定理证明与通用问题求解,麦卡锡把符号推理带到斯坦福,明斯基在麻省理工立起实验室——达特茅斯的暑假结束了,符号主义的黄金年代才刚刚开门。把三份演示放在一起看,这条共识并非没有根据:α-β 是搜索的算术,逻辑理论家是推理的代数,SNARC 虽然另类,却还只是真空管里的玩具——1956 年的尺度下,凡是能跑出结果的东西,确实都长着逻辑的脸。神经网络要等到有更大的数据与更快的芯片替它说话,才会翻身——那是几十年后的另一场会议。

会议史册留名的部分,是那个词与那四个人的分歧。artificial intelligence 一词在会场内外立刻招致不满,不少与会者不以为然:artificial 除了“人工”还有“虚假”之义,与 intelligence 组合近乎自嘲,按他们的口味,这场事业本该叫“机器智能”或“复杂信息处理”——命名之争不是文人的矫情:一个词的褒贬颜色,决定的是这门学问在系主任的课表上、在基金会的信封上、在报纸标题里被如何对待。麦卡锡押下的这个词,此后替整个领域吸收了它不该吸收的期待,也替它省下了没人肯给的耐心——一个词的成本与红利,八十年来都在滚动计息。而真正塑造此后三十年格局的,是四位发起人各自的底色——麦卡锡带着符号与逻辑的宣言书,认定智能的本质是可形式化的推理;明斯基的履历始于 SNARC 那台神经网络机器,他从心智的机械复现出发,后来却成为对神经网络发难最力的人;香农是信息论的创立者,论文集里亲笔写通用图灵机,代表的是数学传统的冷眼;罗切斯特坐在 IBM 信息研究主管的位置上,惦记的是这套东西能不能变成工业实现。四种底色在同一个小镇上汇流,谁也没有说服谁。麦卡锡要的是逻辑:智能既然可以形式化,就该用符号与规则一步步推出来;明斯基要的是心智:不管用什么机制,先把学习机器造出来,SNARC 的真空管里装的就是他 mimic 神经元的第一版野心;香农要的是数学:他把整个问题看作信息与图灵机的延长线,对热闹的术语兴趣有限;罗切斯特要的是实现:IBM 的实验室里机器就在走廊尽头,能跑起来的才算数。学科的名字就此诞生,学科的路线之争也就此埋下——此后八十年符号与网络的两条路,当年在同一张提案书下就各坐了一边。麦卡锡本人多年后坦言,提案的目标不切实际:这不是一个暑假能搞定的项目。七个半星期的会、7500 美元的预算,产出一门学科的名字与一屋子日后的图灵奖得主——以成果论,这个夏天近乎空手;以命名论,它给此后七十年的每一场争论定了姓氏。

命名的重量

1943 年的方程、1949 年的法则、1950 年的问答游戏,与 1956 年的名字,构成了这门学科的出生证明。把四份文件并排放着看,一个耐人寻味的事实浮出来:这门学科的两大流派,在命名之日就已经各备好了行囊——符号一派领走了会议的共识与《数学原理》的定理证明,连接一派握着 M-P 神经元与赫布法则的全部图纸,只是后者的行囊在会议上是安静的。会上的共识属于逻辑,图纸的主人散坐在会场外——这个错位注定了下一个十年的主线:被冷落的行囊即将在康奈尔被打开,而拿着共识的那一派即将迎来自己最好的二十年。

四份出生证明里还有一处共同的留白:1943 年的论文、1949 年的书、1950 年的文章,没有一份写过“人工智能”这个词——学科的内容先于学科的名字存在了十三年,而名字落纸的那份提案,又没有预言它的任何一项具体成果。命名与内容的错位,让“人工智能”从诞生起就是一个承诺式的词:它许诺一个尚未到达的领域,而不是描述一个已经存在的领域。这门学问此后的每一次高涨与幻灭,都可以追溯到这个词的将来时态。

几位开创者各自的后事同样耐人寻味:皮茨在 1969 年烧掉自己全部的手稿,在孤独中死去,同一年,明斯基与佩珀特的书将给神经元网络写下一纸判决——那一章是下一章的故事。命名的先知本人没能到场:图灵已在两年前离世,那份模仿游戏的问卷,要到几十年后才真正开始被机器作答。命名是个新生儿的第一声啼哭,它宣告的是存在,不是命运。此后的每一次寒冬与惊雷,都还在这份证明书之外等着签字——签字的第一支笔,两年内就会递到康奈尔航空实验室一位工程师的手里。他把赫布的猜想焊成了电路,把《心灵》杂志的思想实验变成了报纸头条,也把这门新命名的学科第一次推上了头条与法庭——那是下一章的全部剧情。


第 100 章 1958—1969:感知机与第一次严冬的降临

1958 年 7 月 8 日,华盛顿,美国海军研究办公室的发布会厅里挤满记者。海军的公关官员向在场媒体宣布:一台会学习的新机器诞生了——它将学会走路、说话、看见、写字、自我复制,并最终意识到自己的存在。次日的《纽约时报》把这条消息排上了头版,标题克制得多:新海军设备通过实践来学习——learns by doing,杜威的教育名言被借来当新闻标题,一份百年大报用教育学词汇报道一台计算机,这个细节本身比通稿更能说明当时读者的错愕。发布会的中心人物是二十九岁的心理学家弗兰克·罗森布拉特(Frank Rosenblatt),布法罗康奈尔航空实验室的研究心理学家与项目工程师。展台上的演示安静而朴素:机器面对一组输入图案,先给出猜测,猜错后自行调整内部设置,几轮之后猜测全中——没有工程师在中间修改任何东西。他展示的那台机器有一个日后如雷贯耳的名字——感知机(Perceptron)。《纽约客》随后加入了赞赏的合唱。这一天通常被算作机器学习的公共生日:一台机器不是被编程的,是被训练的。十年零十一天之后,这份生日的意义将被一本翻到任何一页都满是数学的专著重新核定;再过两年,英国的一份政府报告将把这个方向仅存的炉火也熄掉。要理解今天每一个训练模型的程序员与这段历史的血缘,得先把这十二年完整走一遍。本章写这台机器的十年:它如何把赫布的猜想焊进电路、如何被媒体捧上神坛、如何在 1969 年被一本薄薄的书判了缓刑,以及那场判决的回声如何在英国演变成一次全行业的冻结。

用卷首的主导约束来框定这十年:联结主义一系的命运,始终被两样东西掐着——可用于学习的样本规模,与可负担的算力。1958 年的 Mark I 用四百个光电池、五百一十二个电位器对抗这两重限制,能走的路只有一条:把问题缩到线性可分的规模里去。只要限制还在,缩是唯一理性的选择;而只要还在缩小问题,收到的每一份喝彩都是对未来自己的预支债务。本章的所有起伏,都能还原到这条约束的松紧变化上。

会自己调权重的机器

感知机要解决的问题,第 099 章已经铺好:M-P 神经元是死的——权重由人手设定,网络不会学习;赫布法则指出了权重可变的原理,却没有给出公式。罗森布拉特的贡献是把这两个缺口一次性填平:他 1958 年发表在《心理学评论》上的论文《大脑中信息储存与组织的一个概率模型》,给出了一台可学习机器的完整定义——给机器看例子,它猜,猜错了,就按误差调整每条连接的权重,往错误更小的方向扳。这与赫布的“一起激发就连在一起”有本质区别:赫布规则只看相关,罗森布拉特的规则看对错。误差成了老师——这是机器学习第一性的那块基石。与 M-P 模型并排看,三处改动一目了然:阈值从人手设定改为机器自调;权重从固定常数改为随时可改的变量;评价信号从无改为有——误差本身成了驱动系统运转的输入。三条改动合起来,死模型就活了。

理论先在计算机上跑通。罗森布拉特在布法罗康奈尔航空实验室的 IBM 704 上做了软件仿真:给机器看打了左右标记的打孔卡,大约五十次训练之后,它就能不出错地分辨左右。1959 年底,专用硬件建成——Mark I 感知机。这台为图像识别设计的机器有四百个光电池排成二十乘二十的“视网膜”,每个光电池与下一层联想单元之间的连线是随机固定的——这个“随机”当时被当作工程简化,日后被证明歪打正着:随机固定连接正是今天卷积网络里“权重初始随机化”的先声;末端的八个输出神经元负责宣读判决;联想单元共五百一十二个,每个的核心是一只由小马达驱动的电位器——权重就编码在电位器的阻值里,机器每猜错一次,马达就转动旋钮,把相应的权重拧向正确方向。——旋钮拧多少,由猜错的幅度决定:错得离谱就多拧,擦边就少拧。误差驱动学习在这里有了字面意义的力矩。学习在 Mark I 上是物理动作:听得见马达嗡嗡作响的纠错。今天的读者很难体会这台机器的直观冲击:学习——这个此前只属于生物的动词——被具象成马达转动的角度与电位器的阻值,看不看得懂哲学无关紧要,耳听为实。它的成绩单今天看来依然惊人:区分圆形与方形,一万张训练图后准确率百分之九十九点八;给它二十个字母 X 的样本,它学会把 X 与 E 分开,且字母被随机旋转后仍保持九成正确率。比数字更要紧的是方法:训练用的图案与考核用的图案分开,学会的标志是在没见过的样本上依然答对——今天机器学习教科书里“训练集与测试集”的纪律,在这台真空管与马达组成的机器上已经一板一眼。

支撑这些成绩的是一条定理。罗森布拉特与同事在 1960 年代初证明的学习收敛定理说:只要训练数据线性可分——存在某个能分开两类的超平面,且两类之间留有正的间隔——学习算法按固定步长修正权重,误修正的次数就存在一个与样本数量无关的上界,它只由那个间隔的宽窄决定。间隔越窄,需要摔的跟头越多,但终点有保票:定理的含义是,学习不再碰运气:对一类明确定义的问题,这台机器的进步有数学保证。在“智能机器”普遍停留在论文与演示的年代,一条带保证的学习定理,是整个领域当时最硬的资产。感知机计划的资金来自海军研究办公室与罗马航空研发中心——军方的逻辑很直接:能从样例中学会分辨图形的机器,天然就是侦察照片判读、雷达信号分选的雏形,冷战年代这些活儿全靠人眼与经验,慢且贵。海军研究办公室在 1950 年代资助基础研究出了名的慷慨,它甚至愿意为一场论文发布会搭台——1958 年 7 月 8 日那场发布会的请柬,本身就是资助方的信用背书。对军方而言,这比任何学术论文都有说服力:机器每猜错一次就自动调整,调整之后成绩肉眼可见地上扬——资金买到的不是一台完成品,是一条清晰可见的上升曲线。这份军方兴趣在接下来的几年里,将被证明是助燃剂,也是燃料库。

被放大的预言

把 Mark I 的成绩单和发布会通稿对照着读,会发现两种文体的距离。机器实际做到的:从噪声里学会区分图形,准确率随训练上升。通稿许诺的:这台机器将走路、说话、看见、写字、自我复制并意识到自身的存在。后世研究者重读这段历史时常指出,那次发布被高估——但同样被低估;两次误读共用同一个源头:媒体与公众把罗森布拉特对远景的推论当成了工程进度表。罗森布拉特本人的真实立场要审慎得多:他在论文里明确写道,感知机计划的目标是研究“大脑中信息储存与组织的可能机制”,并非复刻大脑;会走会说话的机器,在他那里是几十年尺度的推想,公关机器把它压扁成了明天的头条。学术论文与新闻通稿从此各行其道:论文里的每个结论都钉在实验与证明上,通稿里的每个句子都朝着想象力划走——罗森布拉特夹在两套文体中间,既受惠于通稿带来的经费,又承受着通稿透支的信用。

罗森布拉特是个配得上这份雄心的人物。同事回忆他在后院自建天文台搜寻地外文明的信号,在实验室里尝试在大鼠之间转移记忆;他的研究生说:“弗兰克是思考者,我们是工蜂。”在感知机之后,他继续扩展理论:多层结构、跨模态识别、学习与进化的关系,四卷本感知机专著的写作计划也在推进——这些后续工作大多没有来得及完成影响,但方向清单本身就是证词:他没有把感知机当作终点,而是当作连接主义大厦的第一块砖。康奈尔大学在演示次年就聘他为生物科学系副教授——学术界用教职为这门新学问投了票。军方则用钱投票:整个 1960 年代初,感知机类研究是 AI 领域最不缺经费的方向之一,海军、空军的项目接连落地,仿制与改良的感知机在世界各地的实验室里排队出生——学习机器第一次拥有了自己的产业雏形,尽管那个产业只有几个客户、几间实验室和一种几乎只有军方才买得起的单价。对一个 1956 年才拿到名字的学科来说,1960 年前后的这几年是它的第一个丰年:有定理、有硬件、有资金、有头条。丰年的另一面是人才流向的切换:联结主义在 1956 年的会议上没有席位,此刻却拿走了最响的标题与最快的拨款;符号阵营的实验室里,同事白天写逻辑求解器,晚上翻感知机的论文琢磨哪里能挑错——两条路线的第一次换位,就发生在这几年。军方的合同书越签越厚,从打孔卡识别写到语音与字符,每份合同都在为“学习机器”这个概念追加信用。

符号阵营在同一时期也没闲着:通用问题求解器与定理证明程序在 1950 年代末陆续亮相,两边一度各自宣布自己的路线才是正途——今天回头看,那是这门学科唯一一段两条路线同时风光的岁月,此后每一次风光都变成了单选。

丰年里埋着两颗种子。一颗是技术上的:收敛定理的成立条件“线性可分”是一枚隐形的地雷——它意味着感知机的世界被一条直线一分为二,直线画不出来的问题,定理概不负责。这个限制罗森布拉特本人清楚,他在论文与专著里讨论过多层结构的想法;但多层网络在当时没有训练算法,超出一层的权重如何调整,无人知晓。这句话值得展开,因为它是整场悲剧的技术内核。多层的想法本身不难想:让第一排神经元先画几条线,第二排再对几条线的结果做判断,异或立刻可解——明斯基与佩珀特后来在书里也承认这一点。难的是训练:第一排的权重错了多少,要等第二排算完才能知道,而“错误信号穿过一层单元时该如何分摊到每一个权重”,1960 年代的数学对此没有答案;没有分摊规则,多层网络的第一排就只能瞎调。能想见的结构画在图纸上,能驱动的算法缺席了十年。另一颗是心理上的:头条把机器的能力与许诺焊接在一起,公众与资助方从此以头条的标准检验每一份进展报告——期望的杠杆被拉到极限,杠杆的另一端,任何正常的科研节奏都会显得像失败。此后的年月里,每一篇感知机论文都要在“兑现头条”与“坚持手艺”之间选边——选前者的人写出了越来越大的许诺,选后者的人拿到了越来越少的通知。

一条画不出的直线

1969 年,麻省理工学院的马文·明斯基(Marvin Minsky)与西摩尔·佩珀特(Seymour Papert)出版《感知机:计算几何导论》。选择在此时出书并非落井下石——计算几何的分析方法在两位作者手里打磨多年;但它的出版恰好落在公众热情的退潮线上,时机成了这本书无法卸下的引信。这是本不厚的书,行文异常克制:它不写情绪化的批评,只用计算几何的语言,把单层感知机的边界一笔一笔画出来。两位作者把感知机的每一个学习问题都当成一道几何题来审:模式在空间里是点,权重是直线的斜率与截距,“能不能学会”被改写成“直线能不能画出来”——一整代人对神经网络的直观,被这本书置换成了画图的手艺。书里甚至带着小小的幽默,把某些证明写得像几何谜题;它的克制与精巧,让后来的批评者更难指摘动机。书中的核心证明用一个最小的问题立起了一堵墙:在平面上标四个点——(0,1) 与 (1,0) 涂黑,(0,0) 与 (1,1) 涂白——单层感知机不可能用一条直线把它们分成两色。证明本身在数学上是初等的:黑点的中点与白点的中点重合,任何直线把两色分开都必须让两个中点落在异侧,而重合的点做不到这一点——三行推演,无懈可击。这个任务叫异或(XOR):相同为白、相异为黑,任何一个学过逻辑的人一眼能写出真值表,但单层感知机的判决面只有一条直线,而平面上不存在任何一条直线能把这四个点按要求分开。一个只有一层、只会画直线的机器,无论权重怎么调,永远学不会异或。拆穿这个死局只需要一张草纸:先安排一排单元分别判断“x 是 1”“y 是 1”,再让输出单元对这两个判断做“且”运算,四点就分开了——两条直线加一次合取,解法朴素到近乎恼火。问题从不在解法不存在,而在那排中间单元的权重没人会调:推理上可行,算法上无门,这本书把这道裂缝量到了毫米。

严格地说,这本书的杀伤力不在证明本身,而在它的读法。明斯基与佩珀特在书里明确写过:多层网络可以解决这类问题,第二层感知机甚至线性单元的叠加就足以应对许多不可分问题——这个让步后来常被引用,用来证明该书被冤枉。但紧随其后的才是真正的判决书:对多层网络的训练,作者表示看不到可行的算法,悲观笼罩了整条路线。1960 年代的机器学习界拿到这本书,读到的是标题与结论——单层不行,多层没戏——然后各自回实验室清点余生。证明在数学上无懈可击,悲观在当时的证据下并非蛮不讲理:多层的误差如何分配回每一层,确实没人会做。但学术共同体的反应方式是裁决式的:神经网络方向的经费在此后十几年里基本断流,课程从课表上撤下,论文没有期刊肯收。联结主义的黄金年代结束了,联结派的研究者转行的转行、沉默的沉默。直接的受害者名单具体而沉痛:罗森布拉特的专著写作计划没了下文,各地仿制感知机的实验室陆续转向,相关选题在学位委员会那里成了需要导师担责的风险项。这场收缩不止于美国:英国的情形下一节单说,而欧洲大陆与苏联阵营的研究者,几乎在同一时期感受到了同一种凉意。

对这段公案,公平需要两面都写。明斯基与佩珀特做的是学术共同体正当且必要的事——把一个被媒体吹大的范式的数学边界画清楚;他们的证明是对的,他们指出的缺口(多层训练无解法)也是真实的、直到 1986 年才被反向传播算法补上的缺口。错的是整个行业的读法:一份标明了适用范围的体检报告,被当成了死刑判决。误读的机制值得解剖:书名只有一个词,结论藏在数学章节里,而“单层感知机连异或都不会”这个短句天然适配摘要与转述;几年间,转述者们越传越省略,最后连“多层可解”的脚注也被省略干净——一次学术出版里最常见的压缩,在过热的情绪里完成了从体检报告到讣告的全部变形。而这份读法之所以流行,是因为它恰好接住了 1960 年代末渐渐弥漫的失望——头条许诺的会走会说话的机器迟迟不来,资助方正在寻找收缩的理由。一本书的影响能大到冻结一个方向十余年,前提是整个领域早已站在过热的悬崖边上。

失败案例:莱特希尔报告,1973

严冬的正式降临在英国,带走炉火的是一份评估报告。1973 年 3 月 24 日,应用数学家詹姆斯·莱特希尔爵士(Sir James Lighthill)发布《人工智能:一个综述》(Artificial Intelligence: A General Survey)——报告刊行于当年结集的论文研讨集中,形式上是一篇长文,分量上是一纸判决;它由英国科学研究委员会(SRC)委托撰写,使命是为持续投入的 AI 研究做一次全面评估。委托本身无可指摘,甚至正当:整个 1960 年代,AI 接受了大量的公共资金,兑现的成果远逊于最初的许诺——机器翻译项目在俄英互译的失败后收缩,感知机阵营已经沉默,自动定理证明在真正的数学难题面前止步。任何一个对纳税人负责的科学资助机构,在十五年的热情投资后要求一次严格审计,都是履职的正常动作。审计的时机同样有迹可循:进入 1970 年代,机器翻译的早期项目已经交出了惨淡的答卷,通用问题求解器在玩具问题上徘徊多年,感知机一系更是早已偃旗息鼓——三份成绩单摞在 SRC 的案头,委托一份独立评估是最顺理成章的下一步。

莱特希尔的资历同样无可指摘。他是流体力学的世界级权威,一位以数学严谨著称的应用数学家,此前与 AI 研究并无瓜葛——SRC 选他,选的恰恰是这重“局外人”身份:让最挑剔、也最不带圈内立场的数学头脑来审查。他的报告也确实以数学家的方式切中了要害:报告承认 AI 在极少数窄域里有过局部成绩,但论定其普适性承诺建立在错误的图景上;全篇最广为引用的一句话,说的正是从玩具问题到现实复杂性之间那道没能跨过的鸿沟——这句评语此后被每一波 AI 怀疑论者反复借用,成了整个行业的阿喀琉斯之踵的标准表述。核心论点是组合爆炸:AI 系统赖以工作的搜索与推理,其搜索空间随问题规模指数增长——棋局分支、语法歧义、常识组合,每多一层复杂度,需要考察的可能性就翻几番;靠堆算力穷举的路,在数学上通向死胡同。报告的审阅框架也值得一记:它把英国的 AI 研究切成三类——用机器模拟高级思维过程的“高级自动化”、以计算机研究中枢神经系统的方向、以及建造机器人的工程——随后逐类给出判断,其中最受点名批评的是通用问题求解与早期机器人。报告进一步指出:那些演示成功的场景,全部是问题规模被人为圈定的世界;一旦放进真实世界的复杂度,性能断崖式下跌。以 1973 年的算力与理论现状衡量,这份技术判断并非外行的苛评——组合爆炸确实存在,也确实是当时符号主义方法真实的死穴;报告的每一条批评,几乎都能在后来的专家系统寒冬里找到迟到的印证。

结论落在拨款上:SRC 采纳报告意见,英国对 AI 研究的资助近乎全额撤除——削减的波及面如此之大,以至于全国仅剩两所大学的 AI 研究得以保留建制;欧洲各国的资助机构随之跟进;叠加美国侧感知机受挫与机器翻译退潮,英美公共资金同步收缩。1973 年 5 月 9 日,BBC 电视转播了在皇家学会举行的公开辩论,莱特希尔单独坐一侧,对面是约翰·麦卡锡与唐纳德·米基(Donald Michie)等数位 AI 学者——这场辩论让“AI 承诺落空”从学术内部事务变成了公共议题,此后多年,英国的 AI 研究者在申请任何经费时都要先回答那份报告。这场辩论没有产生电视意义上的赢家:学者的反驳各有力量,莱特希尔的数学质疑也未被当场击穿;观众带走的不是谁胜谁负,而是“这个领域连自己的价值都要上电视自证”的印象——对一门靠资助过活的学问,这种印象本身就是损失。后世把这段收缩期称为“第一次 AI 寒冬”——需要说明,这个季节名称是后来追认的;身处其中的人看到的没有寒流,只有一份措辞冷静的报告、一笔没有续上的经费和一个被要求缩小的研究目标。失败案例栏在此记录这组事实,动机如上写足:莱特希尔不是反派,SRC 不是昏聩,寒冬不是阴谋——它是一次在承诺超售之后必然到来的公共资金纪律,而它冻结的对象里,恰好也包括那些最终被证明走对了的路。冻结的时间线值得对照着记一笔:美国的收缩以 1969 年的出版物为起点,英国的收缩以 1973 年的拨款为节点,两地接力十余年,把一次本可平缓的技术调整执行成了一场断崖。把这条纪律翻译成工程语言:公共资金购买的从来是“进展的期权”,AI 在 1950 年代用头条签下了过高行权的承诺,1973 年的评估只是按契约行权。期权到期不等于技术已死,它只说明当初的定价脱离了标的——这个教训此后将被每一波新技术浪潮重新领取一遍。

严冬的账目

本章的账要分三头记。罗森布拉特一头的账最沉重也最干净:他把赫布的猜想变成带保证的学习算法,把猜想焊成会嗡嗡转马达的机器,为这门学科挣来了第一个丰年;1969 年之后,他在经费的旱季里转做语音识别系统 Tobermory,坚持了两年。1971 年 7 月 11 日,他在切萨皮克湾的划船事故中丧生,那一天恰好是他四十三岁生日;美国众议院为这位心理学家致了悼词。他没能看到 1986 年反向传播算法补上多层训练的缺口、直接解开异或死局的那一天——那是第 102 章的故事;他生前亲手调校过的 Mark I 感知机,如今陈列在史密森尼国家博物馆的展柜里,铭牌上写着:这是第一台通过学习而非编程来完成任务机器的实物存证——玻璃展柜里的电位器早已静止,它训练时嗡嗡作响的纠错声,只能留给参观者自行想象。明斯基与佩珀特一头的账是清醒与误读的合账:证明正确、警告及时,却被当作了屠刀——他们此后数十年里一直强调书中写过“多层可以解决”,这句话在寒风里没人肯听。公共资金一头的账最冷:钱撤走了,人散了,头条变成了笑谈——直到下一次相变来临,没有人为这个方向留一盏灯。账单还有一笔隐性利息:整整一代学生被告知神经网络是死胡同,教科书删掉了相关章节,导师劝新人别把职业生涯押在一个被判过刑的方向上——人才断层比经费断流更难修复,经费可以一年恢复,断层要等一茬新人自己长出来。散去的人大多没有离开机器学习,只是换了笔法:一批人转向统计学习与优化理论的阵营,用数学的严谨重新表述“从数据里学”这件事——这条支流在多年后以支持向量机的名字重返主流;另一批人留在原地,用当时无人引用的方式继续打磨多层网络的细节,等待一条他们自己也说不清何时会出现的反向通道。

把本章与第 099 章连起来读,会看到一个残酷的结构:1956 年命名的学科,第一场大戏由被冷落的联结派担纲主角,而主角的谢幕由学科的四位发起人之一亲手执笔——达特茅斯共识欠下的债,用全书最彻底的一次驱逐来偿还。全书六条主线里,“认知负荷与平民化参与”讲究谁被赋权、谁被驱逐;本章记录的正是智能研究内部的第一次驱逐:被驱逐的不是某个群体,而是一整套理解智能的方式。赫布法则在 1949 年说“一起激发就连在一起”,1969 年之后的十几年里,这个方向的所有研究者学会了它的反义——不再一起激发的,就散了。但图纸没有烧掉:M-P 神经元还在,赫布法则还在,收敛定理还在,异或的证据也还在——缺的只是一条穿越多层的反向通道。这条通道一旦出现,所有被冻结的资产将连本带利地复活。寒冬的意义由此重写:它冻结的不是方向,是时间——把一次本该在 1970 年代发生的复活,押后到了下一代研究生的毕业典礼之后。解冻的第一缕暖流要等到 1986 年:反向传播算法把误差分配问题一举解决,多层网络从此可训,异或从判决书变成练习题。那之后的每一次涨潮——卷积、长短期记忆、ImageNet、大模型——用的都是这条迟到十几年的通道。


第 101 章 专家系统、知识工程与第二次冬天的雪崩

1979 年冬,马萨诸塞州梅纳德的数字设备公司(DEC)厂房里,一沓订单夹在生产调度板上,等一个答案。VAX 小型机的每张订单都牵出数千个可选组件的组合:哪种磁盘控制器配哪块背板,哪路电源撑得起几张扩展卡,哪根电缆接进哪个机柜。核对靠人,一份订单两到四个小时,即便如此,仍有大约 35% 的订单带着错误出厂——机器到不了客户现场,先在生产线上趴窝,返工、道歉、赔付,一样不少。1978 年起,卡内基梅隆大学的约翰·麦克德莫特(John McDermott)受 DEC 委托,用 OPS5 语言写一套替人核单的程序。1980 年投产,先叫 R1,后改名 XCON:一份订单五分钟核完,出错率压到 1% 以下。这是人工智能第一次在企业账本上被记成正数,也是这一行七年繁荣的起点。七年之后,繁荣的每一块基石都变成了坍塌的证据——坍塌的方式,这一章从头讲起。

问题在繁荣之前就已写好:这些程序里装的不是算法,是知识。核对订单的知识、鉴定分子的知识、开抗生素处方的知识,全部从活人嘴里掏出来,一条条改写成 IF-THEN。符号主义在 20 世纪 70 年代的全部赌注押在这句话上:智能不在神经元的连接方式里,在知识本身——谁掌握足够的领域知识,谁就能推理。这条路线的家谱在匹兹堡已经写好前几页:爱德华·费根鲍姆(Edward Feigenbaum)1952 年十六岁进卡内基理工学院读电气工程,大三选修了一门“社会科学的数学模型”,授课人是赫伯特·西蒙(Herbert Simon),从此改换人生轨迹。西蒙与艾伦·纽厄尔(Allen Newell)在 20 世纪 50 年代写出会证明逻辑定理的程序,又立下“物理符号系统假设”——凡智能,皆是符号的输入、存储、变换与输出。费根鲍姆接过老师的前提,向前再走一步:符号是容器,真正决定智能水平的是容器里装的知识。他后来把两代人的立场排成序:司马贺的“物理符号系统假设”算人工智能第一原理,自己的“知识原理”算第二原理——人和机器的智能,来源于所掌握的特定领域知识。1977 年,他在国际人工智能联合会议上把为系统抽取、编码、调试知识这门手艺命名为知识工程(knowledge engineering)。名称带着工艺的傲慢:知识可以像零件一样被加工、被装配、被质检。这门手艺养出了本章的三台机器和一场雪崩。

订单上的三十五个百分点

XCON 的诞生没有传奇。DEC 的技术销售在 20 世纪 70 年代末被配置错误逼到墙角,公司找到卡内基梅隆,想看看新出的“专家系统”路数能不能用。麦克德莫特的解法朴素:把配置一台 VAX 要做的每个判断写成一条规则,让程序在规则之间搜索出一条合法路径。规则长这样——如果订单里同时出现某型控制器与某型背板,则加入一根特定规格的电缆。写出这样的规则需要两拨人:懂 VAX 的系统工程师出判断,麦克德莫特的学生把判断翻译成 OPS5。1980 年上线的第一个版本只有几百条规则,覆盖最常见的机型组合;到 1982 年,规则涨到约 2000 条,维护团队 3 个人,DEC 估算这套系统一年避免的配置损失在数千万美元量级——各处记载的年节省从 2500 万到 4000 万美元不等,1980 至 1986 年的累计口径约 2 亿美元。

数字背后的机制比数字重要。XCON 不学习,不理解“计算机”是什么,它只是把几十个系统工程师脑子里的隐性判断显式化,再用搜索把它们串起来。它的每一次成功都是人先成功过一次的复刻。这条路线的辩护词当时写得很硬:配置问题有边界(组件目录是有限的)、有标准答案(装得上装不上物理说了算)、有明确的对错(客户现场不能开机就是错)。在这类窄而深的领域,把专家知识写成规则是最诚实的工程,没有之一。DEC 的 CIO 们在 1980 年这么想,一点错都没有。错的是把“这类领域”读成“所有领域”,而把这个括号去掉的,正是随后七年的商业狂热。

质谱仪旁的合谋

知识工程的源头不是计算机系,是一台质谱仪。1962 年,遗传学家约书亚·李德伯格(Joshua Lederberg)——33 岁拿了诺贝尔生理学或医学奖——到斯坦福大学重建遗传学系,顺手去听编程课,结识了刚建系的约翰·麦卡锡(John McCarthy)。李德伯格当时的研究是太空生命探测:用质谱仪分析火星土壤里有没有有机分子。质谱图上每根峰都是碎片质量的记录,从碎片反推整个分子的结构,是博士级的化学难题。1964 年,费根鲍姆到斯坦福协助麦卡锡,与李德伯格在一场会上碰头:一个手里有数据,一个手里有推理工具,两人决定让计算机来做这件事。合谋的第三个人补上了缺口——李德伯格是遗传学家,对化学并不内行,两人找来同校的化学家卡尔·翟若适(Carl Djerassi),口服避孕药的发明人之一,由他和学生提供“哪种化学键容易断裂”的专业判断。1965 年,DENDRAL 项目立项;团队花了约五年,才让程序给出化学家点头的结果。

DENDRAL 的骨架是生成—测试。先生成候选:不考虑任何化学知识,一个分子的同分异构体有十万量级;把化合价约束加进去——碳是四价、氧是两价——候选缩到一千五百上下;再叠上翟若适他们给的官能团启发式,候选压到五十到一百五十个。然后测试:对每个候选预测质谱碎片模式,与实测谱图比对。知识的全部作用,是把搜索空间砍掉三个数量级。费根鲍姆从这件事里提炼出纲领:问题不在搜索本身,在给搜索喂知识。这套思路在 1976 年前后长出了 Meta-DENDRAL——程序从质谱数据里自动归纳新的断裂规则,独立找出 15 条教科书没记过的规则,其中 12 条经人工验证成立。化学史上第一次,一台机器给人类的工具书补充了条目。李德伯格嫌团队太慢,费根鲍姆记得这笔抱怨——学术合作的速度从来跟不上科学家的胃口,但五年的等待换来了一个可以复制的模板:找一个答案可验证的窄领域,请一位愿意被采访几个月的专家,把判断写成规则。20 世纪 70 年代几乎所有专家系统,都是这个模板的换皮。

模板能复制,是因为它背后的分工在斯坦福已经职业化。费根鲍姆到斯坦福后出任计算中心主任——这个位置在当时掌握的机器资源比一个系还多;他两次访问苏联,观察到苏联同行的计算机研究偏理论而轻实践,这个判断日后成了他向华盛顿游说时的论据之一。他的学生借调到各个领域去做同一件事:坐在专家对面,请对方把“我怎么判断的”一步步说出来,记录、整理、翻译成规则。这门手艺后来有个正式的名字,就是 1977 年他命名的知识工程;从业者叫知识工程师,是 20 世纪 80 年代美国就业市场上真实存在的职位。费根鲍姆对这门手艺的政治潜力同样清醒,他晚年反复陈述一个立场:知识不仅是力量,也是权力。他甚至提议过建立一座“国家知识技术中心”,像狄德罗编纂百科全书那样把人类有史以来的知识收进库里——这座中心没有建成,但这个念头在 1984 年被他的后辈接了过去,变成一个更庞大的赌局,本章第五节见。

六百条规则的处方笺

模板最精致的产物是 MYCIN。1972 年,费根鲍姆的学生爱德华·肖特利夫(Edward Shortliffe)在斯坦福启动这个项目,目标定在血液感染:患者烧到 102 华氏度、脑脊液里查出革兰氏阳性杆菌,该用哪种抗生素、什么剂量。到 1976 年博士论文收官,MYCIN 装了约 600 条规则,是那个年代知识密度最高的医学程序。它有一项同行没有的本事:每一步推理都摊开给人看。医生问“为什么”,它答得上自己用了哪条规则、各带多少置信度、组合起来为什么指向这个结论。推理链的每一段都有出处,这份可解释性比诊断本身更让同行震动——那之前的医疗程序是黑箱,之后二十年的多数程序还是黑箱。

血液感染绕不开不确定性,MYCIN 用置信因子(certainty factor)硬啃:每条规则的结论带一个从 -1 到 1 的系数,两条规则指向同一结论时按公式合并——0.7 加 0.5 不等于 1.2,等于 0.7 加 0.5 减去两者乘积 0.35,即 0.85。弱证据可以互相叠加成强判断,两条各 0.56 的推理合并成 0.81。这套算术在概率论上并不严格,团队心里有数;选它而不选贝叶斯公式,是因为 1976 年的临床数据里凑不出可靠的先验概率——任何概率推理都得先有数字,而当时的医学文献给不出。这是那个年代知识工程师的典型处境:方法不是最优的,是可用的。

成绩单在 90 个病例的盲测里揭晓:MYCIN 的处方与专家委员会的标准对照,接受率 69%;八位斯坦福传染病医生的均值是 63%,最好的那位 78%。机器压过医生的平均线,输给最好的那个人。更扎眼的对比在稳定性:医生的发挥随疲劳与值班时段波动,从 45% 到 78%;MYCIN 始终在 65% 到 72% 之间。然而它从未进入临床。医院给出的理由在当时无懈可击:一份 69% 的机器处方,医生必须逐条复核,复核的成本吃掉全部节省;误诊的责任归于开方的人,程序无法承担,也就无法被信任;信任这种东西没法用准确率换算。1980 年对医生的一份调查量化了这道鸿沟:四成医生表示“可能偶尔参考”机器的建议,表示“完全信任”的是零。医生不信任 MYCIN 不是愚昧,是组织理性——放在今天,同样的机制原样运行在医疗 AI 的审批流程里。MYCIN 的遗产不是落地的产品,是两个范式级的先例:推理可以自带解释,判断可以携带置信度。这两样东西,此后四十年的机器学习一直在追。

同一时期的姊妹项目把模板推到地质学,成绩更像新闻。斯坦福研究所(SRI International)1978 年前后的 PROSPECTOR 装了约 1600 条地质规则,用语义网络表示岩石类型与矿床的关系;它分析华盛顿州 Mount Tolman 地区的勘探数据后给出斑岩型钼矿存在的高概率判断,后续钻探证实,矿床估值以十亿美元计——AI 历史上第一次有程序“直接找矿找到钱”。但 PROSPECTOR 同样没有商业化:全球会用它的地质学家以十位数计,勘探数据是商业机密不愿进系统,换个矿区就得重编规则,1983 年 SRI 停止维护,知识库存档。会找矿的机器死于比“找不到矿”更普通的原因:它的知识只对一座山头负责。

知识工厂的流水线

MYCIN 证明了知识能救人,XCON 证明了知识能挣钱,后者在商业社会里的传播速度快一个数量级。1980 年前后,“专家系统”从斯坦福的实验室扩散成一门生意:石油公司要勘探系统,银行要信贷系统,工厂要排障系统,每个行业都相信自己的专家知识同样可以被抽取。专门的 Lisp 机器公司在 1980 年前后成立——Symbolics 与 Lisp Machines Inc.(LMI)从麻省理工的 Lisp 机项目分拆而来,德州仪器跟进——一台专用机标价五万到十五万美元,为运行 Lisp 语言而设计,增量编译、交互环境、大地址空间,写规则的效率是同期 Unix 工作站的三到五倍。为一种语言买一台计算机,听起来荒唐,账算得过来:省下的工程师小时数远超硬件溢价。1983 年,Symbolics 一台机器卖七万美元,性能是 1.5 万美元的 Sun 工作站的约两倍;这家公司 1985 年营收 5600 万美元,雇员约 1400 人,同年 3 月 15 日注册了 symbolics.com——互联网历史上第一个 .com 域名。AI 硬件的黄金时代看起来与 AI 软件一样长。

资本市场的热情比企业客户更旺。Symbolics 1983 年私募估值约一亿美元;1985 年 Intellicorp 上市首日涨约三成,1986 年 Inference 上市首日涨约四成半;Teknowledge、Aion、Cognitive Systems 一批公司带着“知识工程”的招牌排队入场。股市热闹的依据是一组真实成立的成绩单:XCON 的年节省以千万美元计,DENDRAL 十余年鉴定的化学结构数以万计——超过多数有机化学家一辈子的产量。产业在 1985 年前后抵达峰值:一套专家系统方案卖几十万美元,一家 Lisp 机公司估值过亿,一个“AI 公司”的板块概念在招股书里立得住。热闹的顶点,恰是回头的起点——这个规律在 1987 年兑现,本节先记住曲线的形状。

国家的钱随后入场,入场券是焦虑。1982 年,日本启动第五代计算机计划,目标直指逻辑推理与并行计算的合一,十年预算约 540 亿日元(约 4.5 亿美元)。费根鲍姆等人借“日本威胁论”向华盛顿施压,拉到军方经费;DARPA 在 1983 年设立战略计算倡议(Strategic Computing Initiative),原计划投入约 10 亿美元,覆盖自主车辆、飞行员助手与战场管理;英国同年启动阿尔维计划(Alvey Programme),政府与产业合计投入约 3.5 亿英镑,知识工程是重点方向。三个国家的钱,押的是同一个假设:逻辑推理加足够多的机器可读知识,等于智能。这个假设在 1980 年看起来像常识,因为它正是当时唯一能大规模兑现商业回报的路线。

                专家系统解剖图(1980 年代标准构型)  
 ┌──────────────────────────────────────────────────────┐  
 │  领域专家                                             │  
 │     │  采访/协议分析(知识获取瓶颈:每月数十条)        │  
 │     ▼                                                │  
 │  知识工程师 ──改写──> ┌────────────┐                  │  
 │                      │   知识库    │ IF-THEN 规则      │  
 │                      │  600→12000 条│ <-维护成本 O(R²) │  
 │                      └─────┬──────┘                  │  
 │                            │ 匹配                    │  
 │  用户提问 ──────> ┌────────▼────────┐                 │  
 │                   │     推理机       │ 正向链/反向链    │  
 │                   │  冲突消解:多条规则 │                 │  
 │                   │  同时命中,仲裁   │                 │  
 │                   └────────┬────────┘                 │  
 │          解释 WHY │        │ 结论+置信因子              │  
 │                   ▼        ▼                          │  
 │              推理链全程摊开给用户                       │  
 └──────────────────────────────────────────────────────┘  
   瓶颈不在推理机(搜索早就有),在左上角那支笔:知识只能  
   从专家嘴里一条条掏,掏出来的每一条都要与旧规则对账。  

一万条规则的天花板

流水线在 1984 年前后碰到物理极限。极限不是逻辑学的,是人力成本表上的。规则库不是独立命题的集合,是相互咬合的齿轮:新增一条规则,必须检查它与既有全部规则是否矛盾、冗余、循环、越界。检查量随规则数的平方增长——DEC 的 XCON 运维记录留下了实测曲线:规则从 2000 条涨到 10000 条,五倍;年度冲突排查工时从约 80 小时涨到约 2000 小时,二十五倍;维护团队从 1 个全职涨到 3 个,每处修复的平均耗时翻倍。把这几项乘起来,规则涨五倍,维护成本涨约十八倍。到 1987 年前后,XCON 的规则超过一万条,维护团队十几人,新规则的边际成本逼近它节省的人力——这条曲线此后再没有回头。1990 年的 XCON 有一万两千多条规则、22 个人伺候,年维护成本约 176 万美元。专家系统没有变笨,是变贵了;变贵的原因写在组合数学里,谁也改不了。

医学那边有一座提前建好的纪念碑。匹兹堡大学的杰克·迈尔斯(Jack Myers)与哈里·波普尔(Harry Pople)从 1971 年起建 INTERNIST-1,想把全部内科装进程序:约 500 种疾病、3500 种临床表现、25000 条关联规则,规模是 MYCIN 的四十倍。它确实能在复杂病例上接近资深内科医生,代价是医生要回答一百多个问题——问诊比直接看病还慢;25000 条规则每年有约一成因医学进步而失效,改一千多条规则要五个全职工程师干一年。这个后改名 CADUCEUS 的系统到 1990 年资金耗尽,从未走出实验室。窄领域的成功(600 条规则)与宽领域的困境(25000 条规则)是同一条曲线的两端:规则的可用规模与问题的真实规模之间,隔着两个数量级的鸿沟。

行内不是没人看见悬崖,看见的人给出了当时最合理的回应:既然规则有效但人写规则太慢,那就建一座常识的总库——把人类全部常识一次性编进去,此后所有系统共用。1984 年,道格拉斯·列纳特(Douglas Lenat)在德州奥斯汀的微电子与计算机技术公司(MCC)启动 Cyc 项目(名字取自 encyclopedia,读音同 syke),目标直白:把上百万条常识编码成机器可用的形式。1986 年,列纳特给出的工程估算是 25 万条规则、350 个人年。这个估算在当年是认真的:Cyc 用专门设计的 CycL 语言(基于一阶逻辑),有全职的哲学与计算机背景团队,按工业流程编码。此后四十年的实盘是:2500 万条规则、150 万个概念、上千个推理模块,“杯子从桌上摔下去,水会洒”这类判断需要几十条规则兜底,而人类常识里这样的判断有无限条。Cyc 至今没有达到“常识完备”,也永远不会——不是列纳特不够聪明,是“把常识写成规则”这个任务的复杂度没有上界。常识无底洞的直接推论是:知识工程能在每个竖井里挖到油,竖井之间的大地永远挖不穿。

成本表把这件事说得最刻薄。知识工程师采访专家、提炼一条规则、写代码、测试、对账,行业口径的成本是每条几十到二百美元——这是 20 世纪 80 年代的美元。按这个单价,一个一亿条规则的常识库仅知识录入就是上百亿美元的工程,还不算每条规则的年维护费。同一笔账换个方向算也一样吓人:一条规则的写入手工要几分钟到几十分钟,而 2010 年代从文本自动抽取一条等价知识只要几美分——五个数量级的成本差,全在“人”这个字上。符号主义倒下之后,它的家当没有陪葬:明斯基 1975 年的框架、奎利安 1968 年的语义网络、格鲁伯 1993 年的本体论,三样知识表示工具在三十年后换了个名字重新上岗,叫知识图谱;规则引擎脱下 AI 的外套,以业务规则管理系统的身份活在银行信贷审批与保险理赔里——那里要求每一个决定可追溯、可审计,规则比概率模型诚实。专家系统死了,它的标准活了下来:可解释、可审计、可验证。这三条标准,是它留给后来者最硬的遗产。

比成本更伤口碑的,是失败的方式。规则系统只会两种状态:规则库覆盖到的,答得头头是道;覆盖不到的,要么沉默,要么一本正经地给出荒唐答案——而且它不知道自己不知道。人类专家面对陌生问题会放慢、会存疑、会说“这超出我的经验”,系统的表现曲线没有这段缓坡,边界两侧是全有或全无的悬崖。企业最初把这种“悬崖式失败”当成可以修的缺陷,修的方式是补规则;补到一万条才发现,每条新规则既堵旧洞又开新洞,悬崖只是换了位置。失败方式决定了信任的修复速度:性能不足可以说“下一代会更好”,边界不知在哪则让用户永远无法放心把关键流程交出去。1980 年代末的企业复盘报告里,“无法优雅降级”与“无法从错误中学习”被并列为规则系统的两大死穴——后者尤其致命,因为学习恰恰是这套系统设计时放弃的东西:知识来自人,错误也只能由人来修,系统自己永远变不好。

必须替这个年代说一句公道话,因为反方的立场在当时几乎无懈可击。押注规则的人不是看不见机器学习,是看得太清楚:1980 年代的机器学习没有收敛保证之外的理论,训练一个多层网络的算力以年计,而规则系统的行为可以逐条审计——这在金融、医疗、军工里是硬需求,不是偏好。押注 Lisp 机的人也不是看不见摩尔定律,是算错了交叉点的年份:通用工作站要追上专用机,按当时的性能差(约两倍)和摩尔速度(约两年翻番),窗口期看起来还有好几年;专用架构在窗口内兑现了真实的效率优势。拒绝部署 MYCIN 的医院管理层、砍掉五代机预算的日本大藏省官员、要求 DARPA 项目出可演示成果的国会助理——每一个决定都有当时的账本撑腰。第二次寒冬里没有傻瓜,只有一组当时成立、后来失效的假设。

一九八七年的雪线

雪崩的第一声脆响来自消费者市场。1987 年 3 月,苹果发布 Macintosh II,售价不到一万美元,跑通用软件的速度已逼近十万级的 Lisp 专用机;Sun 与其他厂商的 Unix 工作站同步跨过同样的门槛。专用机对通用机的性能优势逐年缩水,价格差却几乎不动:1983 年,七万美元的 Symbolics 对一万五千美元的 Sun 3,性能约二比一,价格近五比一;1985 年,性能比缩到约一点七比一;1987 年,只剩约一点二比一,而价格仍差近三倍。专用机的生存前提——通用硬件永远跑不动 Lisp——在一年之内作废。1987 年起,Lisp 机年销量以三到四成的速度下坠;LMI 1988 年破产,德州仪器退出,Symbolics 营收从 5600 万美元的峰值一路缩水,1990 年申请破产保护时只剩约 1800 万美元营收、400 名雇员。注册了第一个 .com 域名的公司,没能等到域名变值钱的那天。两年之内,一家曾经估值过亿的硬件产业整体蒸发,连同 Teknowledge、Intellicorp 这批软件公司合计约 13 亿美元的市值灰飞烟灭——存活下来的大多把“AI”从产品名里删掉。投资者的结论不是“Lisp 机过时了”,是“AI 过时了”;信号从硬件板块传到软件板块,再传到每一间 AI 实验室的经费申请表上。

连锁反应的机制值得拆开看。Lisp 机市场本身的规模并不大,撑不起“雪崩”两个字;雪崩是信号放大器干的活。专用硬件的订单曲线是全行业最显眼的温度计——每季度报数、公开、可比较——它一垮,投资人读到的是整个 AI 赛道的需求证伪。读错的成分不少:通用工作站之所以能跑 Lisp,靠的正是芯片产业把通用性能做上去,AI 的应用需求反过来给硬件产业喂了订单;但资本市场不做因果分析,只做价格。价格跌下去的板块包括那些本可以活过的公司:给企业做规则系统的软件商、卖知识工程咨询的服务商、给实验室供设备的集成商。1990 年前后,“专家系统”在采购清单上从卖点变成风险提示,一家软件公司要证明自己不是 AI 公司,比证明自己是 AI 公司更费口舌。

政府端的退潮稍晚半拍,力度更狠。1987 年,DARPA 信息处理技术办公室换帅,新任负责人杰克·施瓦茨(Jack Schwarz)认为 AI 项目交付拖沓、成果含糊,大幅削减资助,把预算转向更务实的方向——战略计算倡议的自主车辆等少数项目幸存(卡内基梅隆的 Navlab 自动驾驶研究靠这线余温续命),整块 AI 预算的盘子收紧。英国阿尔维计划 1990 年到期,未获续期,英国 AI 研究跌回莱特希尔报告之后的谷底。日本的五代机撑到 1992 年,最终评估报告 1993 年 3 月发布:既没有实现自然语言理解,也没有造出推理机器;4.5 亿美元的直接产出是并行计算机器样机、一批 Prolog 衍生语言和一代被训练出来的日本并行计算研究者。三个国家的国家级行动,在五年内以同一种方式收场:承诺的是推理与理解,交付的是原型机与论文。

第五代计划押错的不是并行计算,是把“逻辑推理”当成了通向智能的充分条件。知识表示的困难、常识推理的无底洞、逻辑方法在不确定性面前的笨拙——这些裂缝在第一次寒冬就已暴露,十年的硬件进步一道也没能填上。公平的清算要说全:五代机推动了日本并行计算的整整一代人才,Prolog 语言在逻辑编程社区留下的工具与教材沿用至今,它的宏大叙事还刺激了美欧的竞争性投资——不少实验室的钱,名义上是“回应日本挑战”批下来的。一笔 4.5 亿美元的学费,一半交给了错误的假设,一半换成了人才与基础设施。这种账在技术史上不算最亏的:假设错了可以改,人才散了可以聚,唯独“这个领域不值得投钱”的共识一旦形成,要一整代人才能翻案。

产业史的账算到这里,还剩最后一笔,记在语言上。20 世纪 90 年代的美国校园里,做语音识别的改叫“统计信号处理”,做计算机视觉的改叫“模式识别”,做规划的改叫“运筹学”——实质未变,只换名字,因为“人工智能”四个字在经费评审与产业采购里成了负资产。更名潮里藏着一枚先声:IBM 的弗雷德里克·贾里尼克(Frederick Jelinek)从 1972 年起用隐马尔可夫模型做语音识别,把规则语言学家的手艺换成数据的统计,他自嘲式的玩笑流传很广——每开除一个语言学家,语音识别系统的性能就提高一点。玩笑刻薄,方向诚实:当规则不可扩展时,数据可以。这条暗流在寒冬里无人问津,二十年后成为主流。另一个不被注意的幸存者是范式本身:“搜索加领域知识”的骨架至今站在每个大模型的解码器里——束搜索加温度采样,正是 1965 年 DENDRAL 用知识剪枝搜索的同款思想。符号主义交出的是盟主之位,不是退出历史。

所以,本章的判断是:专家系统没有死于逻辑太弱,死于知识太贵——当一条新规则的边际维护成本(排查它与上万条旧规则的冲突)超过它节省的人力,符号主义的大厦就到了承重极限;这条极限不在逻辑学里,在人力成本表上,1987 年前后被 XCON 的运维数据亲手画了出来。同一场雪崩里,Lisp 机死于通用硬件的指数曲线追平了专用架构的线性优势,五代机死于把“逻辑推理加并行”当成了充分条件。三种死法共享同一条根:知识的获取与维护只能靠人,而人是成本按年复利的资产。卷十一的三种信念里,符号主义这一支“知识由逻辑写出”在此交出盟主之位——不是被证伪(它的规则至今活在金融合规件审里),而是物理约束迁移了:知识与算力相比,人力更贵;规则与数据相比,规则不可扩展。这一轮主导约束的迁移还有一层新意,值得单独记一笔:它是全书开卷以来头一次不由器件与硬件主导的范式更替——晶体管不缺,机器不缺,缺的是专家与知识工程师的工时。人力账本判了第一轮信念轮替;两轮之后,同样的账本会换一副面孔重新出现,届时昂贵的不再是人的时间,而是电。接住权柄的是一支潜伏了十七年的旧部,他们的武器只有三个字:调权重。


第 102 章 反向传播与多层联结网络的暗夜潜行

1974 年 11 月,哈佛大学,一篇应用数学博士论文答辩通过,随后进入图书馆合拢归架。论文题目冗长得像一份统计报告:《超越回归:行为科学中预测与分析的新工具》;作者保罗·韦博斯(Paul Werbos),正文四百页,散落其中的一个数学工具,能把误差沿一串运算逐层反推回去,算出每一个权重该为最终错误负多少责任——十二年后,这个工具将以反向传播(backpropagation)之名震动整个计算世界。答辩现场没有人问它。不是论文藏得深,是在场者的世界里,多层神经网络不值得训练:符号主义正在接管经费,专家系统的订单排到三年后,谁会在意一个给“没有人要的结构”配的算法。四百页沉睡了十二年,直到 1986 年 10 月 9 日,《自然》杂志第 323 卷第 533 页刊出一封四页信。同样的数学,第二次到来,这一次全世界起立鼓掌。掌声属于三个名字:鲁梅尔哈特、辛顿、威廉姆斯。被掌声盖住的第一个名字,本节先替他记回一笔。

韦博斯不是没有推销过。论文之外,他在此前几年就四处投稿,四处碰壁——评审给不出像样的反驳,只是觉得这个东西没有用处:多层网络是 1969 年那本《感知机》判过缓刑的结构,给缓刑犯造工具,造得再好也无人问津。他后来辗转到美国国家科学基金会做项目主管,白天审别人的申请书,晚上守着那份没人引用的论文。这种处境不是他一个人的:第一次寒冬里的神经网络研究者,连单层方向的饭碗都保不住,多层训练是更奢侈的奢望。同样的数学,在 1974 年是废纸,在 1986 年是宣言——中间隔着的十二年,本章的每一节都在解释这段距离。

信用没有地址

单层感知机会学习,多层感知机不会——这个差距不在表达力,在记账。1969 年明斯基与佩珀特的《感知机》已经写明:加一层隐单元,异或这个线性不可分的最小反例立刻可解,第十二章甚至暗示了这条路;堵死联结主义的是后半句——没有已知方法训练多层网络的权重。一半是定理,一半是工程判断:定理证明单层感知机学不了异或,无可辩驳;“多层没法训”是基于当时已知方法的悲观推断,不是证明。后来者常把这两句话混成一句“神经网络不可能”,明斯基的书里没有这个结论——它有的是一个数学事实和一个工程困境,读的人替它加上了死刑判决。判决生效的方式是经费:DARPA 停掉神经网络方向的资助,期刊不再收这类论文,1970 年代把毕生精力押在神经网络上,在学术仕途上接近自杀。

缺失的方法有一个后来被命名的核心难题:信用分配问题(credit assignment problem)。工厂流水线出了次品,质检员只看得到成品瑕疵,工序有几十道,哪道工序、哪个工人该负多少责任,账没法记。多层网络同理:训练数据进来,输出错了,错误信号看得见,但隐藏层在中间,每个隐单元的权重都对输出有贡献,贡献各占几成——1958 年感知机的误差纠正规则管不着它们,那条规则只认输出层的误差。感知机收敛定理的光环也罩不到这里:那条定理保证的只是单层结构在线性可分数据上有限步收敛,多一层,保证就失效。隐藏层成了没人管教的黑箱——能算出异或,却不知道该怎么让它学会。

反向传播之前,绕路的方案有两类,当年都试过。第一类是随机扰动:给每个权重加一点随机噪声,看误差升了还是降了,据此决定方向。原理上成立,代价上自杀——试错次数随权重数量增长,一个像样的网络需要的实验次数是天文数字;对一个一千个权重的网络,每轮迭代要做一千次完整前向评估,而当时的机器跑一次前向就要以秒计。第二类是逐层贪心:先训靠近输入的一层,冻住,再训下一层。每层只见局部信息,永远无法根据最终误差回头修正早期的特征提取,全局最优从第一步就丢了。两条路都绕不开同一个洞:中间层需要一个精确、高效、可复用的责任信号。这个信号在数学上是现成的——微积分课本里的链式法则,十九世纪就印在教科书上。缺的不是数学,是把函数复合链和神经网络的层结构对上号的那个念头。

从导弹到权重

这个念头的第一批持有者不在 AI 圈,在导弹实验室——这件事本身就是一条线索:为什么 1943 到 1969 年间所有正经研究神经网络的先驱,没有一个人先走到反向传播?事后复盘,原因排成一列:首推坏运气,其次是认知枷锁——当时生物学界“人人都知道”真实神经元是零一尖峰产生器,麦卡洛克与皮茨的模型坐实了这个成见;多数人把机器学习理解成构造布尔函数,而非拟合光滑函数,自然离不开阶跃激活;优化论常识又说梯度下降必困局部极小,宁可信常识不赌运气;还有一层年代特有的心理,研究者刻意与控制论保持距离——那个词在麦卡锡 1956 年命名“人工智能”时就是被甩掉的旧包袱,谁愿意从敌人家的工具箱里借扳手。每一层理由在当时都成立,叠在一起,恰好把一条最近的路径堵死了十几年。这堆理由的清单值得抄在每一代研究者案头:挡住突破的往往不是没有答案,是没人往那个方向提问。

故事从运筹学说起。20 世纪 40 年代,英美两国在战争里养出了运筹学——用定量方法检验“设备是否为总目标贡献了最佳产出”,英国雷达定向先驱沃森-瓦特给过这样的定义。这门学问在战时的英美指挥体系里扩散得极快,雷达遥测分析是它的起点。战后,乔治·丹齐格(George Dantzig)在五角大楼为美军的计划机械化工作,1947 年构想出线性规划的经典算法;1952 年他加入加州圣莫尼卡的兰德公司(RAND),兰德讲台上的一堂课让理查德·贝尔曼(Richard Bellman)转向多阶段决策问题。同一时期,苏联数学家列夫·庞特里亚金(Lev Pontryagin)在研究极大值原理。美军当时的焦虑具体而紧迫:导弹只有几分钟修正弹道,风、速度、高度、燃料约束全在变,工程师需要实时算出命中移动目标的每一步调整。贝尔曼的解法后来叫动态规划——把一个优化问题拆成更简单的子问题,从最终目标出发,倒着推每一步的最优决策。他复盘这套方法时说过一句要害的话:资源怎么用,临界性地取决于资源的水平和过程中剩余的时间。这句话后来被直接翻译成神经网络的处境——权重怎么调,取决于误差还剩多少、训练还剩几步。

导弹问题还逼出了另一半。庞特里亚金与合作者给出伴随方程:扰动最终结果,追踪变化如何反向流过系统,由此得知早期的微小调整——推力、角度、速度——如何影响结局。倒着推,就是这个技术家族的祖传动作。20 世纪 60 年代末,布莱森(Bryson)与何毓琦把这一族方法整理成《应用最优控制》:设目标,推欧拉—拉格朗日方程,让梯度反向穿过系统,更新参数,重复。这两位作者与林内马一道,成了 1980 年代神经网络复兴一代的高频引用对象——复兴期的论文脚注里,出现得最勤的常常是导弹控制工程师的名字。1970 年,芬兰赫尔辛基大学的硕士生塞波·林内马(Seppo Linnainmaa)在研究数值稳定性时,把同一个动作写成了程序可执行的形式:记录计算机算一个函数的每一步,反向重放,精确得到每个输入对输出的影响——反向模式自动微分,这就是反向传播的数学核心。1971 年前后,韦博斯把它接到了神经网络上,1974 年写成博士论文。他后来回顾这段历史时指出,这个算法从最优控制理论出发几乎是必然——凡是想把复杂系统一路驾驭到目标的人,迟早会自己推导出“从终点反向分配责任”这套动作。1988 年,扬·勒昆(Yann LeCun)在一篇由辛顿主编的论文里写下过最公允的判词:从历史观点看,反向传播早在联结主义之前很久就被用于最优控制领域;但它在联结主义语境下的解释以及多数相关概念是新的——鲁梅尔哈特等人 1986 年论文的历史与科学重要性不应被忽视。新的是概念,从来就不是算法。

        反向传播的信用分配(两层网络的账本)  
  
      正向:信号 →→→          反向:误差 ←←←  
  ┌────────┐    ┌────────┐    ┌────────┐  
  │ 输入层  │    │ 隐藏层  │    │ 输出层  │  
  │ x1 ──┐ │    │  h1 ●──┼────┼─●  ○   │  
  │ x2 ──┼─┼────┼──h2 ●──┼────┼─● 预测ŷ │  
  │      │ │    │  h3 ●──┼────┼─●      │  
  └──────┼─┘    └───┼────┘    └───┬────┘  
         │          │             │  
         │     责任 δh = δŷ·(W2)·f'(net)   ← 链式法则  
         │     责任按权重切分,逐层往回走     │  
         │          │             │  
         └── δx1 ←──┘      误差 E=(ŷ-y)²  
              ↓                ↓  
        Δw = -η·(∂E/∂w)   每个权重按责任比例改  
  隐藏层的锅,终于查得到是谁的;梯度下降照单执行。  

四页信与两卷书

1986 年的突破是一场合谋,三方各执一件工具。大卫·鲁梅尔哈特(David Rumelhart)是加州大学圣迭戈分校的认知科学家,从 1979 年前后就在寻找符号主义之外的认知模型,多年坚信带可学习隐藏表示的多层网络是缺失的那块拼图——他的动机不在工程,在心理学:人脑显然不存规则表,认知需要一个非符号的解释。杰弗里·辛顿(Geoffrey Hinton)——1947 年生于英国的心理学家——当时在卡内基梅隆大学,刚从玻尔兹曼机转回梯度方法,原因是玻尔兹曼机慢得让人无法忍受:那种基于统计物理的学习每动一步都要让网络反复达到热平衡,玩具网络都跑得度日如年。罗纳德·威廉姆斯(Ronald Williams)在东北大学,承担了大部分实现工作。三人把链式法则在多层网络上的执行写成清晰步骤,跑出外人看得懂的实验。《自然》那封四页信里最值钱的不是算法描述,是一句承诺:隐藏单元将学会表示任务域的有用特征。翻译成大白话:网络可以自学出一套自己的内部词汇,不必由人手把手喂给它。信里训练了一个小网络做家族树关系任务——给它几个人的亲属关系,它自己学出中间表示去推断没见过的关系。隐藏层学到的结构,人打开来看得懂。这是联结主义十七年来第一次拿出可被围观的内脏。

同年,鲁梅尔哈特与麦克莱兰(James McClelland)主编的《并行分布式处理》(PDP)两卷本出版,把这套方法放进认知科学的框架里:认知不是符号操作,是大量简单单元的并行激活与权重调整。这个框架给了联结主义迟到的理论合法性——从 1943 年麦卡洛克与皮茨算起,这条路线第一次有了自己的认识论:智能是连接的属性,不是命题的属性。四页信是广告,两卷书是完整论证。时间点值得多看一眼:这一年是第二次寒冬爆发的前一年——上一章的雪崩 1987 年落下。符号主义的金库失火,与联结主义的火种复燃,前后脚发生在十二个月里。资源此消彼长并非巧合:全球 AI 预算的盘子收缩时,那些从不指望大钱的边缘小组反而活了下来;联结名义上的复兴会议,1986 年前后还寒酸得可怜,论文被拒、讲席难寻,正是这批没人看好的实验室在旧王崩塌时递上了新王的加冕文件。一位亲历者的转述很传神:四页信刊出之后,忽然之间,AI 回来了——这次的驱动器是神经元。

旧王朝的卫道士没有立刻让位,他们的抵抗在当时句句有理。符号阵营指出:家族树实验是玩具规模,规则系统处理的真实知识库比它大三个数量级;分布式表示把知识摊在几万个权重里,出了错没法逐条审计,而专家系统的每一步推理都能摊在纸上对质——可解释性是工业与医疗的硬约束,不是审美偏好;还有认知科学的正经质疑:真实神经元发放的是离散尖峰,西格莫德的连续激活找不到生物对应物,网络学到的“内部表示”也可能只是数学巧合,与大脑的真实机制毫无关系。这些批评没有一条被当场驳倒——事实上有的要等十几年后才由证据裁决。1986 年的论文没有证明神经网络更强,它只证明了一件事:多层网络可以训练。把“可以训练”滚成“可以商用”再滚成“可以称王”,靠的是随后三十年里一批不肯下桌的人。

让导数活着

反向传播能跑起来,靠一个此前被所有先驱错过的前提:激活函数必须可微。麦卡洛克与皮茨 1943 年的神经元是阶跃开关——零或一,输出硬切换;阶跃函数的导数除跳点外处处为零,链式法则传到第二层就没有东西可传了。为什么第一代联结主义者宁可抱着阶跃函数十几年?当时生物学界的主流理解是:真实神经元就是零一尖峰产生器,要么放电要么沉默;多数人把机器学习当作构造布尔函数的手段,而非拟合光滑函数的手段——既然要算逻辑,激活函数就该像逻辑门。还有一层顾虑属于数学直觉:梯度下降在非凸曲面上会困在局部极小,这是优化论的常识,当年的学者宁可信常识,也不肯把宝押在“小网络的局部极小碰巧不多”这种没有证明的运气上。事实证明,这份运气真的存在——规模的祝福要等几十年后才被大规模实验确认:高维空间里,糟糕的局部极小远比教科书想象的稀少,多数鞍点可以溜过去。S 形的西格莫德函数(sigmoid)把硬开关换成软开关:输出从零连续滑到一,处处有导数,且导数有明确的物理含义——输入在中间地带时最容易被扰动,输出饱和后梯度趋零。误差信号于是能顺着这条光滑斜坡一路滚回第一层,每个权重领到自己那份责任,按梯度下降挪一步。挪的幅度叫学习率,步子大了来回震荡,步子小了磨蹭半宿。

光滑化解决了“能不能传”,接踵而来的是“能传多远”。西格莫德的导数最大值只有四分之一:输入已经分得清的单元,导数趋近于零。梯度逐层相乘,十层网络最深处传到最前层,信号理论上可以缩到百万分之一量级——浅层几乎收不到任何更新。这就是梯度消失,1980 年代已经潜伏在每一次训练里;只是当年的网络以个位数层数为主,问题尚未致命,真正的清算要等多年之后的 LSTM 与 ReLU,这里按下伏笔。与梯度消失配套的还有一道初始化的暗坑:权重初值给大了,网络第一步就饱和,梯度当场消失;给小了,信号在前向传播里衰减到零,同样没有梯度可传。这道坑在 2010 年 Xavier 初始化出现之前没有系统解法,工程师全凭手感和运气——1980 年代训练一个网络的成败,很大一部分在随机数生成器按下之前就已注定。比数学更硬的限制是算力:1986 年训练一个几千个权重的网络,要在当时的工作站上跑数小时到数日,规模被机器死死按住。反向传播在四页信里赢得的是可行性的证明,不是规模的自由——把权重从千级推向十亿级的,是此后三十年芯片的事,不是算法的事。

异或的越狱

死局的破解方式,值得单独摊开看一次,因为它揭示了多层网络的全部秘密。异或的四个点在输入平面上两白两黑、对角相望,任何一条直线都分不开——这是 1969 年的死刑依据。加一个隐藏层之后,几何发生了质变:隐藏层的每个单元自己也是一台线性分类器,它们先各自切输入平面一刀,把切割结果(激活或不激活)输出给下一层;输出层对这些切割结果再做一次线性组合。两个隐藏单元的两刀,可以把四个点搬进一个新空间——在那里,原本对角相望的两类点各自抱团,一条直线轻易分开。用线性代数的话说:隐藏层把输入重新映射到一个新的特征空间,在旧空间线性不可分的问题,在新空间里线性可分。Minsky 与 Papert 说的“加一层就能解”,指的就是这个几何事实;他们没有说的是,让隐藏层自己学会“这一刀该往哪儿切”,才是真正的难题——切错了位置,新空间照样分不开,而切的位置由权重决定,权重只能靠训练。

反向传播解决的正是这一步。误差信号从输出层反传到隐藏层时,每个隐单元领到一份精确的责任清单:你的输出对最终错误贡献了多少,你的每一个输入权重该往哪个方向挪。梯度下降据此在权重空间里搜索,隐藏层的“切割位置”随每一步更新而移动,直到四个点在新空间里分属两侧。1969 年的死刑判决,由此在数学上被完整越狱——用的是判决书自己指出的那条路。1986 年的四页信用实验把这场越狱摆上了台面:不只异或这类玩具问题,家族树这样的关系推理任务里,隐藏层同样自发长出了有结构的内部表示。反方当时的质疑依然存在且有力:多层网络的误差曲面是非凸的,梯度下降不保证全局最优,同样的结构换一组初始权重,训练结果可能天差地别——这在工程上是真实的痛点,也是此后三十年所有训练技巧(动量、自适应学习率、初始化方案、批归一化)的用武之地。历史的选择是在“有保证但学不了”(规则系统)与“没保证但能学会”(梯度下降)之间选了后者:一纸保证换不来能力,能力从来不看保证书。

第一批回报

复活的红利来得比所有人预想的快。1987 年,勒昆在法国完成博士论文——他在读博期间独立推导的反向传播,恰好被鲁梅尔哈特等人的论文引用了一笔,几位不相识的同行在同一个公式上撞了车。随后他跨过大西洋,加入新泽西的 AT&T 贝尔实验室,把反向传播往一个此前没人敢碰的方向推:让多层网络读人手写的数字。1989 年前后,第一套多层网络的实践应用系统出现——手写邮政编码识别,卷积结构的雏形已在其中。这条线的完整故事属于下一章,此处只记一笔账期:从《自然》四页信到第一套投产的多层网络系统,间隔不到三年。学界划分的年代表也随红利更新:1969 到 1985 是证伪期,1986 到 1995 是复兴期,1995 年之后联结主义还要再受一轮压制——统计学习的时代(第 104 章)会抢走它十年的风头,直到 2006 年深度信念网络翻开下一页。复兴期的联结主义没有统治世界,它只是重新拿到了参赛资格:会议有了专场,期刊重新收稿,研究生敢在简历里写“神经网络”四个字了。对一个被冷冻十七年的方向,参赛资格本身就是最大的红利。

红利分配的另一面是遗忘的速度。1986 年的轰动过去没几年,反向传播就被当作理所当然的常识写进教材,仿佛它从诞生起就无人不识;韦博斯的名字直到 1990 年代才被教科书系统性地补进谱系——补进来的时候,引用格式已经定型,他只能排在“另见”里。认知科学的回报最扎实:PDP 框架把“并行分布式表征”变成一门显学,鲁梅尔哈特因此被视为认知科学革命的代表人物;工程界的回报最迟缓——1980 年代末投入实用的多层网络系统屈指可数,多数工业问题还是交给规则系统与统计方法,神经网络在产业侧的真正立足要等到下个十年。科学的承认从来分两种:同行的承认来得快,教科书的承认来得慢,产业的承认来得最慢——三种时钟各走各的,本章记录的是最快的那只,最慢的两只分别挂在第 103 章与第 105 章上。

谁配得到署名

优先权的账本上,反向传播是技术史重名率最高的发明之一。林内马 1970 年给出数学核心,芬兰语写成,国际上几乎无人注意;1976 年他用英文发了论文,读者在数值分析圈,不在神经网络圈——有优先权,无父权。韦博斯 1971 年发展出算法、1974 年明确用于多层网络训练,投稿处处碰壁,真正见刊拖到 1982 年前后;此后十年他在美国国家科学基金会做项目主管,业余继续推进,1990 年发表时序反向传播(BPTT)把这套方法接到循环网络上——有优先权,也有父权。1985 年,MIT 的大卫·帕克(David Parker)以“学习逻辑”为名再次独立推出同一算法;同年,勒昆在法国用一篇会议论文完成又一次独立推导——他的版本后来直接长成了第 103 章的卷积网络。1986 年的署名三人组没有读过前面多数工作——鲁梅尔哈特事后承认,前人的东西太冷门,想引也找不到——无优先权,有父权。科学史上有条冷酷的规律在这里再次应验:得到承认的通常不是第一个发明者,而是最后一个再发明者。第一发明者出现时生态没准备好,成果沉底;最后一个再发明者出现时万事俱备,成果引爆——署名跟着引爆走,不跟着首创走。事后,学界把账理成了谱系:独立发明至少四次,署名者只是最后一棒的再发明者。

辛顿本人的态度在多年后的访谈里说得很直白:在鲁梅尔哈特之前有很多科学家提出过不同版本的反向传播,大多是独立发明,媒体说我发明了反向传播,是个彻头彻尾的错误,我认为自己获得的赞誉超出了本人的贡献——很少有学者这么想,我算一例。这份谦辞不是客套,是对优先权谱系的诚实;它的另一面同样真实:1986 年署名三人拿走的不是算法的发明权,是概念的定型权——隐藏表示、分布式表征、把多层网络当认知模型而非模式分类器,这些概念打包,从此挂在他们的名字下。2018 年,辛顿与本吉奥(Yoshua Bengio)、勒昆三人同获图灵奖,颁奖词里的理由正是这场概念奠基;2024 年辛顿再获诺贝尔物理学奖。一笔迟到的账,终于记到了基金会那位守夜人的后辈头上——只可惜署名规律没有为韦博斯改写:教科书脚注里有他,大众记忆里没有。

为什么 1974 年没人要的东西,1986 年全世界都抢?把两份清单并排一放,答案不在数学里。1974 年缺的是三样:一台跑得动多层训练的机器(当年训练实用网络要的时间以周计)、一个需要这项技术的社区(符号主义包揽了经费与讲席)、一套让外人信服的演示(论文四百页,没有看得见的实验)。1986 年三样齐了:工作站性能比 1974 年高出一个量级,认知科学正需要一种非符号的认知模型,四页信里藏着人人能懂的家族树实验。同一段数学,第一次出现叫早熟,第二次出现叫革命——早熟与革命之间隔着的,从来不是智力,是算力曲线与社区生态的交汇点。有人算过另一笔账:如果 1970 年有人把林内马的论文翻译推广,联结主义的实践可能提前十五年;这笔假设的账无法兑现,因为 1970 年的机器根本跑不动哪怕玩具规模的多层网络。技术史在这里留下的教训严苛而具体:想法的保质期取决于保存它的载体——论文可以沉睡,人不能;韦博斯在基金会里守住的不是一份算法,是“这个东西终将有用”的判断,判断比代码难保存得多。

所以,本章的判断是:反向传播 1986 年赢得的并非数学竞赛——同样的链式法则早在 1970 与 1974 年就已写就——它赢的是一场演示竞赛:第一个让外人亲眼看见“网络自己长出内部表示”的团队,拿走了整个范式的加冕权。有人可以反驳:概念定型与算法发明同样值钱,署名之争不过是优先权癖好者的旧病。反驳有理,但漏了一笔账——演示能力本身是稀缺资源,它需要钱、机器、社区与胆量同时到位,而这些恰恰是 1974 年的韦博斯与 1985 年的帕克没有的;把加冕权交给演示者,是科学共同体的运行规则,不是一桩冤案。这场胜利还顺带改写了三种信念的轮替次序:符号主义靠人力写知识,联结主义靠梯度调权重;反向传播把“调权重”从手工工艺变成自动化工业,知识的生长从此不必经过任何人的嘴。代价在同一时刻埋下——梯度消失的数学暗礁与算力的硬墙,让这支复活的军队此后二十年只能在小规模丘陵地带作战。主导约束没有变,还是那张老账单:权重每多一位数,训练时间与显存就翻着番地涨;误差反传的双程计算,把矩阵乘法的用量翻了一倍——这一章的每一次训练,都在为三十年后吞噬电网的算力巨兽写下第一行报价单。翻到第 103 章,这支军队里最耐得住寂寞的两个人,已经带着卷积与门控出发,去啃视觉与时序两块最硬的骨头。


第 103 章 卷积神经与时序门控:视觉与记忆的专门化结构

1996 年春,美国中西部一家商业银行的支票处理中心,分拣机每小时吐过几万张支票,光学扫描头贴着每一行墨迹掠过:金额、日期、签名,最要紧的是那串手写数字。银行每年为人工读票付掉的钱以千万美元计,读票员的流动率高得让培训部门麻木。这一年起,后台接进一套新系统,核心是贝尔实验室出来的一小块软件:它读手写数字,每天处理全美一成到两成的支票,单日过票上千万张。系统里没有一个“如果……那么……”的规则——上一章的符号主义遗老若拆开它,只会看到一组用扫描件训练出来的权重矩阵。这是神经网络第一次以蓝领身份在美国金融基础设施里上班,干的是最枯燥、最不容出错的活。同一时期,在瑞士卢加诺一间研究所里,两个讲德语的人正在给神经网络的“记忆”动手术。这两条线,视觉与时序,在本章汇成一个共同的主题:当通用结构撞上专用问题,赢家不是更聪明的算法,是更贴题的结构。本章也回答上一章埋下的悬念——为什么反向传播之后又过了二三十年,神经网络才真正改朝换代:中间隔着的,正是这两条被雪藏的支线,和一笔算力欠下的旧账。

猫皮层上的两张底片

视觉这条线的第一张底片不是计算机拍下的,是猫的脑子。1962 年,大卫·休伯尔(David Hubel)与托斯坦·维泽尔(Torsten Wiesel)在《生理学杂志》上发表了对猫纹状皮层的实验记录:V1 区的细胞分两层工作——简单细胞各自盯着视野里的一小块区域,只对特定朝向的线条放电,这一小块管区后来叫感受野;复杂细胞把多个简单细胞的输出汇聚起来,对位置不再敏感,线条挪几个像素它照样响应。视觉不是一次成像,是层层抽象:从边缘,到形状,到物体。两人后来为此拿了诺贝尔生理学或医学奖,颁奖词表彰的是对大脑视觉机制的解释——但这份图纸的后半生,是被人抄进计算机构筑物里的。生物视觉给计算的三条启示,条条都成了后来的工程决策:计算是局部的(每个细胞只看一小块)、模板是复用的(同一套朝向检测器铺满整个视野)、抽象是分层的(下层报边缘,上层报物体)。神经网络研究里,这是罕见的“先有生物学答案,再找计算问题”的时刻——图纸摆在柜台上一二十年,才有第一个买主。

抄图纸的第一人是日本的福岛邦彦(Kunihiko Fukushima)。1980 年,他在《生物控制论》上提出神经认知机(Neocognitron):S 层与 C 层交替堆叠——S 层做卷积式的特征抽取,对应简单细胞;C 层做下采样汇聚,对应复杂细胞。局部感受野、层级特征、平移不变性,今天卷积网络的三块基石,福岛在 1980 年全部搬进了计算模型。模型的名字里带着血缘:认知机(Cognitron)是他的前一作,神经认知机是在其上重造的视觉特化版;它证明的事情在当时足以让人侧目——一个自组织的网络,能学会不管笔画挪到哪里、粗一点细一点,照样认得出来。平移不变这件事在工程上价值连城:手写字没有两个人写得一样,同一个“7”的起笔位置天差地别,靠穷举位置训练是死路,让结构天然容忍位移才是活路。

这里必须替福岛记一笔时代账:Neocognitron 没有训练算法,权重靠竞争学习自组织——不是因为福岛不懂得监督学习的好处,是反向传播要到 1986 年才广为人知,而福岛的模型在 1980 年已经成型。他手里没有那条能让误差倒流的梯度,就只能让网络自己竞争着长。结构超前于训练工具整整六年,这是联结主义史上反复出现的时差:想法便宜,兑现想法的机器与算法昂贵。1989 年,扬·勒昆(Yann LeCun)把福岛的骨架和反向传播的引擎装进同一个机壳——S 层换成可训练的卷积层,C 层换成可训练的子采样层,误差顺着结构倒流,每一块特征检测器自己长出来。福岛的结构,从标本变成了活物。三十年后勒昆在图灵奖讲演里回顾技术源头,指名的第一个名字就是 1980 年那篇《生物控制论》的作者——谱系表的第一行,写的是福岛。

一张支票的旅程

勒昆的路线在三个机构之间画了一条直线:1987 年在巴黎拿下博士学位,随后到多伦多大学辛顿的实验室做博士后,1988 年加入 AT&T 贝尔实验室,与莱昂·博图(Léon Bottou)、约书亚·本吉奥(Yoshua Bengio)、帕特里克·哈夫纳(Patrick Haffner)组成自适应系统研究小组。这支小组不是学院的兴趣班,是 AT&T 指望它出产品的工业团队,第一个客户需求朴素至极:美国邮政的手写邮编。1989 年,勒昆在《神经计算》上发表了成果——一个三层卷积加子采样的网络,参数约一千个,在邮政服务的手写邮编数据上把错误率压到 5%。参数一千个是什么概念:同一年的全连接多层网络做同类任务,权重动辄上万,还普遍过拟合;卷积结构用百分之一的参数干完了活。百分之九十五的正确率也值得标定一下精度:这不是玩具数据上的分数,是邮政系统真实手写件上的成绩,写数字的人五花八门,信封在传送带上歪斜、沾污、字迹叠压——工业现场的五,比基准数据集上的二更难拿。这是历史上第一个真正能干活的卷积网络,而且它不是论文造出来的,是邮政项目的副产品:先有要干的活,后有能干的网,与学院里“先有模型再找应用”的顺序正好相反。

省参数的三件套值得拆开看,因为三十年后它们一个没变。第一件是局部感受野:每个神经元只看图像的一小块窗口,不看全图——图像的统计规律是局部的,相邻像素相关,隔行像素无关,网络结构照此硬编码。第二件是权值共享:同一个特征检测器(一根竖线的探测模板)扫过整张图,参数只有一套——一个数字写在左上角还是右下角,它都是同一个数字,检测器没有理由重学一遍。共享同时就是平移等变:图挪一下,特征图跟着挪,检测器不动。第三件是空间下采样:每过一层,特征图缩一圈,位置精度换抽象层级——下层在乎笔画在哪,上层只在乎有没有,与猫的复杂细胞同一个分工。三件套叠起来,网络的参数量从“像素数乘神经元数”的乘积,塌缩成“模板数乘模板大小”的小数目;要学的少了,能泛化的就多了。

        LeNet 一族的手写数字流水线(三件套在括号里)  
  
  输入图像      卷积层           池化层        卷积层      池化层     全连接    输出  
 ┌───────┐   ┌─────────┐    ┌────────┐   ┌────────┐  ┌───────┐  ┌─────┐  ┌───┐  
 │ 28×28 │──>│ 特征图×4 │───>│ 14×14×4│──>│特征图×12│─>│ 5×5×12│─>│ 120 │─>│ 10│  
 │ 墨迹   │   │(局部窗口 │    │(下采样  │   │(更小窗口│  │(下采样 │  │     │  │类别│  
 │        │   │ 5×5 扫描)│    │ 2×2 取大│   │ 5×5 共享)│  │ 汇聚)  │  │     │  │    │  
 └───────┘   └─────────┘    └────────┘   └────────┘  └───────┘  └─────┘  └───┘  
  原始像素     (感受野:局部)   (平移不敏感)   (层级抽象)   (再缩一圈)   (拼接判决)  
   参数大头在卷积模板:一套模板扫全图 = 权值共享  
   训练:反向传播端到端调参,误差从"10 个类别输出"倒灌回第一个卷积核  
  
  商用账本(1996):每天全美 10%-20% 的支票经它读出,单日上千万张  

支票与邮编之后,这套机器需要一个像样的考场。1998 年 11 月,勒昆、博图、本吉奥与哈夫纳在《IEEE 会议录》上刊出四十六页长文《基于梯度的学习在文档识别中的应用》——这是勒昆在贝尔实验室整整十年卷积工作的总结报告,而不是一篇新算法论文。报告里的 LeNet-5 七层网络在 MNIST 数据集上把错误率压到 0.95%,比当时最强的对手——多项式核支持向量机的 1.1%——低了一成半,人类的水平是 0.2%。MNIST 本身就是这篇论文的副产品:勒昆与科尔特斯把美国国家标准局的原始数字库重新混洗、归一化成六万张训练加一万张测试的标准题库,此后二十五年,它是所有机器学习方法的默认考场。论文里还有七组实验、二十三个对照模型,把当时主流的“二值化、抽特征、归一化、再分类”流水线逐段比了下去——那条流水线的每一段都是博士生几年的论文,端到端错误率却卡在 1.1%,而最要命的错误有一半以上出在分割环节:支票上数字连写粘连,先分割再识别,分割算法又要靠识别置信度反馈,一只手没法给另一只手挠痒。勒昆的解法是把整条流水线做成一张可微的图,分割与识别一起被梯度端到端地调——这个思路在二十年后有了一个尽人皆知的名字:端到端学习。

工程侧的细节同样值得立此存照,因为它们标注了一个时代的天花板。训练 LeNet-5 用的机器是硅图(SGI)的 Indy 级工作站,单机算力五十兆浮点运算每秒上下,一套模型训下来要三天——没有显卡,没有并行框架,每一次调参都是隔夜等待。代码是勒昆用 Lush(一种 Lisp 方言)加手写 C++ 垒起来的,这套代码后来演化成 2002 年的 Torch7,而 Torch7 的直系后裔,叫 PyTorch——今天训练大模型的默认工具,血脉上溯到 1990 年代贝尔实验室那几台工作站。小组的产出也不止识别引擎:博图主导的 DjVu 文档压缩格式把学到的特征用于文档前景与背景的分离压缩,是同一条技术树上结出的另一颗果子。1990 年代的工业实验室愿意为一个识别模块养一支十年团队,这笔投入在今天的互联网公司眼里近乎天方夜谭——它依赖一个前提:AT&T 自己每年有几千万张支票要读。需求养研究,研究反哺需求,这条闭环在深度学习革命的史前史里,是稀缺的幸存样本。

隔壁办公室的对手

支票系统在跑,考场在刷新,但这一年的风向对神经网络毫无善意。1995 到 1998 年是这一行的最低谷:就在贝尔实验室的同一层楼,弗拉基米尔·万普尼克(Vladimir Vapnik)的团队提出了支持向量机——一套“VC 维加核技巧加凸优化”的理论完整系统,数学上干净、保证上整齐,工业界一边倒地拥抱了核方法。拥抱有拥抱的道理:SVM 的训练是凸问题,解与起点无关,调参只有惩罚系数与核函数两三个旋钮,换个人接手结果一样;神经网络则恰恰相反——初值看手气、学习率凭手感、训练结果不可复现,在讲究交付与验收的工业流程里,前者的工程风险比后者低一个量级。会议席位跟着钱走:1997 年的 NIPS 会议,接收论文里支持向量机、提升方法与隐马尔可夫模型合计占六成以上,神经网络论文不到一成,而且多半被归入“经验主义偏方”栏。辛顿后来回忆那几年的处境:我们只能在物理系和认知系的会议上发论文,计算机系的主流期刊都不要。勒昆的考题 0.95% 打赢了 1.1%,赢的幅度不足以翻盘——工程师要的是理论保证与可调旋钮,不是一张好看的成绩单。四十六页的报告发在顶级期刊上,此后十四年无人问津,直到 2012 年才被重新翻出来奉为经典;勒昆本人后来算过一笔假设账:如果 1998 年就有今天的显卡,AlexNet 那种规模的网络当年就该做出来了。硬件欠的债,算法再对也垫不平。这段低谷的完整故事属于下一章的盟主支持向量机,此处先记一笔对照:同一个实验室、同一批数据、两种范式,此后十年的拨款、会议与人才流向,全在那一成半的错误率差值里打转。

会忘才能记住

时序这条线的起点是一道诊断书,而病人还不知道自己病在何处。前馈网络看完一次输入就结束,语言的含义却依赖上下文——句子开头的主语,可能在五十个词之后才决定句尾的性数配合;语音里一个音素怎么读,取决于半秒前的音素和半秒后的音素。循环神经网络(RNN)为此而生:隐状态在时间上递推,每一时刻把过去的浓缩喂给下一时刻,理论上能记住过去的一切。理论上。1991 年,慕尼黑工业大学的硕士生泽普·霍克赖特(Sepp Hochreiter)在导师于尔根·施密德胡伯(Jürgen Schmidhuber)门下写出一篇德语硕士论文,对循环网络做了一个双重诊断:要让网络学会“第一步的输入决定第五十步的输出”,误差就得沿着时间往回传五十步,每传一步都要乘一次雅可比矩阵——范数小于一,乘五十次指数衰减归零,网络想学却没有信号;范数大于一,乘五十次指数爆炸溢出,训练当场崩溃。梯度消失与梯度爆炸这对孪生病灶,从此有了名字与病历。值得注意的是,这份病历里已经埋着解法的种子:论文顺笔提到,若把某个隐单元的自循环权重固定为一,梯度便不再衰减——恒定误差转轮的雏形,比正式命名早了六年;缺的只是“何时读、何时写”的控制机制。1994 年,本吉奥等人把这份诊断升级成严格定理:任何稳定的原始循环网络,跨步梯度按 λ 的 k 次方衰减——用梯度下降学超过十步量级的依赖,在数学上此路不通。定理一出,赌局就分成了两桌:一桌继续在算法层下注,赌更好的优化器能绕开衰减;另一桌开始翻结构的图纸——霍克赖特与施密德胡伯坐的是后一桌。

病历之后是八年失败的处方簿,1991 到 1996 年间社区把算法层的招数试了个遍:教师强制、二阶优化、模拟退火、时延神经网络、隐马尔可夫混合、吸引子网络、NARX 网络——放到专门设计的长依赖考题(Reber 语法、加法问题)上,全军覆没,能学五到十步,超过就崩。几张验尸报告最说明问题。BPTT(时序反传,韦博斯 1990 年的手笔——上一章的守夜人在这里递了件工具)把网络沿时间展开成等效的深层前馈网再训:一百步的序列等于一百层深网,梯度消失原样复发,加法问题上一百步任务十次训练零次收敛。RTRL(实时循环学习)不展开序列、真梯度在线,代价是每步计算量随隐单元数四次方增长:三十个隐单元就跑不动,嵌入式 Reber 语法五十步的任务训五千万步,十次零收敛。时延神经网络干脆放弃递归,用固定窗口的卷积代替——窗口多大,记忆就多长,五十步之外的世界它结构上看不见。吸引子网络想让动力学不动点充当长期记忆,结果动点一旦形成就难以选择性更新——“记得住,忘不掉”,一千步的时序任务彻底失败。失败清单读到头,结论只剩一句话:这不是训练技巧的问题,是结构的问题——二阶方法也救不了场,因为梯度信号根本传不回去,二阶方法优化的是零。结构缺陷,算法补丁治不了。

霍克赖特与施密德胡伯的解法是换山头:别修梯度,改结构。1997 年 11 月,两人的长短期记忆网络(LSTM)发表在《神经计算》第九卷第八期,四十六页,从第 1735 页排到第 1780 页,是那年该刊最长的论文之一——它先前被《自然》与《科学》相继拒稿,在第二梯队期刊里被怀疑论审稿人拖了两年才放行;作者索性把八组基准、数百次对照全部塞进去,预判了每一种反驳。施密德胡伯此前自己也绕过弯路:1992 年的序列分块器用两层循环网络堆叠,部分缓解了长依赖,一遇噪声任务照样崩溃——正是这次失败让他下了决心:放弃修补训练算法,直接重构架构本身。LSTM 的核心是一个近乎蛮横的设计:记忆单元沿时间的传递线上,什么都不乘——没有权重矩阵,没有非线性包裹,只有一条自循环权重严格等于一的加法线。误差坐在这条转轮上,转一千圈强度不衰减,作者给它起名恒定误差转轮(constant error carousel)。上一章的梯度消失,在这条线上被结构性地处以死刑:衰减因子不是被调大,是被直接钉死为一——注意,必须严格为一,0.9 就会杀死一百步的任务,因为衰减是连续的,没有“接近一”的安全区。这不是一个超参数,是一个离散的结构选择。

一问一关两扇门

光有转轮还不够,转轮是无差别的积分器:什么都往里加,噪声也照单全收,一百步的序列走完,信号早被稀释成泥。1991 年的论文雏形就死在这里——“固定权重为一”能让梯度不衰减,也让单元状态变成无法选择的垃圾桶;本吉奥 1994 年的定理文末同样点过这条路,结论是死胡同:没有选择机制的恒等循环,只是个不会倒掉的垃圾桶。LSTM 的第二笔设计补上了选择性:转轮装两扇门。输入门是写入阀,一个 sigmoid 输出的零一软开关,门开着才把新信息写进记忆单元,门关着这一步的输入再吵也不进——网络由此学会“九十九步噪音里只记第一句和最后一句”;输出门是读取阀,决定记忆单元里的内容此刻向外暴露多少,既保护存储中的状态不被下游的读取扰动,也防止无界累积的数值直接灌进下一层导致饱和。两扇门都是光滑可微的函数,门本身照样用反向传播训练——不需要离散搜索,不需要强化学习。多个记忆单元还能共享同一组门,组成记忆单元块省参数;跑完基准一算账,LSTM 拿下同样的成绩,参数反而比原始循环网络更少,训练还更快——转轮的恒等性质让反向传播少做一次矩阵乘。读写分离这个视角后来长成一个学派:2014 年的记忆网络、神经图灵机、可微神经计算机,全是这条“外挂存储加读写控制”思路的直系后代。

配套的工程细节透着当年的手工气质。门偏置初始化在输入门负二、输出门负一,让门默认近乎关闭,逼着网络自己学会“何时该开”——作者自己承认这是反复失败试出来的经验,没有理论保证。训练算法也是混血的:转轮路径享全梯度(乘数恒为一,本就没有衰减风险),其余路径一步截断,把计算成本从 RTRL 的四次方压到 BPTT 式的平方——在 1997 年的单核 Sun 工作站上,这是跑得动与跑不动的区别。成绩单是碾压式的:八组合成基准里,五组上前代方法十次全败,LSTM 八到十次全胜——这不是量变,是从零到一。值得注意的是统计口径本身:论文用十次独立训练的成功次数做主指标,而不是挑最好的一次报喜——循环网络的训练方差人尽皆知,单次成绩没有意义;这套后来成为循环网络研究标准的做法,在 1997 年算得上超前。但论文的讨论栏里躺着一条自我诊断:一千步的加法问题,LSTM 也只有六成成功率,作者承认这是清晰的边界;更要命的是原版没有遗忘机制——记忆单元只进不出,长序列上单调累积,数值迟早溢出,论文自己预告了“无限运行的任务可能需要重置单元状态的机制”。补上这一笔的是施密德胡伯门下的博士生费利克斯·格斯(Felix Gers):1999 年的《学会遗忘》给转轮装上第三扇门——遗忘门,让单元状态可以主动衰减清零。今天所有深度学习框架里内置的 LSTM,都是 1997 年的转轮加双门、再叠加 1999 年遗忘门的混合体;本章标题里的“遗忘门”,严格说是一笔追认。此后门控家族继续繁衍:2000 年的窥视孔连接让门能直接偷看单元状态、时序精度再上一档,2005 年格拉夫的双向 LSTM 在语音识别标杆上夺魁,2014 年精简出门的门控循环单元(GRU)把三扇门合并成两扇——门控的思路统治序列建模近二十年,直到 2017 年被 Transformer 接管,那是第 107 章的故事。

十六年的雪藏

两条线在结尾处合流,因为它们的命运曲线几乎重合。卷积网络 1989 年就能干活,1996 年就在银行上班,学术承认迟到了十四年;LSTM 1997 年发表,几乎无人引用,工业界的重新发现要等到 2013 年——格拉夫(Alex Graves)用它拿下语音与手写识别的标杆任务、2014 年序列到序列翻译引爆自然语言处理,十六年的雪藏。两个雪藏共享同一条机制:1990 年代的算力与数据,只够让专门化结构在窄问题上证明自己,不够让它们在没有理论光环的情况下说服一个被 SVM 的整洁数学俘获的社区。LSTM 的实验全部跑在合成基准上——Reber 语法、加法、时序顺序——不是作者不爱真实数据,是那个年代根本没有公开的大规模语音与文本数据集,想测长依赖只能自己造考题;考题越合成,局外人越不当真,雪藏越深。结构先验——局部性、共享、门控——省下来的数据与参数,在算力便宜之后才显出复利;在算力昂贵的年代,人们宁可花十年调手工特征,也不肯把宝押给一个“说不清为什么行”的黑箱。

两条线内部还有一层值得对照的分工。卷积解决的是“看得全”的浪费——图像每个位置统计规律相同,重复参数是纯浪费,删掉即是纯赚;LSTM 解决的是“记得久”的失忆——时序误差被反复相乘,结构上保证一份恒等通路即可止血。前者是做减法:把全连接的稠密浪费剪成稀疏的先验;后者是做加法:给只知遗忘的网络加装可控的存储。一减一加,方法论却是同一枚硬币的两面——先量出通用结构在特定数据上的浪费在哪(空间冗余,或时间失忆),再把消除浪费的手段铸成固定结构。这套“先诊断冗余,再固化结构”的手艺,此后每一次架构革命都在重演:残差网络固化了“恒等通路”,注意力固化了“全局寻址”,运算的全是同一张图纸的变体。

两个人的下场也值得立此存照。施密德胡伯 1995 年南下瑞士卢加诺,把 IDSIA 研究所经营成欧洲循环网络的堡垒,门下走出的格斯、格拉夫、维尔斯特拉撑起了 LSTM 此后的复兴;他本人以言辞锋利著称,多年后仍在追问 1986 年反向传播论文的引用公案——“发明”与“普及”从来是两批人的两件事,这话本章的读者应该已经耳熟。霍克赖特在论文之后离开学术界数年去工业界谋生,多年后才回到林茨的约翰开普勒大学任教——1990 年代在德语区研究神经网络的人,职业轨迹大抵如此,上一章那位在美国基金会守夜的韦博斯会认这个套路。还有一笔跨章的伏笔要记:LSTM 转轮上“恒等通路加可学习修正”的设计,十八年后在卷积的领地上以残差网络(ResNet)的名字再赢一次——结构上的好主意从不局限于它出生的问题域。将镜头拉远:本章的两条线,一条从猫的皮层抄来结构,一条从故障的诊断书里逼出结构,共同写成卷十一的一个新命题——知识不光可以从数据里长出来,还可以把“世界长什么样”直接铸进网络的拓扑里。铸进去的每一分先验,都是对算力的预支与节省;这个命题的下一个兑现者,是第 104 章那位用数学纯粹性统治十年的新盟主。

所以,本章的判断是:卷积与时序门控的胜利,是“结构先验”对“通用结构”的胜利——卷积把空间的局部性与共享性写进拓扑,LSTM 把时间的选择性读写写进拓扑,两者都在算力与数据远未就绪的年代,用正确的结构换到了可用的智能;它们各自雪藏十余年的遭遇同时证明,结构再正确,也撬不动一个由理论审美与拨款口味把持的社区——支票上的通用性与定理里的优雅性打了十年,前者赢了工业账,输了学术票,直到算力把票仓掀翻。有人可以反驳:端到端学习后来的胜利恰恰证明手工结构终将被数据淹没——局部感受野在视觉 Transformer 里被纯注意力取代,门控在注意力里被查询键值取代。反驳成立一半:被取代的是具体结构,活下来的是本章的原则——在数据贵的时候用结构换数据,在结构贵的时候用数据换结构;2010 年代之后,交换的天平确实滑向了数据一边,但那已是算力革命改写价格之后的下一章故事了。两条线还有一处容易被忽略的共同点:它们的作者都不是数学出身的天才少年路线,勒昆的博士论文在法国无人喝彩,霍克赖特的硕士论文用德语写成、国际学界根本看不见——两份被低估的文件,一份等了四年被重新发明,一份等了六年由作者自己补全。主导约束的迁移在这里清晰可见:1990 年代的瓶颈是单机算力与标注数据,结构是最便宜的杠杆;杠杆的支点挪到 GPU 之后,价格表重写,这正是下一章盟主易位的前奏。


第 104 章 支持向量机与统计学习的十年黄金盟主

1991 年,新泽西州霍姆德尔,贝尔实验室的门禁系统扫描了一张新工牌。持牌人五十四岁,苏联人,弗拉基米尔·万普尼克(Vladimir Vapnik),此前三十年在莫斯科的控制科学研究所度过——在那里,他和同事阿列克谢·切尔沃宁基斯(Alexey Chervonenkis)从 20 世纪 60 年代末起建立了一套理论,回答统计学最老的问题:一台从样本里学习的机器,凭什么保证它对没见过的样本也管用。这套以两人姓名首字母命名的 VC 理论,在铁幕另一侧无人问津:苏联学界对国际交流毫无兴趣,西方同行既看不见俄语论文,也没有理由去找。万普尼克移民时带走的就是这批在抽屉里沉睡三十年的数学。五年后,这批数学变成一篇文章,《支持向量网络》,1995 年 9 月发表在《机器学习》期刊上;再往后十年,它统治了整个机器学习的工程界——恰好在神经网络最低谷、算力最不济的岁月里。盟主的加冕没有庆典:算法社区要的是能托付生产的工具,谁给得出保证,谁就上桌。本章的任务是把这段统治写完整——不是当作神经网络成功史里一段需要解释的弯路,而是当作一段当时每一笔都成立的正统秩序:理解它为什么赢,才能理解十年后它为什么让位。这也是卷十一三种信念轮替里最特殊的一次交接:接权的不是另一个神经网络信徒,是一群数学家——他们带来的武器不是更聪明的结构,是一整套关于“学习何以可能”的证明。

莫斯科来的泛化理论

要理解 SVM 为什么能统治,得先看清它背后的理论回答了什么问题。一台学习机器见过一万个样本、在这万个样本上几乎不出错,它对第一万零一个样本的判断凭什么可信?传统的数理统计对此有一套回答,但那套回答依赖大样本假设与概率分布的先验知识——真实世界的数据既不大,分布也未知。20 世纪 60 年代,万普尼克与切尔沃宁基斯在莫斯科给出了另一条路:不看分布,只看学习机器本身的表达能力。这条路的学术血统后来被正式收编:1984 年,瓦利安特(Leslie Valiant)在西方提出 PAC(probably approximately correct,概率近似正确)学习框架,用“多项式样本、多项式时间、以高概率近似正确”定义可学习性,日后为他赢得图灵奖;PAC 与 VC 是同一枚硬币的两种铸法——一个定义什么叫学得会,一个量化学得会要付多少样本——两者在 1990 年代合流成统计学习的理论基座。1963 年,万普尼克与列纳发表广义肖像算法的研究,用迭代方式构造判别超平面——这就是支持向量方法的直系祖先;1964 年,万普尼克与切尔沃宁基斯把它发展成硬间隔线性分类的完整形式。此后三十年,这套工作在苏联学术圈的安静角落里生长:泛化误差的界、学习一致性的充要条件、用有限样本控制无限假设的方法。西方在 1991 年以前对这一切几乎一无所知——1974 年出版的《理论模式识别》等专著,连英译本都难觅。这不是苏联对 AI 冷漠的孤例:同一个十年,美国那头在用感知机和专家系统轮番炒作,苏联这头在用俄语写严谨的统计数学,两边的时钟走的不是同一种秒。

苏联岁月还有一层今天看来意味深长的伏线:控制科学研究所的研究纲领里,学习理论不算 AI 的分支,算控制论的延续——上一章写过,美国的研究者刻意与控制论划清界限,而万普尼克的出身让他的学习理论与最优控制共享同一个数学母体;铁幕两边各自独立长出来的两套学习数学,1991 年在新泽西碰了头。对一位以数学严谨立身的学者,1991 年的贝尔实验室是一片真空:神经网络刚被反向传播部分平反,训练仍然看手气,理论保证几乎为零——不是没有分类器,是没有说得清为什么有效的分类器。真空就是机会。他和贝尔实验室的年轻研究员科琳娜·科尔特斯(Corinna Cortes)把三十年的理论压进一台实用的学习机器,1995 年的论文一次交齐。SVM 在西方的走红速度远超 VC 理论本身的传播速度——理论用了三十年过铁幕,算法只用了三五年过桌面:1990 年代的机器学习社区刚被反向传播燃起的希望烫过一回,正缺一套“既有性能又有说法”的方法托底;贝尔实验室又是 MNIST 考卷的出题人自家后院,成绩单随论文一起发布;再加上万普尼克扎实的数学声望与苏联学派的陌生光环,接受几乎是即时的。理论等了三十年才等到的土壤,是工程界被不确定性折磨出来的饥渴。

复杂度的价签

VC 理论的核心是一张价签:给“学习能力”标上复杂度的价格。它的基本量叫 VC 维——一个假设类能“打散”的最大样本点数:如果存在一组点,无论怎么给他们贴正负标签,这个假设类里总有成员能把它们完全分开,这些点的数量上限就是 VC 维。平面上直线的 VC 维是三(三个任意标签的点总能用一条直线分开,四个点就做不到), 更富余的假设类 VC 维更高:参数越多、形状越自由的模型,能打散的点越多。价签一贴,泛化的账就好算了:VC 理论证明,经验错误率与真实错误率之间的差距,随 VC 维升高而变大、随样本量增大而缩小——想保证泛化误差不超过某个值,样本量得比 VC 维大出足够多倍。换言之,模型太灵、样本太少,泛化必出事。过拟合,这个工程师凭手感骂了三十年的现象,第一次有了可以计算的量化定义;同一年代的统计学界也在平行推进类似的想法,模型选择准则里给复杂度记账的做法渐成风气,但 VC 理论把账算得最硬——它给出的是分布无关的界,不依赖任何关于数据服从什么分布的假设,代价则是界偏松:实战中它更像安全气囊,不是里程表。

这张价签直接生成了学习策略:结构风险最小化。经验风险最小化只管在训练集上把错误降到最低,结构风险最小化在两笔账之间找平衡——训练错误(经验风险)与模型复杂度(置信风险)的总和最小。同样八十个百分点的训练正确率,VC 维小的模型比 VC 维大的更可信;与其在复杂模型里找完美解,不如在简单模型里找个够用的。这套原则反过来解释了当时机器学习的两桩公案:神经网络为什么招理论界白眼——它的 VC 维没有实用上的上界,泛化界读数无从谈起;为什么更简单的模型屡屡在实际部署里更稳——复杂度的价签便宜,置信风险那一栏就短。用这套尺子量 1995 年的算法市场,读数很残酷:神经网络是出了名的高 VC 维黑箱——理论上能拟合一切,实际上没人说得清它这次学到了什么;决策树能解释,但单棵树过拟合起来毫无羞耻;统计学的老办法(线性回归、判别分析)有理论,表达能力又不够。市场在等一个兼得者:表达力够强、VC 维可控制、训练结果唯一。1995 年,SVM 交卷。值得一提的是,工程界此前对付过拟合靠的全是民间偏方:留一批数据不训、专供验证(留出法),反复洗牌交叉测试(交叉验证),或者干脆早停——训练到一半喊停。这些偏方有用,但都治标:它们告诉你这个模型过拟合了,说不出为什么、更给不出该把模型做到多复杂。VC 理论是第一套把“该多复杂”写成公式的理论——偏方与处方的差别,正是经验科学与定量科学的差别,SVM 的盟主之位一半是靠这个差别挣来的。

最宽的路

SVM 的几何直觉朴素到可以画在餐巾纸上:两类样本,找一个分开它们的超平面,不是随便找一个,而是找让两侧间隔最大的那一个——数据的旷野里修一条最宽的路,路的两边各留出整条公路宽的空地。直觉的底气在于一条朴素的常识:能分开两类点的面有无穷多个,凭什么挑这一个?老式统计学习答不出——随便哪个解都满足训练集;SVM 答:离两边都最远的那个解,对数据的扰动最不敏感,未来样本落进旷野任何位置都不容易判错边。最宽的路是最抗噪的路——几何的直觉与统计的界在这里是同一件事的两种说法。这个“最宽”不是审美偏好,是 VC 理论的直接推论:可以证明,以原点为中心、半径为 R 的球里,间隔为 M 的超平面分类器,其 VC 维的上界约为 R²/M²——间隔每翻一倍,复杂度价签便宜四倍,泛化界的读数成倍改善。把间隔最大化写进目标函数,等于把结构风险最小化从原则变成了可执行的算法;把最大间隔写成优化问题,得到的是凸二次规划——目标函数是凸的二次型,约束是线性的。凸二次规划在优化论里是天堂:局部最优就是全局最优,解与初始点无关,与随机数无关,跑一百遍结果一模一样;数学家还给这类问题备好了成套的求解理论与工业级求解器,问题喂进去,证书吐出来——不只给你一个解,还给你一份“这是最优解”的证明。对照神经网络训练的日常——换一组初值换一个结局,调参如开盲盒——这简直是从赌场搬进了银行。银行意味着可审计:出了错,可以检查约束、复查解的证书、定位是数据的问题还是模型的问题;赌场里输了钱,只能怪手气。1990 年代的工业客户用脚投票,投的就是这份确定性。

支撑这条路的只有边界上那一小撮点。远离边界的大部分样本,挪动它们、甚至删掉它们,最优超平面纹丝不动;只有贴着间隔边缘的那些点——支持向量——才真正撑起决策面。整个分类器由它们决定,“支持向量”由此得名。一台学习机器,学会了无视它见过的绝大多数数据:这个性质既有工程红利(决策只依赖少数样本,存储与判读都便宜),也有哲学分量——它宣布,学习的关键信息通常稀疏地分布在边界附近,其余数据只是背景。求解走对偶路线:把原问题转写成对偶形式,每个样本对应一个拉格朗日乘子,多数乘子收敛到零,非零的恰好是支持向量——解的形式自己完成了数据的自我筛选。对偶改写在数学上等价,工程上却是决定性的:它把“一个高维几何问题”翻译成“一个由样本两两内积表达的问题”,而正是这个内积视角,为两年后的核技巧留好了接口——没有对偶形式,核函数连出场的机会都没有。回头看,1992 年的核技巧不是灵光一现,是 1964 年的硬间隔、对偶理论、内积视角三层地基到齐之后水到渠成的一步。

        最大间隔超平面:把最宽的路修进数据的旷野  
  
        类 A(○)                       类 B(×)  
                                ×  
              ○                       ×  
                    ○       H       ×  
   ○                  │↕ 间隔 ↕│     ×  
        ○             │        │  ×  
          ○   ─ ─ ─ ─▶│        │◀─ ─ ─ ─ ✗(错标点→软间隔容忍)  
                        ────────  
                      支持向量:贴着间隔边缘的点  
   ○○ ○    ○        (●=支持向量,其余点删掉也不影响决策面)  
     ●──────────●──────────────●  ← 只有 ● 撑着这条路  
  
   优化问题:  min ½‖w‖² + C·Σξᵢ      (凸二次规划)  
   约束:     yᵢ(w·xᵢ+b) ≥ 1-ξᵢ,  ξᵢ≥0  
   解:        全局唯一、与初始值无关、无局部极小  
   值钱的只有支持向量——其余样本是背景板  

假装在高维里算账

几何再漂亮,直线终究是直线——现实数据里两类点常常犬牙交错,任何超平面都会切到肉。1992 年,贝尔实验室的贝尔纳·博瑟(Bernhard Boser)、伊莎贝尔·居永(Isabelle Guyon)与万普尼克给出解法:核技巧。思路是对偶形式里的一个观察——优化与判决全程只用到样本之间的内积,从不出现样本坐标本身。既然如此,想在高维空间里干活,不必真把数据映射过去,只要用一个核函数直接算出“映射之后的内积等于多少”——假装变换已经发生。举一个最小的例子:二维平面上两个特征 x₁ 与 x₂,若先人为添加三个乘积特征(x₁²、x₂²、x₁x₂)再放进五维空间做线性分类,效果等价于在原平面里画一条椭圆边界;核函数做的事,就是把这个“加特征”的步骤折叠进一次内积计算——多项式核、高斯径向基核,各自对应一次到无穷维的隐式映射,高斯核的映射空间干脆是无穷维的,而计算始终是原空间的一次函数求值。平面上纠缠不清的两类点,在高维空间里可能被一张薄薄的超平面分开。弯曲的决策边界,线性算法的计算代价——鱼与熊掌在一次代数替换里同时到手。这里有一层结构上的讽刺值得记下:神经网络的隐层干的也是这件事——逐层把数据映射到新表示空间;SVM 用一个手工选择的核函数走完了同一条路,只是把“学出来的表示”换成了“选出来的表示”,代价是放弃了自动性,换来的是整个过程的可证明性。选核函数的手艺于是成为新的手工艺——数据是什么分布,该配多项式还是高斯核,宽度取多大——统计学习把知识工程的手工环节从“写规则”挪到了“挑核函数”,自动化并没有想象中彻底。

核技巧管非线性,软间隔管脏数据。现实的两类点永远有重叠:测量误差、标注噪声、真正的边界样本。硬间隔要求所有点分毫不差地站在路的两侧,一个错都不容——代价是间隔被个别噪声点挤压到极窄。1993 年,科尔特斯与万普尼克开发软间隔:给每个样本一个松弛变量,允许少数点犯错,但每个错按松弛量记账、在目标函数里统一受惩罚系数 C 调控——C 大则宁窄勿错,C 小则宁错勿窄。软间隔的哲学值得单独记一笔:它承认世界不干净,把“容许多少不干净”变成一个显式、可调、写进目标函数的旋钮——不是假装数据完美,是把不完美定价。1995 年的论文把三件套(最大间隔、核技巧、软间隔)合成完整的支持向量机。考场上它立刻兑现:勒昆的 MNIST 考卷上,SVM 各变体到 1999 年把错误率做到 0.8% 到 1.1% 的区间——与调教到极致的 LeNet-5(0.95%)正面掰腕子;1998 年约阿希姆斯(Thorsten Joachims)把 SVM 用于文本分类,结果是在各类语料上全面胜过此前所有方法,而且几乎不需要手动调参、换语料表现稳定。文本高维稀疏的特性与核方法严丝合缝——一篇文档本来就是万维空间里的一个稀疏向量——SVM 在文本分类上的统治一直延续到词向量时代。但核方法的账本里埋着一枚定时炸弹:对偶形式里那个由样本两两内积构成的核矩阵,尺寸是样本数的平方——一万样本就是一亿个条目,十万样本直接吃满内存;训练时间通常更高。样本越少核方法越优雅,样本越多核方法越窒息——这个规模天花板在万级数据的时代无人察觉,等数据量往上翻三个数量级时,它会变成压垮统治的重量之一。为绕开它,研究者发展出各种分解求解的技巧,把大问题切成小块消化,但平方复杂度的根子在核矩阵本身,技巧只能延缓,不能豁免。

三棵树与最弱的选手

统计学习阵营的胜利不是 SVM 一人的独舞,是一个家族的集体登基。家族里最土生土长的是决策树:一连串“如果资产大于五万就往左、否则往右”的判断节点长成一棵树,每片叶子一个结论。这门手艺 1980 年代就已成谱系——学术圈有基尼系数分裂的 CART,工程圈有信息增益选特征的 ID3 及其改良,验证码时代之前它是规则挖掘的主流——可解释性满分,银行信贷与医疗分诊的最爱;缺陷同样出名:单棵树记性太好,训练数据背得滚瓜烂熟,换个样本就露怯。补救的思路是人多力量大:1996 年布赖曼(Leo Breiman)提出装袋(bagging)——让多棵树各自在训练数据的随机重采样上生长,判决时投票;2001 年他又把随机化推到特征层,随机森林(Random Forests)出炉:数百棵树,每棵只在随机子集上训练、每个节点只在随机特征子集里挑分叉,最后全体投票。单棵树的错误是偏执的,数百棵偏执各有方向的树投票,偏执互相抵消——过拟合被稀释在群体的噪声里。随机森林此后二十年一直是表格数据(金融、生物、工业)的默认选项之一:不调参就能用、并行训练天然友好、给得出特征重要度排名——工程师要的它全有。

boosting 这条线的出身更特别,它从一个理论问题里长出来。1989 年前后,迈克尔·卡恩斯(Michael Kearns)提出一个听起来像抬杠的问题:一群“弱学习者”——每个只比随机瞎猜好一点点——能不能通过某种组合方式,拼出一台“强学习者”?这个问题的分量在它的对称性上:若答案是否,“比随机好一点”与“接近完美”之间就隔着一道原理性的墙,学习理论将分裂成两个世界。1990 年,沙皮雷(Robert Schapire)给出了证明:能,弱可学习性与强可学习性等价——墙不存在。这个结果优雅却不好用——最初的构造层层嵌套,实践者看一眼就摇头。1997 年,弗雷恩德(Yoav Freund)与沙皮雷给出可用的版本 AdaBoost:训练流程像一场不停加码的补考——第一轮用均等权重训出一个弱分类器;分错的样本权重上调、分对的下调;第二轮带着新权重再训一个;如此往复,每一轮都逼着新分类器去看上一轮的错题;最后把所有弱分类器按战绩加权投票。理论根基、实现五十行、几乎不调参、训练错误率随轮数指数下降的保证——AdaBoost 在 1990 年代末横扫各类基准,与 SVM、随机森林并列统计学习的三张王牌。三个方法共享同一组美德:理论给得出保证,行为经得起复现,基准赢得稳定——而这恰恰是那个年代神经网络给不出的三样东西。把三张王牌并排看,还能读出一部隐秘的分工表:SVM 主攻“在复杂度与拟合之间找最优折中”,随机森林主攻“用民主投票稀释单模型的偏执”,boosting 主攻“把不堪大用的弱者锻造成强者”——三条路各治过拟合的一种病根,合起来构成一套完整的防守体系。统计学习十年的统治,靠的不是某个天才算法,是这套体系在“可靠交付”这个维度上的无死角覆盖;神经网络想夺回盟主之位,光赢几个基准不够,得把整套体系连根换掉——这正是 2012 年之后发生的事。

十五年的间隔

1995 到 2005 年,机器学习的工程界由这套统计学习统治:文本分类与排序是 SVM 的天下,表格数据归随机森林,人脸检测的第一版实用方案(2001 年的 Viola-Jones)靠的是 boosting 的变体——那套检测器在功能手机与数码相机的对焦框里跑了十年,是统计学习算法离普通消费者最近的一次;垃圾邮件过滤的第一代主力是核方法与朴素贝叶斯的混编,搜索广告的早期点击率模型把逻辑回归与 boosting 混在同一个流水线里,生物信息学的基因序列分类、手写识别的后处理、垃圾邮件过滤的第一代主力,清一色统计学习的方法。会议上的神经网络论文如上一章所述不到一成,工业界把“理论完备、可靠可复现”当作选型的铁律,统计学习完美符合;大学课堂里,机器学习课程的教学大纲以 VC 理论开篇、以核方法收尾,神经网络要么不讲,要么当作反面教材挂在“无理论保证”的警示栏里——整整一代学生在考卷上写下的“为什么 SVM 优于神经网络”,标准答案是泛化界与凸性。这段黄金时代的正确性当时完全成立——把它写成“十年的弯路”是深度学习胜利后的辉格式改写。平心而论:2000 年前后的数据规模(万级样本)与算力(单核 CPU),本来就喂不饱也训不动深层网络;SVM 用可控的复杂度在这样的资源约束下拿到最好的泛化,是那道考题下的满分卷,不是走运。对一线工程师,SVM 还有一层朴素的好处:凸问题没有手气,今天的解与昨天的解一致,交接项目不用交接运气——这个特质神经网络直到今天都未必做得到。理论审美的天平同样在它那边:凸优化的整洁、泛化界的可证明、支持向量的可解释,每一项都是神经网络欠了三十年的债。万普尼克本人在这些年的论述里反复强调同一件事:学习的关键是先限制假设类的容量再谈拟合——这句在他看来天经地义的话,与联结主义“容量越大表示越强”的信念针锋相对。十年的统治,本质是一套关于“约束”的哲学对一套关于“容量”的哲学的胜利,而胜负手是当时的资源约束站在前者一边。

终局在 2012 年 12 月揭晓。ImageNet 大规模视觉识别挑战赛上,多伦多大学的 AlexNet——一个训练在两块游戏显卡上的卷积网络——把 top-5 错误率压到 15.3%;第二名用的正是统治了十五年的方法,错误率 26.2%。十一个百分点的差距不是调参可以弥合的量级,那是范式之间的鸿沟。十五年的间隔,一个下午抹平——抹平它的不是数学上更优美的证明,是 GPU 的浮点吞吐与百万级标注图像:深度网络天然高 VC 维的“缺陷”,在数据管够之后反过来成了优势;VC 理论自身的逻辑也换了读法——界从来是随样本量收窄的,样本百万之后,放宽复杂度约束就是理性决策。核矩阵的平方复杂度在百万样本前彻底瘫痪,随机森林在像素级特征面前无从下手,boosting 的逐轮补考训不动亿级参数——统计学习的三板斧,每一把都先于对手撞上了数据规模的墙。胜负的另一面同样干净:卷积结构把视觉的先验铸进拓扑(上一章的遗产),梯度下降把算力吃满(上一章的赌性),两者恰好在数据与算力同时便宜的节点上会师。有意思的是万普尼克理论的结局:它没有被证伪,泛化界至今是深度学习理论研究的底座之一,只是从“选模型的操作指南”退成了“理解模型的望远镜”。2002 年起他转入 NEC 普林斯顿实验室,后来在哥伦比亚大学任教,晚年转向“归纳机制的物理”这类更根本的追问;他与深度学习的和解方式颇具苏联式倔强——晚年他多次公开说,深度学习的成功并不令人惊讶,也谈不上被理解。退位后的 SVM 也没有消失:样本以十计的生物信息、维度以百万计的文本检索、预算以毫秒计的嵌入式系统里,核方法至今在岗——这些场景的共同点是数据贵、算力小、要保证,恰好是深度学习的舒适区之外。盟主退位时,账面上没有输掉的战争,只有换掉的考题。

统治的更替连着叙事的更替。2012 年之后的教科书重写了年表:神经网络复兴的故事里,1995 到 2005 年被压缩成“深度学习的黑暗前夜”一句话带过,SVM 与随机森林从主角降格为背景板——连勒昆那张 SVM 与 LeNet-5 同场竞技的对照表,也常常被截去 SVM 一栏。这种改写本身值得多看一眼:科学史由幸存的范式书写,成王败寇的叙事偏好连严谨的教科书都不能免俗;读史的人要把这段统治放回它的资源约束里看——万级数据、单核算力的年代,统计学习就是最优解,这个判断不曾错,只是过期了。过期与错误是两回事,混淆这两者的历史书写,每个范式更迭后都会重演一遍。

所以,本章的判断是:统计学习十年的黄金盟主之位,靠的不是打败神经网络,是在神经网络交不出理论的年代交出了理论——凸优化的确定性对梯度下降的赌性、可控的复杂度对不可控的容量、支持向量的稀疏解释对分布式表示的沉默;这场胜利在万级数据与单核算力的约束下每一笔都成立,因而它也注定随约束一起退场:数据百万之后,约束的哲学让位于容量的哲学,不是谁错了,是价格表换了。有人可以反驳:SVM 从未真正退场——文本分类、小样本生物信息、预算敏感的工业系统里它至今在岗,随机森林更是表格数据的常青树。反驳成立,且恰恰印证本章的账法——退位的盟主退的是王座,不是生存权:每种范式都有自己的资源舒适区,SVM 的舒适区是“样本少、算力小、要保证”,深度学习的舒适区是“样本多、算力大、容得下黑箱”;盟主的座次不按范式的对错排,按数据与算力的行情排——旧秩序在让位之前,给后来者留下了一条用十五年统治换来的定律:智能的价格不是常数,范式的兴衰只是价格的函数。主导约束的迁移至此完成一次完整循环:符号主义败给人力的账单,联结主义败给算力与数据的匮乏,统计学习赢在算力贫瘠年代“确定性”这一稀缺品的溢价——每一种信念的沉浮,标价货币都不同:第一种用人的工时计价,第二种用电与浮点运算计价,第三种用可保证性计价。下一章开始,算力本身成为主角:当价格表被 GPU 重写、数据洪流漫过 VC 界的适用区间,轮替的钟摆将摆向八十年信念史的最后一格——知识在算力的压缩中涌现。


第 105 章 2006—2012:CUDA、ImageNet 与 AlexNet 的惊雷破晓

2012 年 9 月 30 日,ImageNet 大规模视觉识别挑战赛(ILSVRC)的成绩单贴出来,会议室里的算法同行们对着一行数字发怔:一支名叫 SuperVision 的队伍把 top-5 错误率压到 15.3%,第二名还停在 26.2%——十点九个百分点的差距,在历年以零点几个百分点厮杀的榜单上是一次跨代。先用一行说清这把尺:比赛按一千个类各持数千到数万张图考机器识别,每张图给五个猜测,正确答案命中其一才算对,top-5 错误率就是五个猜测全部落空的比例。更让人不安的是论文署名:亚历克斯·克里热夫斯基(Alex Krizhevsky)、伊利亚·萨茨克沃(Ilya Sutskever)与杰弗里·辛顿(Geoffrey Hinton),多伦多大学的三个人;再往论文的方法一栏看,网络跑在两块打游戏用的 GTX 580 显卡上。同行们很快确认:这不是什么新算法——卷积网络的雏形 1998 年就有了,反向传播更是八十年代的旧物。理论在原地等了二十年,2012 年这一刻突然引发全行业相变,凭什么?本章把答案拆成三样看起来与智能毫无关系的东西:一批肯下笨功夫标注的图片,一条从游戏机里长出来的编程通道,与一段在暗夜里把老算法重新点亮的坚持——再加上它们合力引出的、此后再没回头的一张电费单。

三十年的老想法,三样新养料

先确认“老”到什么程度。卷积神经网络的结构——局部感受野、权值共享、空间下采样——在 1998 年扬·立昆(Yann LeCun)的 LeNet-5 上已经完整可用,识别手写数字的准确率足以让邮政系统买单。值得注意的是,一次商用的成功并没有换来一次学术的相变,原因藏在这次成功的边界里:手写数字是十个类、干净底色、固定大小,任务窄到卷积的优点无从全面施展;旁人看到的是一个专用于支票识别的巧技,看不到一种通用的学习范式。让通用范式坐实,需要它在开放世界的千类识别上再赢一次——这一等又是十四年。反向传播作为训练多层网络的方法,八十年代就已被重新发现并广泛讨论。此后十几年,这套想法在学术界始终抬不起头:训练一个深度的有监督前馈网络,误差迟迟下不来,层数一深,梯度要么消失要么爆炸,层数成了无法兑现的承诺。主流阵地早已易手——统计学习方法以数学的完备与训练的稳定接管了工程落地,支持向量机在教科书里占了正统的章节,神经网络在许多会议的审稿人眼里接近玄学;做这个方向的实验室拿不到大项目,学生毕业找不到对口的位置,整个社区退守成几所大学里的几个小组。处境的尴尬还可以再具体一步:反向传播训练多层网络,每一层的权重更新依赖后面各层传回来的梯度;梯度的计算链一长,连乘的系数只要普遍小于一,传到浅层就缩到近乎为零——浅层的参数收不到有效的训练信号,深度的好处自然无从谈起。这个缺陷不是靠想就能绕开的,它卡在训练算法与可用算力的交界处:更深意味着更长的梯度链,更长的链意味着训练更难、更慢;没有又大又快的算力做试验床,任何改进的猜想都要等数月才知道对错。2012 年之前的判定题其实一直挺明确:要说服同行,先在同一个公开榜单上把他们全部赢一遍;而在 2012 年之前,神经网络连报名的资格都常被怀疑。

三样养料在 2006 到 2012 年间各自就位,缺一样,惊雷都响不起来。值得多看一眼的是三样养料的到位方式——它们各自沿着独立的日程表前进,没有一根线把它们串成因果:显卡的进化跟着游戏市场的出货节奏走,众包平台的成熟跟着电商劳动力市场的发育走,逐层预训练跟着一个小组多年的坚持走。三条线在同一个窗口期交汇,纯属各自的时运相加;此前任何一年,三缺一或三缺二,相变都不成立。这也解释了为什么相变偏偏发生在 2012 年而非更早——不是理论终于开窍,是三条独立日程表的交点恰好落在了这一年。第一样是数据。既有的标杆数据集小得可怜:Caltech-101 只有 101 个类、九千余张图片;被无数论文刷过的 MNIST 也只有七万张 28×28 像素的手写数字。用 MNIST 训练深度网络,好比用一本小学识字课本去教一个研究生学语言——书能背下来,能力长不出来;信息量不够,深网络那动辄百万的参数无处着落,过拟合与欠拟合轮番上场。第二样是算力。神经网络的全部计算可以化归为矩阵乘法与卷积,恰好是并行硬件最擅长、通用 CPU 最不擅长的形状;把矩阵搬进显卡的通道,在 2006 年被铺好了。第三样是训练技巧。多层网络训不动的问题在 2006 年被绕开了一条路;这条路的最终使命后来是被实践淘汰的,它却让“深”字在黑暗年代里保住了火种。三样养料到齐之前,每一次尝试都在补齐另外两样的路上饿死;到齐之后,爆发只需要一次当众示范。本章先讲火种如何保住,再讲前两样养料如何各自到位,然后讲那次当众示范,最后记那笔越来越大的电费单。

暗夜里的火种:逐层预训练

辛顿那一脉在黑暗年代里的突围,先是一个理论动作,再是一个工程动作。2006 年,辛顿与奥斯丁德罗(Simon Osindero)、特赫(Yee-Whye Teh)提出深度信念网络(Deep Belief Network)的逐层训练法:先无监督地把网络一层一层预训练,每一层学着把自己看到的输入重组为更抽象的表示,输出作为下一层的输入;整座网络逐层垒起之后,再用有监督的微调整体调优。这个两步走的聪明之处在于绕开了梯度长链的连乘:训练被拆成一段一段的短链,每段只需要让单层学会“把输入还原成更好的编码”,浅层不再需要等千里之外的梯度救援。深网络第一次训得动——层数深下去,误差真的能下来,“深”这个字的承诺第一次兑现。

这次突破的意义要放在它的年代里掂量。它没有立刻带来应用的爆发——逐层预训练的流程繁琐,无监督阶段学到的表示也谈不上精妙;它带来的是一纸存在证明:深网络不是空中楼阁,训练的困难是工程性的,可以有工程性的绕法。对一支只剩几个小组的社区而言,这份证明几乎就是全部的士气来源:论文重新可以被讨论,方向重新可以有信徒,年轻学生重新敢在简历里写“深层网络”。坚持的代价也在这些年里看得见:经费申请被拒、论文评审冷眼、组里的学生毕业即转行——深度的火种能传到 2006 年,靠的正是少数几个人把冷板凳坐穿的耐心;科学史上的每一次复兴,起步处都有一个不识时务的小组。几年之后回看,逐层预训练的实际使命带点悲喜剧色彩——有了足够的数据与 ReLU 一类改进,它可以整个省去;可在 2006 到 2011 年间,它是唯一能让深网络站着的方法。火种保住了,等风向。风向有两股,一股往数据吹,一股往算力吹;先讲数据那股。

数据侧的笨功夫

2006 年前后的物体识别研究,主流的玩法是在几百张图的小数据集上把模型做得越来越精巧。精巧的方向是手工特征:研究者凭对视觉的理解设计提取器——边缘怎么检、纹理怎么描、形状怎么编码——把原始像素加工成一组喂给分类器的描述。这条路线培养了一代特征工程师,每一篇论文的贡献都是一组更讲究的特征;它同样有一条隐含的天花板:特征的优劣取决于设计者对任务的理解,而设计者的想象力就代表了系统的上限。这个循环有一个所有人默认的前提:数据就这样了,方法还能再挤一挤。斯坦福的李飞飞(Fei-Fei Li)把前提翻了过来:她的判断是问题出在数据侧而非模型侧——人类儿童成长中接收的视觉样本以亿计,只用几百张图训练识别器,设定本身就是错的;真实世界的物体类别成千上万,拿 101 类的考卷衡量识别能力,量的是错觉。于是她决定建一个前所未有的数据集:覆盖 WordNet 词典的名词层级,每个名词配数百到上千张图片,目标是上千万张图、两万余类。

这个决定在当时被不少同行视为浪费资源。反对的理由在当时全都成立:一百多个类目尚且标注不起,上千万张图的标注成本是天文数字;雇专业标注员以正常进度需要数十年,学术预算经不起这种体量的投入;何况数据集不发表新方法,在以方法为硬通货的学术评价体系里,做数据的人分到的功劳有限。转机来自众包:2008 年起,团队改用亚马逊的 Mechanical Turk 平台,把标注拆成碎片发给全世界的普通人——每张图的一次判断只值几美分,千万张图的成本曲线从“数十年”被压到可执行的区间。图片来源则是网络检索加人工清洗:先按名词抓取候选图,再由人逐张确认剔除噪声,同一张图由多人交叉判断,判定一致才入库,数据质量靠人海里的一致性检验托底。众包的质量控制是一门独立的工程:把任务切碎到几秒一单、给出正反例校准标注者的理解、同一图多人标注取多数——每个环节都在把“千万人的随意”淬成“一份可靠的数据”。2009 年 6 月 22 日,ImageNet 的论文以海报形式登上 CVPR 2009,署名邓嘉、董玮、索彻(Richard Socher)等人联名李飞飞;数据集按 WordNet 的名词树组织——树上每一个名词节点都挂着自己的图片集合,父类与子类的从属关系就是数据集的目录结构。此后数据集扩充到超过一千四百万张人工标注图像,另有口径约一千五百万。2010 年起,以 ImageNet 子集为题的年度竞赛 ILSVRC 开跑:统一的一百二十万张训练图、统一的评测指标、逐年公开的成绩。评测的口径叫 top-5 错误率:模型对一张图给出五个猜测,只要正确答案落在五个之内就不算错——一千个类别里猜五中一,是当时对机器识别能力最宽松也最一致的一把尺。数据集由此从仓库变成赛场,算法第一次有了在同一条赛道上同台比武的规则;此前的学术对比大多各用各的私有数据,成绩的横向比较近乎比武各带各的兵器。后来者回望,把这条路叫作笨功夫:不发明任何算法,只解决“数据从哪来、谁来标注、如何可信”三件事。可正是这份笨功夫改写了这个领域的评价体系——试金石一旦公开,所有算法的成色当晚就能验出来,论文里的漂亮曲线再也糊弄不了任何人;把数据集当作科学仪器来建设,从此成了一门正当的手艺。它还顺手改写了人才版图:手工特征工程师的核心技艺被端到端学习取代——网络自己从数据里学特征,学得比人手设计的更贴合任务;此前设计特征的巧思贬值了,此前边缘的深网络手艺成了行业硬通货,数据侧的那次判断,重新分配了整个领域的话语权。

把矩阵喂进显卡

第二样养料来自一家游戏显卡公司。要理解它给的通道有多重要,先看清两条硬件路线的分野。CPU 的构造哲学是“少而强”:几十个核心,每个都带复杂的控制逻辑与大容量缓存,擅长串行的复杂决策,一支精干的讲师队伍;GPU 的构造哲学是“多而众”:上千个小核心,控制单元与缓存被压到最小,省下的晶体管全部换成运算单元,擅长同时算同一道题的不同小块,一支人数上万、每人只会一步算术的方阵。神经网络的计算恰好长成了后者的形状:整层网络的上亿个乘加彼此独立,可以一口气铺满所有小核——矩阵吞吐正是 GPU 的主场,并行场景下浮点性能高出 CPU 几十倍是常见口径。问题在于通道:2006 年之前,把通用计算塞进显卡要绕道图形接口,把矩阵伪装成纹理、把计算伪装成着色,门槛高得只有少数硬着头皮的研究者愿意翻墙。

2006 年,英伟达把墙拆了,通道名叫 CUDA(Compute Unified Device Architecture,统一计算设备架构)。硬件的铺垫在同一年完成:G80 核心把沿用多年的分离式顶点、像素管线合并为统一流处理器——128 个同构小核不再区分工种,任何一块都能执行通用计算指令,渲染与计算共用同一套单元。这是一次有商业风险的架构转向:统一架构对游戏的好处当时并不直观,对通用计算的好处则要等几年才收得到;英伟达把整条产品线押到“计算会成为显卡的第二用途”这个判断上,用游戏市场的现金流替通用计算付了研发与制造成本——G80 与后续显卡的主要买家是游戏玩家,科研界买到手的消费级旗舰因此便宜得像搭了便车,两块 GTX 580 就是一台放在宿舍里的小型并行机。软件的通道则是 CUDA 的编程模型:研究者用类 C 的语言直接写并行内核,显卡暴露成一台“很多小核的并行机”,不必再懂一行图形学。算量的账在这里可以粗算一笔:一张 227×227 的图过一层卷积,是卷积核与图上每个位置的一次次乘加,单层就是千万到亿级的运算;六千万参数的网络叠了八九层,一张图的完整前向是数亿到十亿次的乘加;一百二十万张图、几十轮训练,累计算量要乘上千万倍——这笔账在 CPU 上要按月计,在两块 GTX 580 上才压进“研究生熬几个夜”的范围。人事上还有一环:2004 年,黄仁勋把并行编程语言的研究者伊恩·巴克(Ian Buck)招入麾下,CUDA 的工程由此收拢成形。通道铺好之后的几年里,各领域陆续把计算搬上显卡,神经网络只是排队的一员;它后来居上的原因,是它的计算形状与 GPU 的构造对得最整齐——整层网络的求和完全并行,一次反向传播就是一串规整的矩阵乘加,GPU 的每一个流处理器都吃得满。同样重要的是它不挑任务的宽容:卷积也好全连接也好,落到硬件上都是同一批乘加原语,换任务只换权重不换机器——研究者更新网络结构不必等待新的硬件,硬件的每一次升级立刻惠及所有实验。数据与算力在此相遇:ImageNet 提供了够大的题,CUDA 提供了算得起的笔。两根桩各自打牢的时间也值得记录:数据侧的千锤百炼到 2009 年的海报才见天日,算力侧的通道从 2006 年铺到 2010 年前后才被广泛上手;两条时间线的交点落在 2010 到 2011 年,此后只差一个把笔握稳的人——他已在多伦多的实验室里等着这两样东西同时就位。

第二次点火:AlexNet 的组合拳

克里热夫斯基把三样现成的东西拧成一台机器,每一样都值得单独拆开。风已经备齐:ImageNet 办到第三届,统一赛场的规则被同行接受,赢下它就是赢下整个领域的公论;显卡的性能又滚了两代,双卡的算力够把六千万参数的网络喂满百万级的训练集。第一样是双卡并行。约六千万参数的网络,中间层的激活值与梯度在单卡显存里放不下,两块 GTX 580 各扛网络的一半,层与层之间交换数据——消费级显卡的单卡算力与显存双双有顶,两块卡拼图绕开了它;两块卡之间的通信带宽低于卡内,网络的切分因此特意选在通信最少的层上,让两块卡各自埋头算、少聊天。此后“多卡并行”成了深度学习训练的标准姿势,切分与通信的权衡从此写进每一代训练系统的设计清单。训练的日常则是小批量的循环:每次取一小批图前向算误差、反向传梯度、按学习率更新参数,再取下一批——百万张图被切成几万批,批批走完这个循环算一轮,几十轮后网络在标签上趋于稳定;学习率调大一层、批量调小一档,训练的脾气就变一次,调参的手艺在那几年全凭经验,多年后才慢慢被规范接管。

第二样是结构级的三个改进。其一是激活函数:弃用传统的饱和函数,换上 ReLU。饱和函数在输入进入两端后梯度趋近于零,层数一深,梯度逐层缩水,深处的参数几乎收不到训练信号;ReLU 的定义只有一行——负数归零、正数原样通过——正半轴梯度恒为一,信号层层回传不衰减,深层网络的收敛速度上了一个台阶。一个只有一行的函数,换来的是深网络从“勉强能训”到“大步快跑”。其二是 Dropout:训练时按比例随机丢弃一部分神经元,每一次前向都是一张残缺的子网络在干活;任何单个神经元都可能缺席,网络就不敢把知识押在某条唯一的通路上,过拟合被硬生生锁住。其三是数据增强:从原图 256×256 的边界里随机裁出 227×227 的小块作输入——同一张图被裁出海量略有差异的变体,等效数据规模放大两千余倍,等于免费扩了一次数据集;平移不变性本就是视觉的先验,裁剪教会网络“像素挪几个位置,猫还是猫”。三项改进还互相成全:ReLU 让深网络训得动,更大的网络才有意义;数据增强压住大网络的过拟合,更大的数据才有用武之地;Dropout 再补一道保险,三者叠出的是一个此前所有部件都齐、唯独差这口气才转得起来的系统。第三样现成的东西是上面的一切乘上 ImageNet:约一百二十万张带标签的训练图喂进网络,反向传播在双卡上跑满全程——一百二十万张图乘上几十轮的反复学习,网络对同一批像素的乘加次数以亿亿计,这样的算量在没有 CUDA 的年代连排期都排不进去。

每一样都不是石破天惊的新发明,组合起来是一场彻底的胜利:十五点三对二十六点二,第二名与它隔着整整一个时代。复核之后,结论只剩一个——老的算法配齐了数据与算力,就是这个量级。评奖台上没有争议,争议留在台下:有人翻旧账说卷积是老古董,有人质疑双卡的工程算不算公平,直到复现的队伍一个个交出接近的成绩,声音才沉下去。比名次更有说服力的是网络学到的特征:把各层的滤波器可视化,最底层认边缘与色块,中间层认纹理与部件,最高层已经对准了物体——没有人教过它这些,特征是它从百万张图里自己长出来的;手工特征工程师凭经验设计的那些东西,网络在训练里自己凑齐了,而且更合用。连锁反应快得像雪崩:次年的顶会上卷积网络的论文铺天盖地,各实验室的显卡订购单改写了英伟达的营收曲线,“深度学习”从一个圈内词变成行业口号;此前的边缘小组成为礼堂中心的讲者,此前无人问津的方向挤满了应聘的学生;ImageNet 榜单的错误率在此后数年以肉眼可见的斜率下坠,每年刷新纪录的网络一个比一个深。相变能传染得这么快,靠的是示范的可复制性:论文公开、数据集公开、显卡人人买得起——任何怀疑者都可以亲自跑一遍同样的配方,赢一次同样的比赛;怀疑在可复现的胜利面前没有存身之地,这比任何雄辩都更能终结一场路线之争。相变完成,且再未逆转。

相变的回声在此后几年里一层层荡开。计算机视觉自不必说,卷积结构成了默认起点,手工特征的论文从顶会上成批消失;更远的领域开始重新评估自己脚下的路线——凡是能化归成“大量数据加矩阵运算”的问题,都值得用同一套武器重试一遍:语音的识别、文字的分类、检测与分割的各个子任务,陆续换上了深度网络的引擎。工业界的动作比学术界更快:大公司内做图像与语音的团队整建制转向深度学习,显卡成为数据中心的标准采购项,原本给图形工作站供货的消费级产品线,开始出现专为大机柜设计的计算卡分支——英伟达在这几年里完成了从游戏公司到算力公司的转身,而转身的第一张订单,签在 2012 年那个秋天。回声的最远处落在人才市场:会写 CUDA 内核、懂卷积调参的学生成为抢手货,几个小组的手艺一夜之间变成一门显学,课程的讲义第二年就进了本科课堂。
相变之后,深度本身成了新的战场。AlexNet 只有八层,而 2015 年何恺明等人提出的残差网络(ResNet)把层数推到了 152 层——不只是堆料,而是解开了一道卡住整个领域的结构性难题:网络一旦深到几十层,训练误差反而不降反升,这不是过拟合,是退化;即使给中间层插上恒等映射,深网络也学不会。ResNet 的做法异常简洁:让每一层不去学完整的输出,只学输出与输入之差——一条跨层的“捷径”(shortcut)把输入原样接到后面,梯度于是有了一条可以直达浅层的通道,深层网络第一次变得可训练。它在当年的 ImageNet 上把错误率压到 3.57%,首次超过人类水平,但真正的意义不在那个数字:残差连接此后成了所有超深网络的标配,从视觉的 ResNet 到语言的 Transformer——第 107 章会看到,Transformer 每层的残差加归一化,用的正是这一脉传下的手法。若说 AlexNet 证明了“深度值得追求”,ResNet 解决的是“深度如何可能”,它对网络拓扑的改写比 2012 年的那声惊雷更深远。

算力账:从两块显卡到吞噬电力的巨兽

相变的账单要单独一节来记,因为它以肉眼可见的速度膨胀。AlexNet 的全部算力是两块 GTX 580:单卡功耗两百多瓦,两块卡加一台主机,插在实验室的插座上就能跑——那个时代的深度学习,门槛是买两块游戏显卡的预算。此后每一代网络都在给这个插座加压:模型加大、数据加倍、训练时长拉长,算力的计量单位从单卡每秒浮点次数,升级到 PFLOPS-Day——每秒千万亿次浮点运算连续跑一整天的累计量。能这样计量的算力早已不属于一块显卡,而属于一间机房:换算一下,AlexNet 训练的算力放到 PFLOPS-Day 的尺度上小数点要向前挪好几位——几代模型的时间,把这个领域的算力胃口从“一台主机”抬到了“一座电厂的变电容量”级。训练一个前沿模型消耗的 PFLOPS-Day 数值逐年翻番,算力与模型能力从此绑在同一张发票上。机架的功率密度同步飙升:传统数据中心一个机架五千瓦上下,已是风冷设计的安全线;AI 服务器的机架一路冲过三十千瓦,向一百千瓦迈进。三十千瓦是风冷的物理拐点——空气的比热容有限,风冷在这个密度前集体失效;散热从配套工程升格为决定性工程,行业给出的答案是液冷,最彻底的形态是全浸没式:把整台服务器泡进不导电的冷却液,热量经液体直接带走。把价值百万的芯片泡进“水”里,十年前会被当作事故现场,如今是新建 AI 机房的常规选项;液冷的渗透率在此后数年以行业预测的斜率爬坡。算力中心就此成为吞噬电力的工业巨兽:训练一个前沿模型的电费以普通家庭许多年的用电量计,机房的选址重新回到电价与冷却资源的地图上——水、电、气候,这些上一代互联网公司从不关心的参数,重新排到技术选型的第一行。第 082 章俄勒冈机房里那一路 GPS 馈线的年代,一个机柜的功耗还压在几千瓦的安全区内,散热靠风扇就绰绰有余;如今同样位置的机柜装的是液冷管路,机柜之间比的不再是服务器台数,而是千瓦数与散热方案。液冷内部也分了代际:冷板式把冷却液贴在芯片冷头上,改动小、落地快,是当前的主流;全浸没式更彻底也更激进,整机浸入介电液体,散热效率最高,对机房改造的要求也最重。从两块游戏显卡到浸没在冷却液里的机柜,中间只隔了不到十年;这段距离,就是“智能”这个抽象词在物理世界里的全部重量。把这一章放回全书的两百年线里,它的位置格外清楚:布尔把逻辑变成代数(第一章),香农把代数变成开关电路(第二章),此后每一次跃迁都在换算力的载体——继电器、电子管、晶体管、集成电路;到这一章,算力的载体第一次与“学习”这个动词合流,而算力的单位也第一次大到必须用发电量来对账。本章立起的这条算力曲线,将在第 108 章被推到万亿参数的量级,那里才是它真正的账单。

本章的断言是:2012 年的相变证明,神经网络的理论在八十年代就已经够用,拦住它二十年的从来都是三样与智能无关的东西——够大且标注可信的数据、吞吐足够的并行硬件、以及在两者上押注的工程判断;AlexNet 的胜利首先是基础设施的胜利,算法只是最后一个上台领奖的角色。这个断言可以被反驳:如果 ReLU 与 Dropout 这类算法侧改进才是决定性变量——同样的数据与显卡配不上它们就赢不了——那么决定权仍在算法手中,数据与算力只是必要而非充分的舞台。分辨两种解释的裁判,是此后每一次“数据与算力继续翻倍、算法不变”的复演:性能若仍按同样的斜率上涨,基础设施论成立;若斜率衰减殆尽,则算法的信用重新上榜。


第 106 章 2016:AlphaGo 与深度强化学习的围棋封神

2016 年 3 月,首尔四季酒店的五大对局室里落子声可闻。人机大战第二局进行到中途,AlphaGo 把一颗黑子落在第五线上——现场解说一时语塞:在职业棋手的常识里,这一手近乎于白送;有人怀疑程序出了故障,因为按人类的棋理,这手棋无论如何不该出现。这颗子在赛后获得了一个此后反复被引用的名字:第 37 手,“神之一手”。职业棋手复盘时承认,这手棋人类几乎不可能想到,但它成立——后来的局面证明,它把一盘看似均衡的棋拖进了人类从未算清的深处。棋圣聂卫平的评语是四个字:脱帽致敬。本章从这颗子讲起:一台机器在人类直觉的最后堡垒里落下一子,落子的方式融合了三十年来的两条路线,落子的结果不只是五番棋的比分,而是一种新范式的加冕——深度学习与强化学习的合流,以及一年之后,一次完全甩开人类经验的再封神。

宇宙装不下的棋盘

要理解这颗子的分量,先要看清它脚下的棋盘有多大。围棋棋盘三百六十一个交叉点,每一点有黑、白、空三种状态,全局的最大局面数为 3 的 361 次方,量级约是 10 的 170 次方;作为对照,已经观测到的宇宙中原子总数约为 10 的 80 次方——棋盘的可能性比宇宙里能数得着的原子还多出近九十个数量级。国际象棋的最大局面数约 2 的 155 次方,通称香农数,量级 10 的 47 次方;围棋比它高出约 120 个数量级。这些数字不是修辞,它们直接决定了两类程序的天壤之别:国际象棋在二十世纪九十年代已被深蓝攻克,靠的是人工打磨的评估函数与暴力搜索的工程极限;同一套思路搬到围棋上就撞了墙——搜索树以指数膨胀,任何剪枝都剪不完,评估函数靠人工规则写不出职业级的眼光。算一笔账就明白:哪怕把搜索空间砍掉亿亿亿倍,剩下的数量级依然远超宇宙原子的总和;暴力在围棋面前连入门的资格都拿不到。

围棋的难还有更软的一面:难不在规则——规则简单到一页纸可以写完——而在判断。什么是厚势,什么是急所,一块棋是死是活,一条大龙该不该逃,职业棋手的判断快到近乎条件反射,但要他们把判断的依据写成条文,写出来的规则总会在某个局面下出错。这种“讲不透但用得准”的知识,正是直觉的定义;半个世纪里,围棋程序败给人类的每一局,败因都是这条定义。直觉的储备方式也说明了它的来历:职业棋手从学棋起打谱数万局,每一局的每个变化都在脑中留下印记,所谓棋感,是几万局棋在神经里压出来的捷径;这条捷径没有近路可抄,只能用对局数去换——人类棋手用十几年换,机器后来用几天的自弈换,换法的天差地别,正是本章全部戏剧性的来源。不是工程不努力,是空间不允许、直觉写不出——围棋因此成了符号派搜索技术的滑铁卢,也顺理成章地成了此后所有智能讨论里“机器最后攻克的堡垒”。

路线之争在这里摆开了阵势。先把主角介绍给读者。DeepMind 是谷歌旗下的人工智能研究团队,联合创始人兼 CEO 是戴密斯·哈萨比斯(Demis Hassabis),AlphaGo 项目的技术负责人是大卫·席尔瓦(David Silver)——研究谱系直承上一章的深度学习浪潮,把刚成熟的深度卷积网络当成了现成的武器。先把强化学习的词汇摆上桌,后文反复要用:一个智能体处在某个状态里,可以采取若干动作之一,环境对它的动作给出奖励或惩罚,智能体据此调整自己的策略——状态、动作、奖励、策略,四个词构成一个闭环;学习的目标是在这个闭环里磨出一套能拿高奖励的动作习惯。搜索派认为,棋类程序的本质是搜索加评估,深蓝证明了只要工程做足、硬件够快,人工调校的评估函数就能登顶——这条路的荣光是实打实的,质疑者若不服,可以自己写一个更好的评估函数试试;在他们的语境里,深蓝式的工程就是智能本身,深蓝的核心工程师许峰雄甚至认为深蓝压根不该算人工智能技术,那只是一台下棋够快的机器。学习派则认为,围棋的评估无法靠人工规则穷举:什么形状厚、什么方向急,职业棋手自己也讲不全讲不透——讲不透的知识写不进代码,只能从数据里学。两派的分歧在深蓝时代还是学术口味,到围棋面前变成了生死题:10 的 170 次方的空间里,人工规则的覆盖率约等于零。把两代系统并排放着看,分歧一目了然:深蓝的评估函数由人类工程师逐条手写、逐条调试,搜索靠专用硬件硬扛;AlphaGo 的评估从对局数据里学出来,搜索靠学习出来的概率修剪。前者是人类对象棋理解的极限,后者是机器自己摸到的上限——两个上限在两块棋盘上各被检验了一次,围棋那次给出了完全不同的答案。DeepMind 的选择是把两派合成一股:搜索照用,评估改学——蒙特卡洛树搜索负责在巨大的空间里走出一条有方向的窄路,深度神经网络负责在窄路的每一个岔口判断哪边更有希望。这个合成的思路在当时并不被所有人看好——学界一度公认深度学习加树搜索要攻克围棋还需十年,AlphaGo 把这个预期压缩成了一年。

训练的过程分两段,两段都是学习。第一段是站在人类的肩膀上:团队先让网络学习约 3000 万局人类棋谱,从职业对局里学会“什么样子像一手好棋”——每一条训练样本就是一个局面加职业棋手的实际落点,网络的任务是把人类几千年的棋感压缩进自己的权重。这一步之后,AlphaGo 走出的棋已经让旁观者分不清是人还是机器;此前与欧洲围棋冠军樊麾的对局以五比零收场,把对弈者信息隐去后,观棋者难以分辨哪一边是程序。樊麾的头衔是欧洲围棋冠军——欧洲冠军与世界之巅尚有距离,五比零不足以宣判,但足以让团队把挑战的靶子从“能下”升级为“能赢最强的那一批人”。第二段是离开肩膀:网络与自己对弈,胜局里的每一手被强化,败局里的每一手被削弱——左右手互搏的棋力增长不依赖新的棋谱,只依赖试错与反馈;每盘自弈的胜负又反过来变成价值网络的教材,两个网络在自我对弈的流水线上互为师生。监督学习给直觉打底,强化学习让直觉长高,两段训练在 2016 年初汇成那个将与李世石对坐的对手——对手的棋力,此前人类的任何预测模型都没有算对过。

两个网络,一棵搜索树

拆开 AlphaGo 的机械骨架,核心是两个深度神经网络与一棵搜索树的分工。两个网络都吃同一份盘面表示:棋盘被编码成一叠 19×19 的特征平面——每个位置有没有子、是谁的子、落下几手了——卷积网络最熟悉的输入格式,与上一章 ImageNet 上的图像一脉相承;视觉领域练出来的整套卷积手艺,原封不动搬进了棋盘。第一个网络叫策略网络(policy network):它的任务是在任何一个局面下,对棋盘上每一个可能的落点输出一个“像好棋”的概率——三百六十一个点各得一个分数。它像是压缩了三千万局人类对弈经验的直觉机:看一眼盘面,就知道哪些点值得考虑、哪些点可以直接放弃。这个网络的真正作用是剪枝:围棋的搜索树里,每个局面有几百个分支,搜索的爆炸由此而来;策略网络把“值得考虑的分支”从几百个压到十来个,指数级的树被人为削成了可控的灌木。第二个网络叫价值网络(value network):它拿整个盘面做输入,输出一个数——这个局面的胜率估计。它像是把“形势判断”这门只能意会的职业手艺,变成了一个可以直接调用的函数:不再需要把棋下到底才知道好坏,看一眼盘面就能估出输赢。人类棋手引以为傲的大局观与棋感,在工程上被翻译成两个可以并行调用的概率机。

两个网络的训练方式不同,恰好对应学习的两条路径。策略网络的第一步是监督学习:喂进约 3000 万局人类职业对局,每一手棋的正确答案就是职业棋手实际落下的那一子——网络的任务是预测“人在这个局面会下哪”,学的是几千年棋谱沉淀出的棋形与方向感。第二步是强化学习:让网络的当前版本与历史版本互相下,赢的那一方所走的每一步都提高出现的倾向,输的一方反向削弱——从“像人类”进化为“能赢棋”,这两者并不总是同一件事,分水岭要靠胜负来划。价值网络的训练材料则来自自我对弈的完整棋局:每一个中间局面都记着这一局最终的胜负,网络学的是从任何盘面预测终局——它见过的盘面越多,形势判断越接近职业顶尖的直觉。两条路径合起来看是一条清晰的流水线:先用人类的智慧开机,再让胜负当老师,人类教到哪里算哪里,此后机器自己教自己。

两个网络各自都不够用,价值网单独看局面会看走眼——围棋的成败常常埋在几十手之后的复杂交换里,静态估一眼未必作数;策略网单独走棋又会流于“像高手下过的棋”,未必是此刻的最优。把两者焊在一起的是第三件旧工具:蒙特卡洛树搜索(MCTS)。搜索树从当前局面往下生长,每一条往下的分支先由策略网络提名——只走它觉得像样的几手;每一条分支的深处,由价值网络给出胜率估计作为这步棋的远期抵押;树上的每条路径都被反复走样统计,走法越多、胜率估计越稳。每一次落子决策,都是这棵树的一次生长、修剪与结算;整盘棋下来,同样的流程重复几百次,每次的树都由两个网络现场指引方向。直觉负责选路,估值负责定价,搜索负责把两者的判断放到足够深的地方互相校对。这套结构最耐人寻味的地方在于它的诚实:它没有试图一步算尽——10 的 170 次方本来就算不尽——它只是在有限的算力里,把有限的搜索预算全部押在两个网络认为最值得的地方。搜索的深度换成了学习的浓度:同样是往深处看,人类靠棋感缩小计算,AlphaGo 用两个网络做了同一件事,只是它的棋感来自三千万局棋与数百万局自我对弈。

这套机器在训练完成后还要过两道关。第一道是对樊麾的五局横扫,欧洲冠军的成色不足以定论,却足以证明路线可行;第二道才是 2016 年 3 月的首尔。比赛的组织规格本身就是一次豪赌:五番棋、世界冠军、全球直播,任何一面的失败都会让这个研究方向背上数年的污名;DeepMind 把最坏的可能算进了日程,把最好的可能押在训练完成的那版棋力上。赛前的舆论氛围今天看来近乎考古:李世石在发布会上放话,人类的直觉还遥遥领先,人工智能只能望其项背,他将竭尽所能捍卫人类的智慧——这番话在当时的棋界并非狂言,而是共识;围棋界对计算机实力的普遍估计,距离战胜李世石还有十年。共识即将在五局之内被连根拔起。

在围棋开打之前,还有一层选型的道理值得说透:深度学习在图像上成功之后,为什么下一个战场选了围棋。答案藏在两种任务的物理差别里。图像识别的数据要靠人工标注,标签是成本;围棋的数据可以自产——每一盘自我对弈都是一份带最终胜负标签的完整样本,生成数据的机器同时就是生成标签的机器,数据的产量只受算力约束。图像的正确答案定义模糊——一张图是不是猫,边界处见仁见智;围棋的胜负一锤定音,奖励信号毫无歧义。任务封闭、规则可模拟、奖励无争议、数据可自产——四个条件凑齐,围棋成了深度学习与强化学习合流的完美试验场;反过来说,它也埋下了后来所有“AI 能否走出棋盘”之问的种子,这一章的结尾会回到这个问题。

首尔五日

五番棋的比分最终停在四比一,但这五天的叙事节奏远比比分曲折。赛前一个月,舆论的天平几乎全压在人类一侧:李世石的世界排名与大赛履历摆在那里,此前所有围棋软件对职业顶尖的胜率为零,他的备战压力更多来自国人的期待而非眼前的对手。第一局,AlphaGo 胜,赛后讨论还停留在“李世石是否轻敌”;第二局,第 37 手落下,解说席语塞、棋界哗然,职业棋手从这一手开始承认眼前的东西超出了自己的评估框架——它不像人类的任何一手棋,却又在事后复盘中显出深远的目的性;人类棋手第一次集体面对“机器的直觉”这件事本身。第三局,AlphaGo 再胜,三比零,五番棋里三胜即锁定,余下的比赛在数学上已经无关冠军归属。第四局,李世石扳回一局,这一胜因此被称为人类的尊严之局:它证明了机器并非不可战胜,也证明了它的强大来自统计而非魔法——找出它的盲区,它一样会错;这局棋的价值在工程上同样成立,它给所有后来研究对抗机器的人留下了模板:系统的自信之处往往就是系统的软肋埋藏之处。第五局,AlphaGo 收官,总比分四比一。五局棋把一个此前的科幻命题拆成了三个可以逐条检验的工程事实:机器的棋感可以超过人类的最强个体,机器的失误可以被人类找到并利用,机器的版本迭代快于人类的进步速度——三条事实合在一起,留给人类的选项只剩与它共同进化。

这场比赛的观看规模本身就是历史事件:全球超过两亿人通过各种渠道观战——一场没有任何特效的棋局,制造了此后数年最大的科技公共事件;上一场同量级的人机对决还是深蓝与国际象棋世界冠军的那一次,中间隔了将近二十年,观看的方式从电视直播变成了全世界的手机屏幕。公众认知的转折也在这一周完成:此前“人工智能”在大众语境里要么是实验室名词,要么是科幻设定;五天棋局之后,它变成了新闻联播的常客、茶余饭后的辩题、每一个行业开会时绕不开的词——机器能不能思考的旧争论,被换成了机器还有多少年追上我的新焦虑。比赛的解说是另一重看点:人类棋手在直播里现场对照自己的判断与 AlphaGo 的选择,一次次发现职业直觉的边界;第 37 手之后,“机器走出人类想不到的棋”从哲学话题变成了每个棋迷亲眼所见的日常。反向教学这个词由此而来:AlphaGo 的棋谱成了新的教材,职业棋手复盘 AlphaGo 的对局,吸收它对定式的挑战、对厚势的取舍——几千年来定式由高手的对局沉淀而成,如今最前沿的定式更新由一台机器推动;一些被职业棋手奉为定则的开局套路在它的对局里被换成了新走法,职业赛场的布局潮流随之转向。学生对老师完成了反向授课。2017 年 5 月,升级后的 AlphaGo 在乌镇以三比零扫平世界排名第一的柯洁,此后人类棋手与它的差距不再被讨论——讨论的题目换成了它还能把人类的棋理推进多深。同年,DeepMind 宣布 AlphaGo 退役,它留下的棋谱与论文,成了后来所有棋类人工智能与强化学习系统的公共遗产。执子落枰的既有职业棋手的对手,也有团队自身的成员——对局室内机器一方落子的人选,正是后来在乌镇替 AlphaGo 执子的工程师黄士杰;人与机器的手在同一盘棋里完成了交接。

不再需要人类的老师

故事到这里还没有到顶点。2017 年 10 月,DeepMind 在《自然》上刊出 AlphaGo Zero:一个完全不带人类经验的版本。它的训练材料里没有三千万局棋谱,没有职业棋手的任何一手——只有围棋的基本规则与自我对弈的强化学习:从随机乱下开始,自己跟自己下,赢的着法加强、输的着法削弱,策略网络与价值网络合二为一,随每一轮对弈同步进化。网络合一省掉了两套参数的维护,训练回路因此更短:每盘自弈既是策略的练习,也是价值的标注。硬件上,它只用了四个 TPU;自我训练的时间是三天,自弈约四百九十万盘。三天之后,它与曾经四比一战胜李世石的那版 AlphaGo 对垒,一百比零。媒体把这三天概括为“走完人类千年棋史”:人类用几千年积累的定式与手筋,它用三天全部重新发现了一遍,顺带丢弃了其中被证明低效的部分——早期人类经验加速了它的起步,后期的进步却要求把这部分先验放到一边。Zero 的意义超出了围棋胜负本身:它把强化学习范式里最后一块人类拐杖抽掉了,证明“从零与从经验”两条路都能抵达顶点,而哪条路的尽头更高,实验给出了反直觉的答案——不带人类先验的那条更高。这个结论后来被反复引用为“先验的双刃性”的经典案例:经验既可以是起点,也可能是眼界;既能垫高起点,也能遮住远处的路。

Zero 的胜利提出了一个比棋局本身更锋利的问题:人类棋谱到底是脚手架还是天花板?前一版 AlphaGo 的答案是脚手架——站在人类几千年积累的肩膀上起步,学习效率高,开局就有职业水准;Zero 的答案是天花板——从人类经验出发,学到头也只是人类经验的极限,而从规则出发自我博弈,最终能超越人类积累的边界,Zero 的棋风中出现了人类棋理从未偏好、却在统计上更优的着法。两种答案都有各自的道理:对资源有限的后来者,人类经验依旧是最便宜的起点;对追求极限的系统,人类经验是要被超越的先验。Zero 用一百比零给出了自己的立场,也让“强化学习”这四个字从此脱离棋类,成为一类通用范式的名字:给一个目标、一套环境与试错的空间,智能体可以自己长出策略——这个范式在此后数年被搬进游戏、芯片设计、分子结构预测,也在第 108 章将遇到的对话模型里,以人类反馈强化学习的形态再次登场。

Zero 的数据引擎值得单独看一眼,因为它是整台机器的心脏。自我对弈同时完成三件事:生成对局(数据)、生成标签(胜负)、生成训练信号(每一步对胜负的贡献)。传统机器学习的三样原料——数据、标注、反馈——在围棋的闭环里由同一台机器自产自销,不需要人类插手任何一环;这正是它三天四百九十万盘的底气,也是棋类任务独有的奢侈。现实世界里的大多数任务没有这么慷慨:环境不可完全模拟,胜负不像一局棋那样分明。强化学习此后十年便在这条鸿沟的两端来回架桥——一边在可模拟的世界里尽情自我对弈,一边想办法在不可模拟的世界里为智能体制造可靠的奖励信号;第 108 章将要登场的人类反馈强化学习,正是这座桥上最重要的一段——当机器的输出没有现成的胜负可判时,就请人来当奖励信号的来源,把人类的偏好直接接进强化学习的闭环。Zero 的训练曲线同样值得记录:棋力随自弈盘数一路爬升,先追平上映的人类版本,再超越所有前辈,全程没有一步依赖人类的更新——学习曲线的斜率本身,就是范式最有力的广告。

把本章放回全书的线里,它的位置是一级承重的台阶。第 105 章备齐了深度学习的三样养料,AlexNet 证明了机器可以“看”;本章证明机器可以“试错着变强”,并且第一次在人类最引以为傲的技艺上公开登顶;下一章 Transformer 将解决语言无法并行训练的死结,第 108 章的规模法则再把这两章的配方按比例放大成万亿参数。深度学习改写了图像,强化学习改写了决策,两者合流之后的产物,就是此后被称作大模型的那一类系统——AlphaGo 是这场合流的第一次当众演练,观众席上的两亿人,后来都成了用户。AlphaGo 团队的那批技术资产——大规模自对弈、策略与价值双网络、把人类偏好当奖励信号——也在此后的数年里被逐一搬进语言模型,搬进第 108 章的终章舞台;围棋封神的真正遗产,是让全行业相信了同一件事:只要数据和算力到位,学习可以替代理解,试错可以替代设计。

AlphaGo 的真正突破,是把这个问题从正面强攻改成了侧翼包抄。它不试图穷举 10 的 170 次方,甚至不试图把搜索树造得很大——它做的是三件降维的事。第一件,把“看所有分支”换成“只看像样的分支”:策略网络把几百个候选压到十来个,搜索空间在入口处就被砍掉一个数量级。第二件,把“算到底”换成“估到底”:局面够深的收益不再靠把棋下完来验证,价值网络一眼给出胜率,深处的未知被一个学习的估计函数折现。第三件,把“人工写评估”换成“数据学评估”:几十代工程师写不完的形势判断,三千万局棋谱加数百万盘自弈就喂了出来。三件事合起来,10 的 170 次方没有变小,变小的是系统真正需要看的那一部分——复杂度没有被打败,被绕开了。降维击穿这四个字的本义就在这里:不是把高维问题算得更快,而是学会在高维里只看值得看的低维切片。这个方法论此后被整个行业继承:面对一切看似不可算的问题,先问哪个网络能替搜索剪枝、哪个网络能替计算估值——答案通常都有。时间线也顺便交了底:从深蓝的评估函数到 AlphaGo 的价值网络,人类工程师的角色从“规则的作者”退成了“数据与目标的设计者”——这场退却没有让系统变笨,恰恰相反,它把系统的理解抬到了设计者自己的水平之上。

直觉这个词在这一章值得重新定义一次。职业棋手看一眼盘面就知道好坏,外界称之为天赋与直觉;训练的过程却说明,直觉的来源是海量样本的反复浸泡——见过的局面多了,判断就快了。AlphaGo 的两个网络做的是同一件事,只是它们的“浸泡”发生在三千万局棋谱与四百九十万盘自弈里。人类的直觉与机器的直觉,在来源上同构,在效率上分野:人类受限于一辈子的对局数量,机器受限于算力与电费。第 37 手之所以震撼,正因为它是两种直觉的当场对质——人类直觉里“近乎白送”的一手,在机器直觉的账本上回报丰厚;对质的结果反过来更新了人类的直觉库存。所谓机器反向教学人类,教学的从来都是更多的对局量。

本章的断言是:AlphaGo 击穿的不是围棋,而是“某些知识只能来自人类直觉”这条信念——策略与价值两个网络证明,在最依赖直觉的领域,直觉本身可以被两段式学习压缩成可调用的函数;第 37 手的价值不在胜负,在于它以一手人类想不到却成立的棋,向全人类反向开课。这个断言可以被反驳:如果围棋的胜利只是搜索空间足够小的特例——规则封闭、胜负分明、自我对弈可以无限生成数据——那么它证明的只是强化学习在封闭游戏里的威力,把它外推到开放世界就是对范式的过度信仰;Zero 的三天神速也依赖围棋规则的可模拟性,现实世界的环境不给任何系统无限次试错的机会。反驳的第二个入口在“直觉”的定义:如果第 37 手的深远只是海量自我对弈撞出的统计巧合,而非某种可迁移的判断力,那么“机器的直觉”就仍是一种修辞——判定权在此后十年开放世界任务的成败里。而无论判定结果如何,2016 年 3 月的那个星期已经完成了一件无可争议的事:它把“机器会学习”从一个学术命题,变成了两亿人亲眼所见、亲手复盘、亲身开始与之共处的日常事实。


第 107 章 2014—2017:从 Seq2Seq 到 Transformer:注意力的矩阵并行革命

2017 年 6 月 12 日,arXiv 上挂出一篇标题近乎挑衅的论文:《Attention Is All You Need》——注意力就是你所需要的一切。八位作者来自谷歌大脑、谷歌研究院与多伦多大学,论文做的任务是机器翻译,提出的架构后来有了一个更响的名字:Transformer。这篇论文的写作风格在顶会文献里自成一类:标题是一句口号,正文通篇克制,公式只给必要的,消融一项一项摆——后来的重读者给它“大道至简”的评价,多半源于这份直白。当时没有多少人在意这篇翻译论文;让它载入史册的也并非 BLEU 分数,真正载入史册的是它对序列计算的重新表述——把循环网络沿时间轴的串行链条,整个拆成了可以铺满 GPU 的矩阵乘法。这篇论文的命运弧线也值得先记一笔:发表之初,它只是机器翻译榜单上的一次刷新,引用数爬升平缓;两三年后,凡是要处理序列的领域——语言、语音、图像、蛋白质、代码——都换上了同一套骨架,引用曲线变成一条陡峭的指数。本章拆开这次重构的每一颗螺钉:循环网络为什么天生吃不满并行硬件,注意力如何从一篇修补论文里长出来,查询、键、值三个矩阵的乘法究竟在算什么,以及论文里那张低调的复杂度对比表,如何在几年之后长成整个大模型时代的地基。

一次只能走一步的机器

2014 年前后的序列建模之王是循环神经网络(RNN)及其门控变体 LSTM。它们的疆域在当年大得没有对手:机器翻译、语音识别、文本生成、对话系统,凡是输入或输出是序列的任务,默认的选型都是循环家族;语言技术栈整整一代人是在“按时间步思考”的教育里成长的。它们处理语言的方式贴合人类的直觉:从第一个词读起,按顺序推进,读到一个词就把前面的理解压缩进一个隐藏状态,带着往下读。这个设计在数学上优雅,在工程上有一道与生俱来的死穴——时序依序执行。第 t 步的隐藏状态由第 t−1 步的状态算出,环环相扣,任何一步都要等上一步算完才能开始;这是一条纯粹串行的链条,长度等于句子长度。把它放到第 105 章的硬件上,尴尬立刻显形:GPU 的上千个小核心张着嘴等并行任务,RNN 却只能一个时间步一个时间步地喂数据——每一步的数学不难,难的是前一步没算完后一步无法开始,GPU 的绝大多数算力在等串行链走完。训练时的反向传播同样沿着时间轴倒着走一遍:前向串行,反向也串行,两条串行的链条首尾相接,把一次训练的耗时锁死在序列长度上。深度学习烧的是并行算力,循环网络的天生结构恰好是并行最不友好的形状;理论没有过时,是结构与硬件失配。

LSTM 的门控是针对第三笔账的补丁。普通 RNN 的梯度在长链上传几十步就消失或爆炸,LSTM 用输入门、遗忘门、输出门三道闸门给信息开通了旁路——重要的记忆可以沿一条相对平缓的通道跨越几十步传递,长程依赖的处理能力明显改善。这个补丁有效,也有边界:门控缓解的是梯度的数值问题,治不了串行的结构问题——时间步一步一步走的次序纹丝不动,GPU 照样喂不饱。第 103 章的 LSTM 在它擅长的任务上仍是好网络;到本章的语境里,它的问题已经不是“好不好”,而是“每花一块钱算力,有多少真的用在了计算上”。

串行还有第二笔账。循环网络处理长度为 n 的序列,每层要做 n 步乘加、每步的运算量与状态维度 d 成正比,每层的计算复杂度是 O(n·d²);更要紧的是顺序操作数也是 O(n)——这个数直接决定训练时间的下限,n 越长训得越慢,而语言任务恰恰在往长里发展。第三笔账最长程:第一个词的信息要影响第一百个词的判断,必须沿着隐藏状态接力传递九十九次,梯度沿这条长链连乘,消失或爆炸的风险随距离上升——长程依赖在原理上可达,在实践中脆弱。三笔账叠加,构成循环网络的完整画像:能做序列,做不快;能传长程,传不稳;最致命的是,它的计算形状与 GPU 的并行形状根本对不上。

Seq2Seq 的编码器-解码器框架把这个缺陷又放大了一次。机器翻译的经典做法是把源语言句子交给一个 RNN 编码器,读完全句后压成一个固定维度的向量,再由另一个 RNN 解码器从这个向量里逐词生成目标语言。固定维数对工程友好,代价却写在结构里:无论句子是十个词还是一百个词,全部语义都要挤进同一个向量——长句的信息瓶颈,短句的容量浪费;解码器生成每一个词时,能看到的只有那个被压扁的向量,原文的细节在压缩里已经丢失。用一个类比收拢:这相当于要求译者读完原文后合上书,凭记忆的摘要开口翻译——句子越长,摘要丢得越多。到 2014 年,翻译质量的长尾卡在这里:句子越长,译得越糊。修补它的尝试,意外地催生了一个新的机制。在讲修补之前,先把这三笔账的工业背景补齐:机器翻译在 2014 年是价值清晰的大生意——跨语言的网页、客服、电商商品页每天都在制造翻译需求;统计机器翻译系统服务了十几年,翻译质量到达平台期。神经网络路线(Seq2Seq)在 2014 年的亮相惊艳了学界,端到端训练免去了人工特征工程的巨量人力,但它的质量与速度都不足以全面接管工业流量;学界与工业界在此后三年把注意力机制与循环网络绑定,机器翻译的最好成绩几乎都出自“RNN 加注意力”的组合,注意力一词也在这个时期第一次进入业内的核心词汇表。这条路线把翻译质量推高了一截,也把三笔账的矛盾推到了爆发前夜——注意力越重要,串行的骨架就越碍事。

两块垫脚石:词向量与软对齐

第一块垫脚石解决“词怎么进网络”的问题。2013 年 1 月,谷歌的托马斯·米科洛夫(Tomas Mikolov)团队发布 Word2Vec,把每个词训练成一个稠密向量。训练目标朴素得出奇:用词的上下文预测这个词,或者用这个词预测它的上下文——两种目标任选其一,在海量句子上反复训练,词的向量自然长成。真正让它震动学界的是一个算术结果:king − man + woman ≈ queen——国王向量减去男人向量加上女人向量,向量空间里最接近的词是女王。这个结果证明语义关系被编码成了向量空间里的几何关系:性别是一个方向,王室属性是另一个方向;词义不再只是离散的符号,同时也是高维空间里可以加减运算的坐标。词嵌入从此成为语言模型的标准入口——网络吃的不再只是词的编号,而是带几何结构的向量;没有这一步,后面所有把语言变成矩阵运算的尝试都缺少合格的原材料。它的意义还可以再说透一层:在此之前,“计算机理解语言”停留在符号与规则的世界,Word2Vec 第一次用可以验证的算术证明,词与词的意义差异可以被几何化——意义有形状,形状有运算。这行算术在当时被当成趣味演示,后来回看,它是全部语言模型的哲学起点。

第二块垫脚石直接补 Seq2Seq 的洞。2014 年,巴拿乌(Dzmitry Bahdanau)、丘恩赫云(Kyunghyun Cho)与本吉奥(Yoshua Bengio)提出注意力机制:解码器每生成一个词,不再只看那个压缩向量,而是回头“看”编码器的全部中间状态,为每个位置算一个相关度权重,按权重加权取用——与当前词最相关的源语言位置权重最高,无关的位置权重趋近于零。这就是后来通称的软对齐:翻译 bank 一词时,注意力自动对齐到原文的河岸或银行所在的位置;把权重画出来,能看到目标词与源词之间的对齐线条,与语言学家的手工标注高度吻合——机器自己学出了对齐,没有用任何对齐标注。这是注意力机制在神经网络里的首次登场,它把“整句压一个向量”的信息瓶颈拆成了“每个目标词各取所需”的按需读取,长句翻译的质量瓶颈当场松动。注意力一词也由此第一次进入业内的核心词汇表,此后三年,“加注意力”成了序列任务的标配改进。不过 2014 年版注意力有个耐人寻味的局限:它长在循环网络的骨架上——注意力的权重好算了,底下的编码器解码器仍是逐时间步串行的 RNN;注意力解决了“看哪里”,没解决“算多快”。把注意力从修补件升格为主体的那一步,要等三年。回头看,两块垫脚石已经把原料备齐:词向量证明语言可以住进几何空间,软对齐证明信息的取舍可以由权重决定——剩下的问题是这两个部件都还趴在循环的骨架上。2017 年的论文做的是一次彻底的移植手术:把词向量的几何与注意力的路由从循环骨架上整体切下,装进一个纯矩阵的并行骨架。手术的每一刀,下一节逐一看过。

三个矩阵,一次乘法

2017 年 6 月,谷歌团队的论文把这个机制彻底重写:既然注意力的本质是“按相关度加权取用信息”,那它本身就可以写成纯矩阵运算——循环结构可以整个扔掉。这就是标题的含义:注意力就是你所需要的一切。新架构 Transformer 的核心运算叫缩放点积注意力,公式只有一行:Attention(Q, K, V) = softmax(QK^T/√d_k)·V。三个矩阵全部来自同一个输入 X:X 乘上三个可学习的权重矩阵,得到查询矩阵 Q(我在找什么)、键矩阵 K(我能提供什么)、值矩阵 V(我实际携带的内容)。三个名字借自检索系统的语言:Q 是检索词,K 是每条文档的索引项,V 是文档本体——检索时用查询词匹配索引,命中哪条就把哪条的内容取回来;注意力做的是同一件事的连续版,而且每条都按匹配度按比例取用,没有非黑即白的取舍。每个词各出一条查询,去和所有词的键做点积——点积越大,说明“我要找的”与“它提供的”越匹配;全部点积组成一个 n×n 的关联度矩阵,过一遍 softmax 归一成每行的权重分布,再拿权重对 V 加权求和——每个位置的输出,就是按相关度混合了全句信息的表示。拿一个三词的句子走一遍:输入“猫追老鼠”,算“追”的新表示时,“追”的查询分别与“猫”和“老鼠”的键做点积,两个都高——“追”的主语与宾语被同时拉进它的输出;算“老鼠”的输出时,“老鼠”的查询对“追”的键给出高分——它记住了自己是被追的一方。一次前向,句子里的每个词同时看完了所有其他词。

公式里那个除以 √d_k 不是随手写的,它有自己的推导:设查询与键的分量独立同分布、均值零方差一,则点积的方差等于维度 d_k——维度越高,点积的绝对值越大,softmax 的输入被推进饱和区,梯度趋近于零,反向传播失效;除以 √d_k 恰好把方差归一化回一,训练恢复稳定。论文的消融实验为这个除法标了价:去掉缩放,BLEU 从 25.8 掉到 24.3。一组最简单的乘加,配上一行几何直觉,撑起了整个架构的承重墙。自注意力还有一件对硬件无声友好的事:它的全部计算是静态的稠密矩阵乘加,没有循环、没有分支、没有数据依赖的控制流——编译器可以把整层的运算一次性排满所有流处理器,GPU 的调度器不用做任何猜测;循环网络的每一步都可能改变下一步的计算内容,硬件的预取与调度处处碰壁,矩阵的世界里,硬件与软件第一次不用互相猜。这层特性的工业侧面同样深远:静态计算图对编译优化的友好,让后来的推理引擎、量化方案、批处理框架都能在这个架构上做深做透——架构的“规整”本身,就是一份写给整个生态的公开邀请。

真正的工程魔术在多头注意力(multi-head attention)这一步。如果只有一套 Q/K/V,整个网络只有一种“看句子的方式”;Transformer 把 d_model=512 维的输入并行投影到 h=8 个子空间,每个子空间维度 d_k=512/8=64,八个头各自独立做一遍缩放点积注意力,八个输出拼接后再线性投影回来。最后的投影不可省略:八个头各看各的子空间,维度与视角都不同,要把八份观察合并成一份统一的表示,需要一次可学习的线性变换把它们对齐到同一个输出空间。每个头像一位分工不同的读者:有的头盯语法结构,有的头追踪指代,有的头对齐跨句的语义关联——八个视角并行扫描,互不干扰,最后合并成全景。后续的可视化研究把各头的行为摆上显微镜,证实了分工并非设计者的愿望而是训练自然涌现的事实——头与头确实学会了各看各的东西。这套设计在精神上接近集成:多个略带差异的视角各自给出判断,合并后的判断比任何单一视角都更稳;它又比集成便宜——八个头共享同一次输入读取,差别只在三组投影矩阵,增加一个头的边际成本远小于再训一个模型。为什么恰好是八个?论文做过消融:一个头 BLEU 24.9,八个头 25.8,三十二个头反而回落到 25.4——头太少看不全,头太多则每个头分到的维度太薄;八个头是那个配置下的最优值。还有一处必须点到的细节是位置编码:注意力本身对顺序完全无感——把句子词序打乱,注意力的计算结果一成不变,而语言显然在乎顺序。Transformer 的解法是在词嵌入上逐元素加一组正弦位置编码:PE(pos,2i)=sin(pos/10000^(2i/d_model)),PE(pos,2i+1)=cos(pos/10000^(2i/d_model))——每个位置得到一组独一无二的正弦指纹,不同位置的编码之间存在线性关系,相对位置可以被网络隐式学到;它还能外推到训练时没见过的更长序列。至此,机械骨架全部到齐:嵌入加位置编码进编码器,编码器六层堆叠,每层八个头的自注意力加前馈网络,残差连接与层归一化护航;解码器多一层对编码器输出的交叉注意力——它的查询来自解码端,键与值来自编码器的输出,翻译时每个目标词据此回望原文;自注意力加掩码防止偷看未来——生成第 5 个词时,第 6 词以后的位置在注意力里被遮住,否则模型训练时背答案、推理时没答案。前馈网络是每个位置独立通过的两层全连接,负责注意力汇合之后的信息加工;残差与归一化负责让六层堆叠训得动——这两件是第 103、105 章以来深度网络的标准配置,Transformer 沿用而已。

        输入 X (n × 512, 已加位置编码)  
              │  
      ┌───────┼───────┐      三组可学习投影  
      ▼       ▼       ▼  
    Q=XW^Q  K=XW^K  V=XW^V     (n × 512)  
      │       │       │  
      │  分成 8 个头, 每头 64 维 │  
      ▼       ▼       ▼  
  每头: softmax(QK^T/√64)·V   ← 缩放点积注意力  
      │       │       │  
      └─── 8 头输出拼接 ───┘  
              ▼  
        线性投影回 512 维  
              ▼  
      加残差 → 层归一化 → 前馈网络  

一张表格的宣判

论文里最该逐字读的,是一张不起眼的表(Table 1):三种序列建模层的三项指标对比。自注意力每层的计算复杂度是 O(n²·d)——n 个位置两两算关联,每对做 d 维乘加;循环网络每层是 O(n·d²)——n 步串行,每步 d×d 的状态更新。两个式子放进真实尺度就能比出高下:机器翻译的句子几十到几百词,预训练的上下文以千计——按 n=512、d=512 粗算,自注意力一层要做约 512³ 量级的乘加,循环网络一层也是 512³ 量级,单层成本同级;差别全在后续两列。宣判在后面两行:循环网络的顺序操作是 O(n)——n 步必须一步步来,并行度被锁死;最大路径长度也是 O(n)——首尾两个词之间的信息要中转 n 次。自注意力的两项都是 O(1):整句一次矩阵乘法铺满 GPU,任意两个词之间的信息只隔一次注意力直达。三项指标合起来读,结论清晰得不留余地:自注意力用平方的计算复杂度,买断了并行的自由与长程的直达;在 GPU 时代,这是一笔稳赚的交易——算力年年变便宜,串行的时间却永远买不回来。表的关键不在哪一行算得更快,在“顺序操作”那一列:它衡量一个计算被拆给并行硬件的难度——顺序操作是 O(n) 的层,无论 GPU 多强,速度被串行链钉死;顺序操作是 O(1) 的层,整层计算摊成一张大矩阵,所有小核同时开工。这就是所谓“重构数据结构”的准确含义:把计算重排成并行硬件吃得下的形状——n×n 的方形矩阵,恰是 GPU 最擅长吞的形状。这张表常被略读的细节是它的姿态:把三种层放在同一张纸面上逐列比较,等于公开宣布序列建模的选型从此有了一张统一的度量衡——后来的每一次架构之争,本质上都是这张表的重考。

这正是本章的题眼,也是本书立此存照的核心断言:Transformer 不是算法层面的单纯升级,而是为了迎合大规模 GPU 集群并行训练而彻底重构数据结构的工程壮举。把这句话说透:自注意力所依赖的原料——词嵌入、加权求和、软对齐——早在 2013 到 2014 年就齐了;2017 年的革命性不在发明了新的数学,而在把已知的数学重新排列成 GPU 喜欢吃的形状——把“沿时间循环”重排成“一次性全矩阵”,让每一层、每一个头、每一个位置的计算同时铺开。论文自己给出的消融为这次重排标了验收数据:八头对单头的提升、缩放对不缩放的提升、掩码对作弊的防堵、标签平滑把测试 BLEU 从 27.5 推到 28.3——每一项都不惊人,每一项都发生在“矩阵可并行”这个大前提之下。这一章与第 091 章 Raft 的故事形成了微妙的对仗:Raft 的胜利是把已有机制排列成易懂的结构,Transformer 的胜利是把已有机制排列成可并行的结构;两次都不是新数学的胜利,都是工程重构的胜利——而工程重构的胜负手,是看清硬件要什么。

账面成绩单同样完整:WMT 2014 英德翻译的基础模型 BLEU 25.8,放大的模型配合标签平滑后达到 28.3,创下当时纪录;同一架构不加任务特异修改,直接拿去做英语句法分析,F1 值 91.3、半监督下 92.7,超过此前的专用模型。翻译论文顺手赢了句法分析,这个细节预告了它真正的身份——它不是一个翻译模型,是一种通用的序列计算结构;凡是可以写成“一组向量互相注视”的问题,它都能接管。这个判断在随后一年就被兑现:2018 年,谷歌的 BERT 与 OpenAI 的 GPT-1 相继建立在 Transformer 的骨架上,分别验证了“大规模无监督预训练加下游微调”的路线——大模型时代的大门,开在这篇翻译论文的延长线上。预训练的语料按 token 计量,训练的算力按 GPU 的卡时计量,两种计量单位后来各自长成了本章与下一章的通用货币;货币的信用,就是从这纸 28.3 的成绩单开始建立的。这也解释了为什么此后所有顶尖语言模型的名字里都嵌着同一个词根——无论各家在目标与数据上如何分化,骨架上的签名出自同一个文件:那篇六月的翻译论文。八位作者当年未必预料到这句话会以何种方式应验,但他们把架构取名为 Transformer(变换器)时,至少说对了一半:它确实变换了序列计算,随后又变换了整个行业。

账单的背面:KV Cache

Transformer 拿到的并行红利集中在训练;推理(生成文本)暴露了它自己的账单。训练与生成的不对称先要说清:训练时,整段文本一次性进网络,所有位置的自注意力同时计算,GPU 的并行能力被吃满;生成时,文本一个词一个词地往外蹦,后一个词依赖前一个词的结果,想并行也并行不了——训练是并行的盛宴,生成是串行的苦役,同一个架构的两种命运。这个不对称的商业后果随即显现:训练的花销集中在少数巨头的一次性投入,推理的花销摊在每一次用户请求上、细水长流——大模型行业此后“训练贵一次、推理贵一辈子”的营收结构,源头就在这里。文本生成是自回归的:模型一次生成一个词,把新词接回句尾,再生成下一个——每一步都要对“当前全部上文”做一次注意力。麻烦在注意力的公式里:每一步都要用到全部历史词的 K 与 V。如果每一步都从头重算所有历史位置的 K/V,一轮生成要在重复计算上浪费平方级的算力。工程界给出的解法是 KV 缓存(KV Cache):利用注意力的一个数学性质——历史词的 K 和 V 在它们生成之后就完全确定、永远不再变化,唯独 Q 由当前词实时算出——把每个词的 K、V 算一次就存进显存,之后每步只算新词的 Q,与缓存里的历史 K/V 做注意力。缓存的体积有一张清晰的算术表:层数×头数×已生成长度×每头维度×每数字节数——每一项翻倍,缓存翻倍;上下文越长、模型越深、并发越多,这块按 token 计费的显存涨得越快。长上下文场景下,KV Cache 的显存占用成为推理服务器最中心的约束——不少服务器是在算力还没跑满之前,先被显存撑爆的。行业给出的应对是精打细算:把缓存从 FP16 压到 INT8 甚至 INT4 的量化、按需调度批处理、各式缓存共享与淘汰策略;上下文窗口本身则在此后逐代翻倍——谁能让模型“记得更久”,谁就多拿下一轮的订单。第 108 章里那些按思考时间计费的推理服务,每一秒的“思考”背后,都有一块按 token 计费的显存在为注意力保管历史。这是 Transformer 结构自带的特性:它把训练的并行性提到了极限,也把推理的记忆压力写进了 DNA——并行与记忆,是同一枚硬币的两面。

训练的效率提升同样立竿见影:同样的翻译质量,Transformer 的训练时间远短于循环网络对手——并行吃满硬件,等于把硬件的每一分钱都变成了当期的算力;研究迭代的周期随之缩短,试验一个新想法从按周计变成按天计。时间的复利在此后几年显形:用 Transformer 武装的团队,一年能做完循环网络团队几年的实验量,架构的优势滚成了研究的速度优势,速度优势又滚成人才与数据的聚集优势——结构的选择,最终变成了生态的选择。而这条加速曲线的下一站,正是第 108 章的规模法则:当结构的每一层都为并行而设,加算力就等于加能力,两个章节之间的因果,至此完全接通。

把本章放回全书的线里,它承上启下的位置一目了然。上一章 AlphaGo 用卷积网络与强化学习在棋盘上封神,但那套系统看不懂语言——围棋的输入是 19×19 的固定棋盘,语言的输入是长度无定、词义相依的序列;本章的 Transformer 正是为语言这种“变长且全互相依赖”的序列量身重排的结构,它把语言的底座从循环网络换成了注意力矩阵。下一章的规模法则将证明:这个底座有一个罕见的性质——喂给它更多的数据与算力,它会稳定变强;于是第 105 章的算力、本章的结构、第 108 章的规模,三件事在同一条曲线上合流,两百年抽象史的最后一段冲线,用的正是这台为 GPU 重写过结构的机器。抽象的主线也在此完成了最后一跳:两百年的起点是把语言里的逻辑抽成代数;中间的每一站都在换抽象的载体——符号、开关、汇编、高级语言、协议、界面;到本章,语言本身被抽成了矩阵,抽象的载体与抽象的对象合为一体。铜线载过电,电载过开关,开关载过逻辑,逻辑最后载动了语言——这条载重逐级上移的链条,本章是它承重最大的一环。

本章的断言是:Transformer 不是算法层面的单纯升级,而是为迎合大规模 GPU 集群并行训练而彻底重构数据结构的工程壮举——RNN 的串行链被拆成 Q/K/V 的矩阵乘法,循环的时间轴被折叠进注意力的全连接网格,这次重构把“序列建模”从串行的世界整体搬进了并行的世界;它宣告深度学习的下一个十年,属于那些愿意为硬件的形状重写自己结构的系统。这个断言可以被反驳:如果平方复杂度在超长序列上重新成为不可逾越的墙——线性注意力的变体最终以更低的代价达到同等效果——那么这次重构就只是 GPU 时代前十五年的局部最优,序列建模会绕回更便宜的结构;同样,如果注意力之外的形式(状态空间模型、现代化改造的线性递归)在长序列上证明自己,那么“注意力就是一切”就只是 2017 到 2024 年间的阶段性口号。反驳并非空谈:n² 的注意力矩阵从一开始就是优化者的靶子,此后每个长上下文的年会都会出现几个“更便宜的自注意力”候选;它们至今没有把原版请下台,但这条潜在的退路本身就写进了 Transformer 的账本——它买下并行的代价是平方的复杂度,这笔账总有一天要重算。判据也早就写在了那张表里:哪一种结构能把“顺序操作”那一栏压得更低、同时保住质量,哪一种就是下一个十年的骨架——评判标准从未改变,变的只是候选的名字。


第 108 章 2020—2026:大模型、规模法则与智能体的未来

2020 年之前,训练一个深度模型像炼金:配方靠口口相传,火候靠玄学手感,学习率调大一档是灵感还是灾难,只有训完才知道——而训完的成本已经以百万美元计。2020 年,OpenAI 的 Kaplan 等人发表了一条幂律:模型的性能损失随参数量、数据量与算力的增加按幂律平滑下降,把小模型的成绩画在图上拟合出直线,往右外推,就能提前预估大模型训出来的表现。深度学习从此被拽进“可预测”的地界:不用真花几亿美元把大模型训完才知道它行不行,敢砸下几亿美元的信心,就是这条直线给的。本章讲完这六年:一条让整个行业敢于负债的定律,一笔把模型推过千亿参数的账本,一次把文本预测器变成助手并对齐人类意图的对齐工程,一种把“思考时间”本身变成商品的新标度——然后,按全书立下的规矩,翻开这台机器的账单背面:谁的劳动在喂养它,谁的作品在填充它,谁的岗位在它面前动摇。最后,把两百年的抽象闭环合上。

一条把炼金术变成化学的直线

规模法则(scaling laws)的论文本身薄得不像历史文献:几组在不同规模下训练的模型,一条拟合出来的幂律曲线,外推出更大模型的预期损失。它的分量全在改变了一个行业的决策方式。此前深度学习被讥讽为炼金术——从业者知道什么配方有效,说不清为什么有效,更估不出加倍的投入能换来多少回报;炼金术士的日常是调学习率、换初始化、改批大小,每一步都靠经验与运气,一个项目的成败在训完之前无从验证。资本面对的是一个黑箱,投入与产出之间没有可验证的函数;学术面对的是另一重尴尬:论文里的每个提升都无法排除“只是运气好”的怀疑。幂律给出了那个函数:性能是可以预测的,而且预测只需要跑几个小模型——先花百分之一的算力拟合直线,再外推百分之一百的算力能买到什么。训练大模型从一次豪赌变成一笔可以测算的投资,风险仍有,但斜率已知;立项报告第一次可以像基建项目一样写投入产出表。此后数年,各大公司以十亿美元计的训练预算,每一笔的立项依据里都躺着这条曲线的外推;说这条直线养出了此后整个大模型行业,并不夸张。

定律还顺手改写了行业的时间感。有了可外推的曲线,训练前就能回答三个此前只能赌的问题:这批算力训出的模型大概什么水平、再翻一倍的参数能多买多少性能、数据加到多少开始边际递减。战略规划从“训出来看”变成“先算后训”,算力的采购、机房的选址、数据的签约,全部前移到训练开始之前——AI 公司的财务模型第一次可以像晶圆厂一样编制。幂律把玄学变成报表,把实验室的手艺变成工业的排期;这一步的深远程度,要到下一节的账本里才能看全。

定律的反面同样值得记录:2020 年的 Kaplan 版本在“固定算力该怎么分配”这个关键问题上,后来被发现存在明显偏差——它建议的参数扩张快于数据扩张,2022 年被 DeepMind 的后续研究修正(下一节细说)。这段插曲不影响幂律本身的地位,却给所有相信定律的人提了个醒:经验定律是从当时的实验范围内归纳出来的,外推到范围之外,定律自己也要接受重审。科学史上这样的修正不算新闻;新闻是这次修正发生在定律发表的两年之内,而且修正者与被修正者都以“规模”为信条——定律的可修正性,恰恰是它区别于炼金术的地方。炼金术的错误只能被遗忘,定律的错误可以被计算着改正。

把这条直线放回全书的主线上,它还有一层对照的意义。第 016 章的摩尔定律管的是硬件的节拍——每十八个月晶体管翻一番,五十年里它一直是计算进步的默认时钟;规模法则是智能侧的摩尔定律:它不给晶体管计数,给能力定价。两条定律在此后数年叠成了行业的双重节拍:摩尔定律决定算力单价每年降多少,规模法则决定同样的算力能买多少智能;两线相乘,就是大模型每年变强变便宜的复合速度。上一代科技行业按摩尔定律排产品路线,这一代按两条定律一起排——节拍器的数量翻倍,节拍的确定性却各自打折:摩尔的节拍已近物理极限,幂律的节拍还不知道极限在哪里;极限未知这件事本身,成了这一代行业信心里最昂贵的成分。

大力出奇迹的账本

定律给了信心,账本给出节奏。在排时间线之前,先看清“参数量”这个指标背后的经济学:参数是大模型的原材料——每一个参数都是一个可学习的旋钮,模型的记忆与技能都存在这几百亿到几万亿个旋钮的设定值里;参数翻倍,旋钮翻倍,能记住与能学会的东西的上限就抬高一层。旋钮本身不产生智能,智能来自用海量数据把每个旋钮拧到合适位置的训练过程;训练的算力消耗与参数量、数据量同时成正比,所以参数量级实际上是算力需求的另一种写法——第 105 章的账单在这一章换算成了参数的计数单位。这一节把参数量级的时间线排开:2018 年,谷歌的 BERT 与 OpenAI 的 GPT-1 分别验证了“大规模无监督预训练加下游微调”的路线——模型先在海量未标注文本上自学语言的统计结构,再针对具体任务微调;GPT-1 的参数约 1.17 亿。2020 年,GPT-3 把参数推到 1750 亿——上一代 GPT-2 是十五亿,一年之间放大了一百多倍,光是把这些参数存下来就需要约 800GB 的存储;它用互联网规模的海量语料完成预训练,行业公认的“大模型时代”自此起算。两年,一千五百倍的参数膨胀,这样的速度在传统软件史上没有先例——它的燃料是三条线的同时到位:互联网数十年的文本语料早已堆在硬盘里,GPU 集群的算力在第 105 章之后逐年翻番,幂律则保证了投入不会打水漂。

参数堆起来之后,更大的意外在用法上。GPT-3 展示了少样本提示与上下文学习(in-context learning):不需要重新训练,不需要改一个参数,只要在提示里给它几个例子,它就能照猫画虎地完成新任务——几个翻译样例之后它继续翻译,几个问答样例之后它继续问答,任务的信息全在提示里,模型的权重一动不动。此前的机器学习范式里,换一个任务就要重新收集数据、重新训练、重新部署;GPT-3 把“学会一个新任务”的成本压到了写几行提示词。学界为此造了一个词:基础模型(foundation model)——一个模型垫底,无数任务往上盖;模型从解决某个问题的工具,变成承载很多问题的基础设施。这个转变改变了能力的生产方式:从一次性工程变成可以反复调用的底座。回看第 092 章的异构大厦——那里每种负载各配一件专用兵器,兵器之间的接缝是故障的高发区;基础模型用“一个底座加提示”的方案,把相当一部分接缝直接抹掉了。工具的专用化与底座的通用化,在六年间先后领过风骚,后者的野心明显更大。上下文学习为什么有效,学界至今没有完全一致的答案——主流猜想是大规模预训练让模型在权重里学会了“如何从示例中学习”这种元能力,提示只是触发了它;猜想尚未定案,这恰好再次提醒:这一章的每一个工程胜利下面,都压着一层未被完全理解的地基。

账本在 2022 年被 DeepMind 重记了一次。Chinchilla 论文(作者 Hoffmann、Borgeaud、Mensch 等)回答了幂律留下的那个分配问题:在固定算力预算下,参数量与训练数据量应该按比例同步放大,最优配比约为每个参数二十个 token 的训练数据。这个发现立刻改写了行业的训练配方——此前多数大模型“参数大、数据相对少”,按 Chinchilla 的标准属于“训练不足”;按新配方重训的模型用更小的参数量达到了更高的水平,省下的算力可以多训几轮或多盖几座机房。两版定律的更替是这一章里最干净的科学时刻:同一个方法、更完整的实验、一次公开的修正,行业跟着改配方,没有人意气用事。大力出奇迹没有错,但“大力”怎么花,从此有了经过同行检验的价目表;价目表甚至给出了折扣率——同样一笔算力,按对的比例花,能多买两倍的模型水平。

把预测器变成助手

参数与数据堆出来的模型有一个先天身份:预测器——给定前文,续写下一段最可能的文字。这个身份离“助手”隔着一条深沟:你让它给六岁小孩讲解登月,它可能续出一段辞藻华丽却答非所问的文字,因为它在模仿训练语料的统计规律,“听话”不在统计的目标里。2022 年 3 月,OpenAI 发表 InstructGPT 论文《Training language models to follow instructions with human feedback》,用人类反馈强化学习(RLHF)把这条沟填上了。工程分三步:第一步,监督微调——请人写下大量高质量的问答示范,让模型先模仿“听懂指令的样子”;第二步,训练奖励模型——让人类对同一个问题的多个回答排出好坏,把这些排序训练成一个能给任意回答打分的裁判;第三步,强化学习——用这个裁判当奖励信号,按上一章 AlphaGo 的套路让语言模型朝着高分回答的方向优化。三步走完,同一台 GPT-3 从“续写文本的机器”变成了“按指令行事的助手”——人类评分把一个文本预测器变成了助手。

RLHF 与 AlphaGo 是同一套强化学习的两种用法,差异藏在奖励信号的来源里。围棋的奖励由胜负自动给出,一局终了没有任何歧义;语言的“好回答”没有客观裁判——同一道题的一百个回答,孰优孰劣随提问者的意图与场合而变,任何自动指标都量不准。RLHF 的解法是把裁判外包给人类:人觉得好,分数就高。这个转接在工程上顺理成章,在成本结构上却意味深长——它把“对齐”这项工作的成本从算力转移到了人力(本章第五节会回到这笔账),也把“什么算好”的定义权交给了打分的样本与流程。对齐之后的模型在 2022 年底以 ChatGPT 的名字面世,对话式的界面把此前只在论文里的能力交到了数亿普通用户手里;自然语言既是它的输入,也是它的输出,更是它的使用说明书——上一章里机器学会了下人类最难的棋,这一章里机器用人类最通用的语言接受指令。人与机器的接口,在两百年后的这一刻,回到了人最不费力的一端。

对齐本身也不是免费的午餐,行业里给它起了个名字叫对齐税:经过 RLHF 的模型在部分基准上的原始能力略低于未对齐的版本——礼貌、谨慎与拒答的边界,都是用一点原始智商换来的。这笔税的争议持续至今:换来的方面(可用性、安全性、指令遵循)在产品层面远比失去的那点分数值钱,ChatGPT 的商业成功本身就是裁决;但它揭示的结构值得记录——模型的能力与模型的品行,在训练目标里是两个需要反复权衡的项,此消彼长不总发生,可每一次发生都要有人签字。签字的依据一半来自伦理讨论,一半来自留存率报表;对齐的方向从来都由这两只手共同推着走。

能力的另一条线在提示技巧上爆开:思维链(chain of thought)。2022 年的研究发现,只要在提示里让模型“一步一步想”,它在数学与推理类任务上的正确率显著上升——推理能力不需要改架构,引导输出的格式就能放大。随之而来的是“涌现”的讨论:某些能力在小模型上接近于零,参数跨过某个量级后突然出现,规模与能力的关系不像平滑的曲线,更像断崖式的跳变。涌现的判定标准与成因在学界至今有争论:一派认为跳变是真实的相变——能力在某个规模之下根本不存在、之上突然可用;另一派认为跳变是度量方式的假象——换一套连续计分的标尺,陡峭的台阶就还原成平缓的斜坡。争论没有裁决,但它的行业心理影响实在:既然能力会随规模涌现,更大的模型就可能带来今天无法预见的能力。这条信念与幂律的平滑外推合在一起,构成此后所有训练预算的心理学基础:可预测的部分给资本胆量,可能涌现的部分给资本想象——平滑与跳变各司其职,把不确定性的两端都变成了投资的理由。

从像素到推理:两种新的标度

大模型的版图在两条轴上同时扩张。第一条轴是模态:文本之外,图像生成以潜空间扩散模型(latent diffusion)的路线成熟——模型学会在压缩的潜空间里逐步去除噪声,把一段文字描述还原成一张图像;训练时它见过亿万对“图像与描述”,学会的是从文字的语义走向像素分布的路径。扩散的机制可以粗略类比为雕刻:从一块随机的噪点大理石开始,每一步都按文字描述的方向凿掉一点噪声,几十步之后图像从混沌里显形;它与上一章强化学习的差别在于,它学的不是决策而是生成路径,奖励信号换成了“与真实图像分布的距离”。文字续写与图像生成共用同一套“预测下一个状态”的底层逻辑,只是预测的对象从词换成了像素的去噪方向;多模态此后成为标配,一个模型同时读文字与图像,输出口同时开放两种介质。模态的扩张让“模型”与“世界”的接口变宽:看得懂的不再只是文字,还有图、声、视频;对人类而言,接口的每一次加宽,都意味着一批新的使用者不再需要任何技术训练。

第二条轴是推理本身。2024 年 9 月 12 日,OpenAI 发布 o1 系列(o1-preview 与 o1-mini),官方的描述是:用强化学习训练模型执行复杂推理,让它“在回答之前先思考”——回应之前产生一长串内在的思维链。基准成绩给了这个描述以分量:竞赛编程平台 Codeforces 上的表现超过百分之八十九的参赛者,AIME 数学资格赛的解题率大幅跃升。o1 的真正新意不在分数,在商业模式:它是第一个把“思考时间”当卖点的模型——用户第一次需要等一个聊天机器人“想”十几秒再回答,等待换来更准的答案;行业把由此开辟的方向称作测试时计算(test-time compute)的标度:模型能力的提升不再只来自训练阶段的参数与数据,还可以来自推理阶段的多花时间——同一道题,一步给答案是一档,展开思维链反复自我检查是另一档。训练与推理两条轴从此都能“大力出奇迹”。标度的扩张也改变了用户的体验结构:快与准从此是显式的选择项——闲聊走快速档,解题走思考档,等待的时间明码标价;思考第一次在机器这里成了可以被感知、被计价、被选择的行为。

从 2022 年的思维链提示到 2024 年的 o1,中间隔了四年,三步的时间线值得排开:提示技巧先证明了推理可以被格式放大,强化学习的学术原型再证明了推理可以被训练内化,最后产品把推理变成可计费、可调度的资源——最后一步才是真正的分水岭,因为前两步改变的只是研究者的论文,第三步改变的是每一笔算力账单的结构。第 105 章那间插着两块显卡的实验室,到这里已经长成了按秒出售思考的电厂;而“思考”成为计费单位这件事本身,也在提醒这一章的读者:本节标题里的两种标度——参数的标度与思考的标度——最终都会落回第五节要清点的那几笔账上。

章标题里的另一个词——“智能体”——需要单独交底,因为它是这六年从模型走向系统的最后一跳。对话模型是应答机:问一句答一句;智能体是办事员:接到目标后自己拆解步骤、调用工具、检查结果、修正方向,直到任务完成。从应答机到办事员,中间隔着一整套工程:给模型接上搜索与代码执行的工具手、给它可以读写的工作记忆、给它多步任务的规划与自我检查的回路。2020 年代中期,这套工程的每一件零件都已分别存在——模型的推理在涨,工具调用的接口在标准化,多步框架在开源社区里迭代;把它们装配成可靠智能体的难点不在单件,在串联:十步任务的可靠性是十步可靠性的连乘,每一步百分之九十,十步之后只剩三成半。智能体的未来因此不取决于模型还要多聪明,也取决于串联的工程能把每一步的可靠性抬到多高——这条工程路线的终点没有人知道,但它的起点已经清楚:从应答到办事,每一级的台阶都是工程而非奇迹。

谁在为智能体买单

按全书的规矩,讲完成绩要翻账单。这一节是全书隐线的总清算:两百年前,布尔把逻辑抽成符号时没有雇过一名标注工,香农用开关搭电路时不需要任何人给他的论文打分;两百年后,被称为智能的系统在每一次进步里都有人的劳动、人的作品、人的岗位为其买单。这笔账分三笔,一笔记劳动,一笔记作品,一笔记岗位;三笔账的共同结构先说在前头——它们都发生在公众视野的边缘,都由最没有议价能力的一方承担,都被系统的成功叙事覆盖在最底层。

第一笔记隐匿的劳动。对齐后的模型之所以“干净”,前提是有人替它见过所有肮脏:2023 年 1 月,《时代周刊》的调查报告披露,OpenAI 在 2021 年底与外包公司 Sama 签了三份总价值约二十万美元的合同,由肯尼亚内罗毕的工人为 ChatGPT 标注有害内容——OpenAI 付给 Sama 的合同价是每小时 12.5 美元,工人的实际时薪约在 1.32 至 2 美元之间,差额的大部分进了管理费与中间环节:中间商赚走的差价,比工人的卖命钱高出近十倍;工人每九小时要阅读并标注一百五十到两百段文字,每段从一百个单词到一千多个单词不等,内容充满暴力、血腥与虐待的细节;部分工人向调查者描述了持续的心理创伤。同类的外包线还延伸到委内瑞拉与菲律宾,为数据标注与内容审核提供低价劳动力。账目的另一面也要如实记下:Sama 自我表述为“道德公司”,称其业务已帮助超过五万人摆脱贫困;2024 年 11 月,CBS《60 分钟》的报道在承认数据标注为肯尼亚创造大量就业的同时,指出薪资过低、工时过长与审查内容造成的心理伤害;2023 年 5 月,一百五十多名非洲内容审核员投票成立了工会——成员全部来自第三方承包商,服务对象包括 Facebook、TikTok 与 OpenAI。争议双方各有自己的账本,这恰恰说明这笔成本刚刚进入被看见的阶段。RLHF 把人类的偏好接进了强化学习的闭环(上一章结尾埋下的那座桥),桥面上走的是模型,桥墩是按小时计费的判断力——每一个评分都是一次认知劳动,每一条毒性标注都是一次替模型服毒。这笔劳动的代价有两层。看得见的一层是心理的:直面剧毒内容按小时计费,创伤由劳动者自己消化。更隐蔽的一层是工程性的:标注的质量取决于标注者的状态,疲惫、赶工、麻木的人会猜,猜错的标签直接污染奖励模型——被压到极限的劳动不仅伤害劳动者本人,也在悄悄稀释系统赖以对齐的信号质量。压价省下的每一美元,都在模型的判断力里留下一道细小的裂纹。账单的第一行因此必须写明:模型的对齐不是免费的,它有工资单,工资单上的数字与它保护的用户规模完全不成比例——每一位用户流畅得体的对话背后,都有若干个九小时的阅读与按段计费的忍耐。

第二笔记作品。大模型的训练语料来自互联网,而互联网上的文字、代码、画作与音乐,绝大多数是数十年间数十亿创作者的智力成果——受版权保护,未经授权,没有被征求过同意,也没有获得报酬。训练过程把这些作品压缩进千亿乃至万亿个参数里,模型的输出能力在统计意义上包含了它们,而原作者对此既不知情也无从索赔。规模感可以让这笔征收的量级现形:一个前沿模型动辄吞下数万亿 token 的语料,按人均一生的阅读量折算,相当于它“读过”了几千万人辈辈代代的积累——而这些积累的创作者们,得到的通知是一条更新日志里悄悄变更的数据政策。争议在 2020 年代中期激化为公开的法律与政策战场:创作者抗议“无偿使用”——涂鸦艺术家李朱男说,有些原创者经历了数十年的基本功训练与审美积累,才形成有辨识度的风格,直接免费成了 AI 训练的素材,对他们付出的努力很不公平;视觉设计师张瑞补充,更多的普通原创者甚至无法及时发现自己的作品被投入训练——看不见的征收,连抗辩的入口都没有。各法域的应对开始分化:2026 年 3 月,英国的新规收紧了对 AI 训练抓取的放任态度,版权谈判桌第一次向创作者倾斜;更多法域仍在“产业速度”与“创作者权利”之间摇摆,管制的洼地与高地之间,数据的流向随规则迁徙。这场拉锯的本质,是数据主权在个人层面的形态——第 078 章讲过国境线划在副本表上,这一章的划法更细:每一次抓取都是一次未经签字的征收,每一个参数都是一份没有署名的引用。训练数据的征收如果永远免费,创作生态的上游就会被抽干——模型读过最多的书,写书的人却可能最先付不起继续写书的账;到那时,模型的下一顿饭,也将无米下锅。

第三笔记岗位。此前三次工业革命替代的是肢体力量与流程化劳作,被替代者可以沿技能阶梯向下或横向转移;生成式 AI 的替代第一次精确命中感知抽象、审美创造与中高级认知判断——初级程序员、文案策划、外语翻译、插画师这些职业的知识内核(把意图转译成规范产出的能力),恰恰是大模型最擅长复现的部分。结构性冲击已经显形:入门级的编程与文案岗位收缩,插画市场的委托单价与订单量在风格模型成熟后大幅下滑,翻译行业的价格体系被机器翻译重构。行业顶端的资深专家暂时安全,但梯子的下面几级正在消失——而没有下面几级的梯子,顶端的人也无从长成:今天的资深工程师都是当年的初级程序员,抽掉初级岗位的行业,十年后的资深岗位从哪里招人。这一笔账同样不能只算损失:同样这些工具也在放大单个从业者的产能,新岗位(提示工程、模型微调、数据审计、对齐评估)在旧岗位的收缩里开张;净效应的方向与速度,在 2020 年代中期仍是各执一词的进行时——进行时的账单最难记,因为它还没有结算日,而每一个从业者都在用职业生涯当筹码参与这场结算。新岗位的成色也要诚实记录:它们大多旧岗位少、新岗位多出的净额有限,且对从业者的转型速度要求苛刻——一个被重构的翻译从业者转岗提示工程,需要重学的技能并不少于当年入行时学的语言;转型的门开着,门框比原来窄。三笔账合起来是这一节的主句:智能体不是从算力与参数里凭空长出来的,它有工资单(标注工)、有参考文献(未被署名的创作者)、有失业通知(被重构的岗位);讨论智能的未来而不讨论这三笔账,等于讨论发电量而不问煤从哪里挖。三笔账还共享同一个时间结构:它们都是先使用、后结算——劳动先发生、工资后议价,作品先被抓取、规则后跟进,岗位先被替代、保障后讨论;结算的滞后不是疏忽,是技术速度与制度速度的固有落差。本书在卷八(第 084—086 章)说过制度壁垒是扩散的一部分,在这一章它换了个方向:制度不再拦着技术扩散,而是在追着技术补票。补票的速度,决定这三笔账最终由谁承担——目前看,承担者偏向账单上最沉默的那几方,而改变这个偏向的杠杆(立法、行业惯例、用户选择)都已存在,缺的是拉动的先后手。

两百年的抽象终局

现在可以合上这本两百年的账。两百年的起点是一个纯数学的动作:布尔把人类逻辑抽成代数——与、或、非从此是可以推演的符号,推理第一次脱离语言与直觉,变成纸面上可以机械执行的运算。第二个动作是接电:香农在硕士论文里证明布尔代数与开关电路的等价,符号获得了物理实体——继电器与电子管的通断从此可以执行逻辑,运算离开纸面进入金属。此后的每一章都在为这对开关加料:晶体管把开关缩小到纳米,集成电路把亿万个开关排进方寸,芯片按第 105 章的路线长成集群,集群按本章的账本装进万亿参数。中间的每一代也都留下过自己的抽象承诺——第 093 章的恩格尔巴特要机器增强人类智力,第 094 章的 PARC 让人人都有界面,第 097 章起的移动与云把机器塞进每个人的口袋——但所有这些承诺都默认机器需要人类翻译成指令;直到大模型出现,翻译这个环节本身被机器接管了。

于是有了两百年闭环的最后一条边:人类用近千瓦级芯片组成的集群、数万亿个参数,重新用自然语言向机器发号施令。命令的接口不再是打孔纸带、不再是汇编指令、不再是需要学习的图形界面,而是每个人从两岁起就在使用的母语——机器听懂了语言,靠的不是被写入语法,而是被喂饱了语料。两百年前的抽象起点与终点在同一个闭环上相遇:人类把语言交给机器去学,学成之后,机器与人类共享同一套发出指令的方式;抽象不再是人类单方面赋予机器的形状,抽象成了双方共处的介质。介质共享之后,新的契约问题随之而来:共处的双方,一方要解释自己的能力边界,一方要决定托付多少——两百年的抽象史把人类带到了这扇门前,门后的条款还没有写完。

这个闭环的最后一环需要按全书的诚实传统写清:今天的万亿参数系统是一台性能惊人却无法完全确证的黑箱。它可预测(幂律管着它的损失曲线)、可对齐(RLHF 管着它的输出得体)、可扩张(测试时计算管着它的思考深度),唯独不能被完全解释——没有人能从千亿个浮点参数里逐条指出“它为什么这样回答”,可解释性研究能照亮局部,照不亮全部;每一代模型的能力在涨,模型内部每个参数在干什么,人类的解释能力原地踏步。这种“造得出、说不清”的状态在计算史上没有先例:早年的电路每个门电路可查可测,软件的每行代码可读可审,故障可以顺着逻辑逐级追责;大模型的“知识”弥散在参数的相关性里,没有一条单独的连线对应一条单独的信念。可解释性研究能从参数里捞出特征的碎影,捞不出完整的因果陈述——理解方式的这场退化,是智能账单上最隐性的一行。第 105 章末尾的断言在更大的尺度上应验了:基础设施的胜利先于理解的胜利——我们造出了比自己更会下棋、更会写代码的系统,而不完全知道它们是怎么会的。全书的六条显性主线也各自在这一章找到了归宿:抽象与泄漏——语言模型是最强的抽象机器,也是泄漏最深的一层,幻觉与黑箱都是泄漏的别名;兼容与路径依赖——Transformer 与 CUDA 的组合成了新的路径依赖,绕开的代价逐年上涨;主导约束的迁移——从磁盘到内存到算力再到电力,第 105 章的账单在这里成为主导约束本身;标准化与地缘——模型的训练算力与芯片供应把第 086 章的主权题重新出了一遍;认知负荷与平民化——自然语言接口把机器的使用门槛降到了会说话即可,第 098 章的赋权故事在这里翻到了最大的一页;并行性与免费午餐——GPU 的并行吞吐从矩阵乘法一路吃到注意力,免费午餐的终结被推迟了,但电费的加速上涨提醒着所有人它从未被废除。把这本两百年账合上时,留给读者的不是一句结论,而是一道已知的未解题:我们造出了两百年前无法想象的符号机器,如今它用我们的语言与我们交谈,而我们并不完全知道它“想”了什么——智能的账单已经寄到,理解的账单还挂在墙上。

本章的断言是:2020—2026 年的大模型浪潮证明,智能的进步可以被工业方法组织——幂律给出预测,参数与数据给出燃料,RLHF 给出方向,测试时计算给出深度;这条流水线不依赖对智能本质的任何新理解,它把“造出更聪明的机器”从科学问题暂时变成了工程问题,而工程的下一步——更大的规模、更多的模态、更强的智能体——已经有价目表可查。这个断言可以被反驳:如果规模法则在更大的尺度上失效——损失曲线走平、涌现不再发生、推理的钱花不出效果——那么这条流水线就只是特定区间的局部有效,智能的进步将重新退回需要新思想的科学问题;同样,如果隐线三笔账(劳动、版权、岗位)在制度层面无法结算,社会契约对这条流水线的授权可能先于技术极限到来——机器还能更强,但社会未必继续付账。两百年前,布尔知道自己在做一件事:把思维交给符号。两百年后的今天,符号交还的智能里有多少思维、多少统计,这件事连它的建造者也尚未知晓——这条悬念,就是下一章(如果还有下一章)的第一行。

全书至此收束。两百年前,人类学会把“想”这件事交给符号;两百年后,符号学会了模仿“想”的样子向人类开口。这两百年里的每一次抽象——逻辑、代码、协议、界面、模型——都在重复同一个动作:把一类只有人能做的事,改写成机器可以执行的形式;每一次改写都带来能力的跃升,也留下一笔新的债。今天这台用万亿参数说话的机器,是所有抽象叠加的总和,也是所有债务的继承人。它说得越来越像我们,我们却还没弄清它如何“想”——这项未完成的理解,连同那三笔未结算的账单,一起交到读到这里的人手上。铜线的故事讲完了;智能体的故事,才刚刚翻到第一页。两百年前后的两句话遥遥相对:布尔说,让我们用符号思考;智能体答,好的,请用符号吩咐。第一页的标题,仍然是人类自己写下的那三个字:想一想。


「计算机百年史」系列第 10 篇(共 10 篇)。全系列统一标签:计算机百年史。