计算机百年史 08 · 扩散与云端(1949—2020)

「计算机百年史」系列 · 第 8 篇 / 共 10 篇
按《从铜线到智能——计算机两百年》原书卷次连载。本篇:扩散与云端(1949—2020),共 10 章,约 9.9 万字符。

卷八 · 扩散与主权:计算的全球史(1949—2020)卷首语

计算技术的扩散,绝不是一部先进成果向落后地区自由顺流而下的田园牧歌。本卷只讲三章,却构成一个严密闭环:内部体制决定了"能不能学"——苏联能仿出 System/360 的每一个晶体管,却在软件生态上全面枯萎,因为生态是自由经济肌体上自然生长的网络,无法靠行政命令冷冻移植;分工卡位决定了"怎么学"——日本卡准工艺、韩国卡准周期、台湾卡准分工、大陆卡准内需、印度卡准人力,五地五路,路路都是在专利高墙下找准自己的生态位;外部管制决定了"允不允许学"——从 CoCom 的维持代差,到实体清单与光刻机禁售,技术血脉可以被强行切断。

必须预先声明:本卷不站队,只记账。苏联的 OGAS 不是笑话,它死于官僚夺权与激励错配,每一个死因在今天的大型组织里都能找到回声;三星的反周期豪赌不是神话,它是拿举国资本当筹码的生死局,赢了封神、输了万劫不复;被切断者的异构技术栈(LoongArch、鸿蒙、昇腾)不能用商业跑分去量——它们的优化目标函数是供应链底线生存,不是利润。本章评判它们的唯一标尺,是"断供之后,还能不能活",活下来,就是及格之上的全部。

本卷的主导物理约束有三条,层层加码:跨国技术要素流动的制度壁垒(海关与清单)、不可替代核心装备的地缘垄断(一台机器卡住一个产业)、非自主生态的巨大重构摩擦(换掉的不只是一个零件,是整片森林)。三章读完,读者会看到同一条规律:技术会扩散,但生态位不会自动分配——位置,是抢来的;抢什么位置,都要付代价;代价的形态,就是本卷的三章。
阅读指引。 本卷是全书政治经济密度最高、技术门槛最低的一卷,所有读者都应当精读。它不教你任何编程或架构,它讲的是比代码更硬的东西:制度如何决定"能不能学",卡位如何决定"怎么学",封锁如何决定"允不允许学"。读完全书其他任何一卷的读者,都能无障碍进入本卷;没有读过其他卷的读者,也可以把本卷当作独立的政治经济学案例集来读——每一个案例(苏联的 OGAS、韩国的反周期、台湾的代工切割、日本的三材料断供)都值得与当下新闻对照。


第 084 章 1949—1991:苏联、东欧与复制的制度困局

1967 年 1 月 27 日,莫斯科。苏联科学院与国家科学技术委员会的会议桌上摆着一份决定联盟计算机命运二十年的文件:Ryad 系列计算机以 IBM System/360 的架构为仿制蓝本——Ryad 这个名字取自俄语里“系列”一词的发音,命名者想要的正是 IBM 那种一个系列通吃市场的格局。此时距苏联第一台电子计算机问世已近二十年,距 BESM-6 这样让西方同行认真对待的机型下线不过一年。而世界市场的另一边,System/360 发布才三年,兼容机的滚雪球已经开始:软件在 360 系列上越积越多,越多就越没人舍得离开,越没人离开软件就越多——西方大型机的竞争格局因为这道兼容的护城河重新洗牌。会议室里的分歧不是做不做计算机——没有人反对造计算机——而是造哪一种:一部分人主张延续自己的 BESM 与明斯克系列,另一部分人主张向 IBM 的架构对齐,理由直接而现实:苏联自己的机型各自为政,BESM 的程序装不到明斯克上,每台机器都是软件的孤岛;System/360 全系列运行同一套软件,兼容机一开机就有成千上万的现成程序可用,仿制它,等于直接接管一整座软件仓库。分歧的结局是拍板:仿。命令逐级下达,架构图纸成了全联盟的统一任务。主持过 BESM 的设计师列别杰夫等人的反对意见留在了会议记录里,没有留在决策里。值得记下的是拍板的方式:一个技术联盟未来二十年的架构路线,由科学院与国家科委两家行政部门联合敲定——工业部门、设计局与用户单位列席,但没有表决权;路线之争在会议桌上分出胜负,而不是在市场上。这一章讲的,就是这道命令之后的三十年。命令的执行没有遇到障碍:硬件真的造出来了,造了一万多台;会议桌上没有的反对声,后来在别的地方一笔一笔地响了回来——先是一张没建成的全国网络,然后是一条断掉的自研家谱,最后是一座搬不走的软件孤岛。这三样东西,恰是计算机工业真正的承重结构,也是行政命令最够不着的三样东西。

曾经并驾的十年

先把旧账摆正:苏联的计算机起步并不晚,也不弱。二十世纪五十年代,基辅与莫斯科的第一批电子计算机——基辅的小型机与列别杰夫主持的 BESM 系列——以可靠性见长,与美国的第一代机处于同一竞技场;双方的机器各自装备实验室、设计院与军方计算中心,竞逐的态势是真实的,谁也没有代差。到了六十年代中期,BESM-6 问世,浮点运算、指令流水这些设计让它在同期国际同档机型里站得住位置,研究者公认为相当出色的机器——研究核武器、航天与国防计算的队伍,用的就是这些国产机器。这些机器的用途清单同时也划定了它们的边界:国防科研与工业自动化,任务明确、用户固定、验收清晰——体制灌资源的法子对这类目标样样灵验。这段历史是理解后面一切挫败的前提:这不是一支从没跑过及格线的队伍,恰恰是一支证明过自己能并排领跑的队伍,它的每一次失速才格外值得追问。

队伍里还有过方向异类的尝试。1956 年,莫斯科大学的索伯列夫(Sobolev)小组提出用三进制替代二进制的方案,1958 年,取名 Setun 的三进制计算机问世:耗电低、速度快、用过的人评价不差。它没有得到量产——按当时的体制,一台机器能否投产由计划决定而非研发结果决定,Setun 的量产申请被叫停,委托生产的捷克工厂关了生产线,1970 年的改进型 Setun-70 干脆进了库房。三进制机在技术上的优劣可以争论,它的死因却记载得很清楚:没有廉价的硬件就没人为它写软件,没有软件就没人买机器——一台需要生态的机器,长在一个不供养生态的体制里。这个案例像一条提前写好的判词,判的正是这一章的主题。判词里还有一行小字:Setun 的设计出自一线研究者的自发立项,而不是计划项目的产物——自发长出来的东西,在这套体制里没有户口;没有户口,就没有产能,没有产能,前面所有的优点都无从证明。评价一套体制创新能力的,从来不看它能把多少资源灌进指定的目标,要看它给计划外的可能性留了多少出生证明。

还有一段更早期的插曲值得一记:五十年代,控制论在苏联曾被官方批判为伪科学,这场批判持续数年才转向。被批判的不只是一个学科的名声——信息论、反馈、机器与生命的类比,这些正在美国实验室里生根的概念工具,在批判声中成了学术上的危险品;课程停设、译著绝版,一代学生与这套新兴的知识体系擦肩而过。转向之后风向调头,控制论一跃成为显学,国家重点工程的立项书里争相引用这个几年前还被批倒的词——格卢什科夫就是在这样的气候里成为全国信息系统的总设计师。一场迟到的正名,耽误的是最关键的窗口期:美国同步起步的学术计算网络与工业计算应用,苏联在批判声里让出了几年时间;等正名到来,两个阵营面对的已经不是同一条起跑线。风向的钟摆可以一夜摆回来,被钟摆荡掉的时间回不来。

没有主人的网络

1962 年,控制论学家维克多·格卢什科夫(Victor Glushkov)提出 OGAS——全国计算和信息处理自动化系统:用计算机网络连接全国的工厂与企业,实时采集生产数据,让计划部门依据真数自动配置资源,把计划经济的运算交给计算机——物资平衡表、价格核算、产能调度,这些靠人工层层汇总、层层滞后的计划作业,他都设想搬进机器。构想的骨架是三层:基层的工厂企业装终端,数据实时录入;中间是地区计算中心,汇总本区域的流量;顶层的主中心掌握全国经济的一盘棋,配置资源、平衡供需。格卢什科夫的雄心在当时无出其右:从每间工厂到每个农舍,数据一层层汇入网络,全国经济透明运转;他相信,计划与数学的结合能算出市场算不出的最优配置。方案有一层更早的源头:1959 年,军官基托夫(Anatoly Kitov)已提交过全国计算中心网络的构想(EGSVT),那份构想不仅未被采纳,基托夫本人还因越级上书被开除。两代人的方案隔着一层官僚代价接力:先提出者付出职业生涯,后接棒者付出一生心血。格卢什科夫1964 年交出正式草案——依然未被采纳。到 1970 年,OGAS 作为全国性工程被放弃,留下的只有几组地方试验;研究材料对下场的概括是,七十年代,全国网络在部门官僚的资金拖延中无声搁浅。

这项工程的死因,后来的研究材料给了三层拆解,每一层都值得单独立案。第一层是管辖权:财政部与中央统计局都认为全国网络应由自己执掌,双方的立场据后来的材料转述被概括为“绝不能让对方得到”——一场管辖权之争的结局,是一张谁执掌就不让谁建成的网络。平心而论,两个部门各有自己的道理:统计局经营全国数据几十年,财政部掌管全部资源分配的账本,一张直通每间工厂的实时网络放进谁的手里,另一方的权力结构都要重排——反对的理由在当时完全站得住,代价是工程本身失去了归属。没有归属部门的工程,在预算表上就没有稳定的位置:每一个计划年度都要重新论证,每一次机构调整都可能腰斩。第二层在更深处:数据即权力。网络的设计目标是数据透明,而在这套体制里,上报的数字同时是考核的依据——产量、定额、库存,每一项都是管理者头顶的尺子。透明对谁有利?对最高层的计划者。透明动了谁?对每一个要被尺子量的中间层。企业经理报真实数字没有任何好处,瞒报却有直接收益——系统要采集的数据,恰恰是系统中人最有动机伪造的数据;格卢什科夫的网络从图纸上看是技术工程,落地时每一台终端都嵌在一张利益关系网里。一台计算机能把输入的数字算到小数点后六位,不能把错的数字算对。第三层才是技术:电话线路质量差,分组交换技术不成熟,各地计算中心制式互不兼容,缺少顶层协调。三层阻力叠在一起,前两层在会议桌上,第三层在电话线上。排序本身就是结论:技术障碍是三样里最不难的——线路可以铺设,制式可以统一,分组交换几年内就会成熟;真正卡死工程的两样,一样长在部门之间的权力分布里,一样长在从工厂到部委的激励链条里,它们不随技术进步而消失,只随利益结构的变化而变化。OGAS 的失败不说明苏联造不出网络——它后来的军用与科研网络都建得成——它说明的是:一张要千万人交出真实数据的网,前提是交数据的人信得过这张网的用途。

作为对照,大洋彼岸的阿帕网在同一年代起步,从军方与高校的几台主机长成。两条路径的差别不在起点——苏联的构想甚至更宏大——而在网络生长的方式。一张计算网络要长起来,需要三样东西:节点自愿接入——接入者要能说出自己图什么;使用产生增值——每多一个节点,网上跑的应用就多一类;增值不可没收——终端上长出的新用途,不能被上一级随手掐掉。阿帕网三样全有:高校申请接入是为了共享算力,科学家在网上长出了邮件与讨论组,新用途没人审批;OGAS 三样全无:终端是被要求接入的,用途是被指定的,数据是被上报的——命令能铺设线路,不能制造出愿意把数据交出来的心。一张网的价值来自它连进来的每一台终端与每一位用户,而连不连,从来不由一纸命令决定。这道对照在后来的几十年里被反复验证:网络的每一次跃升——分组交换、个人电脑、万维网——都发生在自愿接入的一方,指定的网络无一例外停在图纸与试验田里。

抄来的兼容,断掉的家谱

OGAS 是没有建成的工程,Ryad 是建成了的工程——它的教训因此更值得细算。1964 年 IBM 发布 System/360,全系机型运行同一套软件,兼容性第一次成为大型机的护城河。三年后,苏联拍板全面仿制。这个决策自有其逻辑:自研架构最大的痛点是软件匮乏,每一台国产机器都要为自己的程序发愁,而仿制机一落地就能直接运行 IBM 的软件堆——对一支软件力量薄弱的队伍,这是看得见的捷径。反对者的理由同样硬:BESM 与明斯克系列已有自己的技术积累与机型谱系,全面转向等于宣判它们死刑;自主研发的能力一旦放下,再捡起来就不是一道命令的事。决策的天平倒向了捷径。

   1964                    1967.1.27               1968—1998  
IBM System/360 发布 ──→ 科学院+国家科委拍板 ──→ Ryad 系列量产  
   │                        │                       │  
   │  全系列同一套软件        │  仿制蓝本锁定 IBM      │  一万五千多台  
   │  兼容机自带软件仓库      │  自研路线(BESM/明斯克)│  性能恒落后数年  
   ▼                        ▼  停止演进              ▼  
软件生态的护城河    →    用兼容换时间       →    家谱断在 1967  

图纸照着画,机器照着造,可 IBM 的护城河里最深的那一段——软件——抄不走全部。兼容架构让 IBM 的软件“能跑”,能跑不等于够用:操作系统的语言、文档、维护经验都在别人手里,每一行代码的演进节奏由别人定。更要紧的是,仿制解决的是“有软件可用”,解决不了“有软件可用的人才梯队”——IBM 的软件是服务西方几代程序员长出来的,教科书、培训班、维护手册、口口相传的经验,这些配套在苏联一样都不存在,每一台 Ryad 的机房里都要重新摸索。账面上的产出兑现了:1968 到 1998 年,Ryad 系列累计生产一万五千多台,东方阵营的大型机计算靠着它运转了三十年。代价同样记录在案:性能始终落后西方数年,且由于蓝本锁定,每一代产品都要等 IBM 先走一步再跟进——独立架构的演进能力在 1967 年停机。西方研究者后来用“make or take”(自造还是拿来)概括这个长期萦绕苏联计算机界的抉择之问;西方材料的口径认为,到八十年代苏联程序员的技术水准落后美国六到八年(该口径出自美国全球安全研究机构材料)。这句话里最刺眼的成分是“程序员”:仿制机制造了硬件的国产化,软件人才却在为别人的架构打工——他们的技能随着蓝本走,蓝本随 IBM 走, IBM 走到哪一步,苏联程序员就被允许懂到哪一步。

器件的账要另算一页。六十年代,美国的半导体工业转向集成电路,苏联的电子工业却把主要力气花在电子管的微型化上,两条路线岔开的结果是器件代差的拉开——等集成电路的重要性再无争议时,追赶的起点已经落后了一代工艺(路线分岔的成因是多方的:禁运限制了样品与设备的流入,器件工业自身的优先级排序又把资源压向传统产品)。器件是整机的心脏,这一页的欠账后来按复利计息:Ryad 的每一个后续型号都要为国产器件的性能与良率另想办法,仿制架构在图纸上是抄得来的,器件工艺里的材料、设备与经验抄不来——IBM 的机器几年一换代,苏联的对应型号要在器件层多爬几年,性能“恒落后数年”里的“恒”字,一半是从这一页欠下的。外部约束与内部排序在这一页上同样都在场。

两股约束在这一章里都真实在场。一股来自外部:巴黎统筹委员会的禁运清单把先进设备与器件挡在国境之外,样品、工艺与设备都要绕道获取,成本与延迟落在每一个研发环节上。另一股来自内部:1967 年的拍板是一次自主决策,Setun 的停产是一次自主决策,七十年代末小型机计划“微-80”立项时又被主管领导泼了冷水——据后来的材料记载,时任电子工业部负责人戈尔什科夫对设计者的评价是,他们“退休金、别墅、汽车都有了”,小型机“不会有”。这句话值得停一停:设计者的创新动力在这里被明码标价——职称、待遇、住房,全是体制发放的;体制不排产的东西,做得再好也换不来任何一种回报。外部的墙与内部的门,都真实存在;这一章只把每一扇门的位置标出来,主次之辨留给读者。

Ryad 造得出机器,造不出买机器的理由——理由要用软件给,软件要用生态给。三十年里苏联的算法人才始终是世界水准,产业却始终没有从实验室走出来。把镜头从大型机转到应用程序的世界,可以看到同一枚硬币的另一面:这个体系的软件人才是世界一流的,软件产业却接近于不存在。

强的算法,无主的软件

把镜头拉到经互会的分工表上,能看到这场困局在东欧的投影。经互会内部按比较优势分工,保加利亚分到的任务是“金属用量多、结构不太复杂”的产品——这是 1977 年《人民日报》报道的口径;燃料与原料则依赖苏联进口。这个小国的电子工业在战后即已起步,到社会主义时期中后段,已在阵营的微电子与电子产业里排到领先位置(贸易研究机构贸易署的表述),1985 年《纽约时报》还在报道它的高科技雄心——制造业能力借此铺开了多条产品线,一个农业国在计划体制内爬到了电子分工的高层。分工表的逻辑本身无懈可击:让擅长金属加工的做金属加工,让有劳动力的做劳动力密集环节,整个阵营当作一盘棋来排产。但分工表能分配产能,不能分配两样东西:创新的位置与升级的通道——排进表里的产品按表生产,表外出现的新技术,没有任何一行栏目等着它。个人计算机兴起之后,这条缺陷暴露得尤其彻底:没有任何一个计划条款预料到“个人”会需要计算机,于是整个阵营的分工表上,民用微机无处落笔。

苏联的软件是这一章最深的悖论。论单兵,它不弱:叶尔绍夫写出了世界上最早的自动编程专著之一——让机器替人写程序,这个方向此后半个世纪一再回头,苏联学派在五六十年代就已经押注;硬件的匮乏把一代程序员逼进了算法的深水区——机器小、内存少、外设慢,程序必须写到极致才能跑动,这份被穷日子逼出来的功底,在苏联解体后立刻显出价值:全球劳动力市场上的俄罗斯程序员迅速脱颖而出,算法与数学功底成了他们的通行证。人才一直在,从来都在。论生态,它近乎空白,而且四样东西一样都不缺样地缺:没有兼容的操作系统与外设——每台机器配一套自己的接口,程序换机器就要重写;没有办公软件的适配——打印、表格、文书这些民用场景无人搭桥;没有吸引第三方的开发语言与工具——语言与机器绑定在封闭圈子里,圈外的程序员无从加入;没有开发者社区、用户基础、培训体系与商业渠道——写出程序的人找不到买家,想买程序的人不知道去哪找。软件的用途被框死在两处——国防科研(导弹、核模拟、航天)与工业自动化。任务制的逻辑决定了它的形状:每一项任务都有明确的委托方、期限与验收标准,程序为单一目标写到极深,却不做横向的复用与打磨——同一支队伍给导弹写弹道计算,给核模拟写数值求解,两份代码之间的公共部分没人有义务抽取成通用工具;打磨通用性是给陌生用户的礼物,而这套体系里没有陌生用户,只有下一个任务单。一份统计材料称,某时期上千项计算机科研成果中只有 430 项被实际采用(中文研究材料转述口径)。代码在实验室里堆积如山,产业在实验室外面无从谈起。

个人计算的窗口期,这个体系同样错过了,而且错在两层。第一层是产业决策:个人计算机在西方展开的年代,苏联的 Agat 与 BK-0010 产量极少且优先供应军方科研——计划部门按既定的优先级排序排产,排序表上没有“民用微型机”这一行,于是最需要规模效应的产品,被分配到了最小的规模。第二层是信息环境:西方文献受到管控,打字机要登记备案,复印机被严格控制——这三样东西的共性值得点破:它们都是复制信息的机器,而信息的复制能力就是扩散能力,闸门设在每一个旁路上。个人计算机恰好是这三样的合体——它会抄、会印、会通信,从这个角度看,它在民间的大规模铺开在这个体系里根本无处安放。到八十年代,西方的 UNIX 与 DOS 生态已经连成网络,陌生人的程序随时可以装进千万台机器;苏联的 ALGOL 阵营仍然封闭自守,平台只对指定的项目开放。几份中文研究材料给出的对比口径是:八十年代初苏联小型机装机量约为美国的十分之一,微型机约为百分之零点四(250 分之一),半导体工艺相差一代(微米对亚微米),整体差距十年以上。数字的出处各有立场,方向却相互印证:不是没有机器,是没有机器生长的土壤。

把 1991 年清点家底的样子放在这里收拢:一条能用的仿制大型机谱系,一支功底扎实但依附别人架构的程序员队伍,几条中断的自研路线,一座只对军工厂房开放的软件库。核弹与航天证明了这个体制能把资源灌进指定的目标——只要目标明确,灌进去就能造出那一件东西;计算机生态需要的却是另一件事:让千万人各自做自主的小决定,再让这些小决定互相找到彼此。这件事,命令做不了。解体后的岁月从反面补完了证明:闸门一开,被锁了三十年的算法功底立刻在世界市场上兑现——程序员成了俄罗斯最著名的出口品之一;人才从未缺席,缺席的是让人才变成产业的那套连接。连当年的三进制异端,都在这段岁月里得到了另一种意义上的平反:研究者在计算史的书页里给 Setun 留出了位置——作为一道题目的正确解法,与一个时代的错误答案。

移植不走的生态

清算这一章,账目要一笔笔记清。第一笔是信息激励的账:OGAS 想采集真数,激励结构却在奖励假数——系统的输入端就烂掉了,算力再大也算不出真计划;同样的问题换一个场合还在重演:企业报产量、报库存、报工时,每一层都往有利于自己的方向修饰,计划越精细,修饰越精细。第二笔是兼容性的账:Ryad 用兼容换来了三十年的软件供给,代价是永久放弃了架构话语权——IBM 演进它才敢演进,IBM 转向我再转向,兼容是别人的护城河,交的却是自己的过路费。第三笔是生态位缺失的账:Setun 死于没有硬件伙伴,软件死于没有用户社区,个人机死于没有民用市场——每一个案例的具体死因不同,共同点是同一处:技术长在网络里,而网络需要无数自主的节点。第四笔是分工的账:经互会的分工表把东欧钉在装配与中低端环节,苏联本土包揽高端整机与系统设计,整张表上没有一行留给“创新”——它分配了产出,没有分配演进;当世界产业把升级换代的节拍交给市场选择时,这个阵营的节拍还锁在上一版计划里。第五笔是时间的账:批判控制论让出几年,Setun 停产让出一条技术路线,微-80 受阻让出一个世代,禁运再垫高每一层的获取成本——单看每一处都情有可原,连起来看就是整个窗口期。

这五笔账互相不是孤立的,它们咬合在同一组机制上。信息激励毁掉数据,数据毁掉计划的质量;兼容策略换来软件,却抽掉了自主创新的市场回报——反正下一代的蓝本是别人的,自研者的一切投入都会作废;生态位缺失让每一项小创新都找不到第一千个用户,而没有第一千个用户,就没有第一万零一个开发者。环环相扣的结果是:只要顶层的分配方式不变,任何单点改革都会被相邻的环节拖回原位。Setun 与 Ryad 恰好构成一组对照组——前者是体制内自发生长的新路线,死于无人排产;后者是体制拍板的仿制路线,活得长久却吸干了整个行业的选择空间。两台机器,两种死法:一种死于出生,一种死于生长。

本章的判断是:技术生态是无数开发者、用户与厂商在自由选择中互相锁定、互相供养长成的网络,它可以被仿制者一次性抄走图纸,却无法被行政命令一次性移植——苏联仿出了 System/360 的每一个晶体管,仿不出让千万程序员自愿押注同一个平台的那个世界。生态的三个特征都与命令相克:它靠自发连接生长,而命令指定连接;它靠相互锁定加深,而命令随时可以重排锁定关系;它靠不可冻结演化,而命令的本质是把某一时点的格局固定下来。这个判断可以被反驳:美国半导体早期的国防采购、日本通产省的联合研发,同样带着浓重的行政之手,照样长成了生态——可见行政力量未必是生态的死刑。但把两边的命令拆开看,伸手的部位不同:国防采购买的是产品的性能边界,通产省协调的是企业各自的研发投入与分摊,两者都没有替企业决定产品形态,也没有没收节点自由连接的权利——命令与生态相克的部位,不在命令的强弱,在命令伸到了哪一层。这个反驳成立与否,恰好是下一章的入口。卷八的三问在这一章只回答了第一问:内部体制决定“能不能学”——苏联能仿出机器,学不出生态;下一章换一批主角,回答第二问与第三问:面对先行者的壁垒,东亚五地各自选了“怎么学”,而外部世界规定了“允不允许学”。


第 085A 章 追赶的分化(上):日本与韩国——存储芯片与周期豪赌

1960 年代的世界半导体版图上,东亚还没有位置:彼时美国芯片产品的八成仍由国防部采购(中文研究材料引述口径),产业的重心与脐带都系在军事订单上;专利在美国公司手里,设备从美国买,市场由美国定。追赶者的处境在结构上相同——做低端组装可以做,做核心器件要突破封锁与专利,做整机要在别人的生态里抢位置——但入口的选择可以完全不同,而入口一旦选定,后面的路就由不得人。此后半个世纪,同处追赶位置的五个经济体——日本、韩国、台湾地区、中国大陆、印度——各自选了一条入口,走出了五种完全不同的产业形状。本章讲前两个入口:日本与韩国,它们选了同一条赛道——存储芯片,用了两套截然不同的打法,一先一后登顶,又一先一后尝到了王座的重量。入口一旦选定,之后的路便由价值链的位置推着走——位置决定你面对什么样的竞争、拿到什么样的利润、积攒什么样的能力,能力又决定下一步能走到哪;而存储这条路的特殊之处在于,它的王座没有坐稳过任何一代人——美国让位给日本,日本让位给韩国,每一次让位都不是因为王座上的人停止努力。

一条产线上的五家公司

日本的追赶从一封传闻开始。二十世纪七十年代中叶,业界流传 IBM 将开发第四代计算机“未来系统”,将采用超大规模集成电路——消息真伪至今难考,威慑却真实生效:当时日本在集成电路技术上大幅落后美国,业内估算整体落后十年以上;而 VLSI 的研发资金庞大,非个别企业所能承受。后发者面对的是一堵由研发投入与专利墙砌成的高墙:美国巨头多年持续投入才换来技术突破与专利保护,追赶者想在短时间内匹配这笔投入,几乎不可能。1971 年与 1978 年,日本先后制定两部《振兴临时措施法》,规定必须加强对尚未掌握或落后于国外的半导体生产技术的试验研究,通产省按技术难度与成熟度推进课题——立法先给追赶铺了轨道——法律明确了政府推进半导体技术的义务与企业的试验方向,通产省借这两部法律获得了统筹产业课题的法律抓手——只差一辆车。

1976 年,车来了。通产省所属的电子技术综合研究所,联合五家计算机与半导体企业——富士通、NEC、日立、东芝、三菱电机,日后日本电子工业的全部门面——组成“超大规模集成电路技术研究组合”,通称 VLSI 研究组合:通产省权威技术专家垂井康夫从五家公司各选调技术骨干,共约二十人集中到共同研究所,政府与成员企业共同出资,为期五年(1976 至 1980 年)——五年,恰好是一代 DRAM 工艺从研发到量产的周期,联盟的寿命被精确地设计成一次冲刺的长度。这套安排的精妙在机制设计上:联盟只做“产前竞争阶段”的共性技术研发——光刻、工艺、材料这些大家都需要但谁也不该独占的部分,成果五家共享;一旦进入产品阶段,五家各自用共享的技术开发自己的产品、在市场上互杀。竞争者因此找到了凝聚在一起的利益共同点:联合的部分谁也不吃亏,竞争的部分照旧刺刀见红。政府只补助产前研发,而且补助额只占少数——钱是企业的,企业才真抓实干。后来研究产业政策的学者把它列为创新联盟的教科书样本。

这套机制的深层是分工哲学的分野:联盟攻“大家都需要的”,企业做“各自擅长的”——通产省没有取代市场,它只垫高了市场起跑前的台阶。对比苏联 OGAS 的失败(前章的案例),日本的联盟没有陷入管辖权之争,因为补助只给研发、不给产能,政府从头到尾没有越过“产前”这条线;对比此后失败的产业联盟,日本的经验只有一条可以复制的纪律——把联盟的范围严格圈定在竞争开始之前。

把五家在市场上厮杀的冤家关进同一间实验室,这个安排的难处不在技术在人心:研发成果如何归属、人员如何考核、泄密如何防范,任何一个条款失衡,联盟第二天就散伙。日本的解法是物理隔离加成果清单:二十名骨干脱开原公司编制进驻共同研究所,研究所产出的成果列成清单、五家均沾;回到原公司之后,各家拿同一批共性技术去开发自己的产品——你在实验室里是我的同事,回到市场还是我的对手。五年时限同样是一种设计:攻关有明确的到期日,联盟不设常驻的官僚层,到期即散,避免联合体本身长成新的利益部门。

组合的产出是一批由五家共享的工艺专利与设计规则,直接喂进各家的 DRAM 产线——公共的投入,私人的产出,产出再回填公共的声誉。组合的成绩在存储芯片上兑现。DRAM 是半导体里最接近大宗商品的产品:规格统一、各家产品可以互换,没有品牌溢价的位置,拼的就是良率与成本——而良率与成本恰恰是工艺质量问题,恰好是联合体集体攻关的强项。八十年代,日本厂商以工艺质量与稳定的供货横扫全球 DRAM 市场,美国的存储先驱们陆续把这条产品线让了出去,把公司重心转向处理器与专用芯片;日本制造借此在半导体领域登顶,“日本第一”的叙事在八十年代中叶达到顶点。回头看,存储芯片对追赶者是近乎理想的入口:它的需求随计算机的普及确定性增长,市场足够大;它的规格全球统一,追赶者不必在品牌与渠道上与美国巨头缠斗;它的进步沿一条清晰的工艺路线展开,适合用组织化的研发去啃——三个条件凑在一起,追赶的胜负被压缩成了工厂里的单一变量:良率。而良率,恰是联合体五年攻关最直接的产出——五家公司的工程师在同一间实验室里磨出来的手艺,构成了此后十年日本存储产线的共同底座;组合解散的那一天,没有人举行仪式,因为真正的成果已经走进了五条各自奔忙的产线。

一次押错方向的远征

八十年代的连胜把一种自信推到了顶点,而自信是产业政策最危险的原料。联合体的胜利让通产省相信了一套万能配方:政府牵头、企业联手、巨额资金、长期攻关。1982 年,这套配方被原样用在了下一个目标上——第五代计算机,一项被立为国家研究计划的项目,技术路线选定了 Prolog 逻辑程序语言与逻辑机。选型的理由里有一条至今读来仍令人感慨:LISP 是美国人的语言,Prolog 不是;日本要走一条不同于美国的路。民族情绪进了技术选型,联合体的旧办法配上了一个连美国顶尖实验室都没有答案的问题——“下一代计算究竟长什么样”。存储与逻辑机之间隔着一道深渊:DRAM 的胜负手是工艺,工艺的进步可以量化、可以拆解、可以分工推进;逻辑机的胜负手是需要先发明出“下一代计算”本身。结果是折戟:逻辑机的路线没有通向下一代计算,计划在耗资巨大后收场。

第五代的失败把日本软件业留在了原地。此后的岁月里,日本软件产业在一块孤立的市场里自成体系:硬件规格是国内定制的,软件习惯是国内养成的,商业模式在国内闭环——产品在国内市场驯化得极精致,拿到国际市场上却处处水土不服,研究者给它起了一个群岛的名字:加拉帕戈斯化。孤岛的形成是一条自我强化的循环:本土用户的挑剔举世闻名,厂商为本地需求打磨出独到的产品形态;产品越贴合本土,出海的改造成本越高;出海越难,厂商越把全部精力押回本土,本土标准越发自成一体。这套循环在硬件上还能靠工艺优势对冲,在软件上则格外沉重——软件是所有产品里最吃网络效应的一类,生态的大小直接决定生死,孤岛恰是生态的反义词。VLSI 联合体证明政府牵头可以打赢工艺战,第五代计划与加拉帕戈斯化证明同一套办法打不了另一类仗:工艺战的靶子看得见,生态战的靶子是全球千万用户的自发选择——靶子一换,打法失灵。当存储的王座开始向韩国倾斜时,日本的软件与逻辑机器还困在自己的群岛上。

从王座到货架

王座之下暗流先动。八十年代中后期,美日半导体贸易摩擦升级,美国的应对里写进了一条影响深远的地缘算术:为防日本一家独大,向韩国的存储产业开放市场、转移技术——硅谷生产商退出存储时,几乎毫不犹豫地把顶尖工艺转给了韩国,“敌人的敌人就是朋友”的逻辑公开运行。日本的份额开始被韩国蚕食。九十年代,PC 浪潮把 DRAM 的需求推到新的量级,三星抓住窗口重金杀入存储;此后每一轮行业下行周期,剧本都是同一个:日本厂商收缩投资,三星逆势持续建厂、迭代工艺。1997 年亚洲金融危机成为第一轮大清洗:韩元大幅贬值,变相压低了三星的生产成本;日本企业资金承压,被迫收缩产能。日立、NEC、三菱陆续剥离 DRAM 业务的进程就此加速,最终汇入同一家公司——通产省在幕后推动了这场整合,逻辑很简单:分散的败退不如集中的防守。值得记下这家公司诞生的性质:它不是扩张的产物,是收缩的产物——三家巨头的 DRAM 业务合在一起,图的不是更大,是别让这条产品线死掉;出生时的姿态,已经预写了它的结局。

九十年代的份额迁移有一条清晰的传导链。PC 浪潮把 DRAM 从“计算机厂的原料”变成“消费电子的标准件”,需求一年一个台阶;三星以三代连续扩产接住了需求,日本厂商却在每一轮下行周期里收缩——每一次收缩让出的份额,下一次繁荣时都要用更高的代价买回来。份额的此消彼长反过来改写成本曲线:韩厂产量越大,单位摊薄越低,定价空间越大;日厂产量萎缩,固定成本摊到更少的芯片上,报价越收越吃力。到九十年代末,日立、NEC、三菱陆续剥离 DRAM 业务,日本政府把它们整合成一家公司——尔必达(Elpida),1999 年成立,作为日本 DRAM 的最后一张门票。这家公司的挣扎是一条完整的下坡曲线:2004 年在东京证券交易所上市,是当年日本半导体业最受瞩目的事件;2006 年它还排在全球半导体厂商前二十强;2007 年起 DRAM 价格急速下滑,2008 年金融危机把颗粒价从 2.57 美元砸到 1.83 美元(IC Insights 口径),公司的资金链在连续的价格暴跌中断裂。

尔必达的命运,是存储行业周期属性最完整的标本。它 2004 年在东京证券交易所主板上市,一度做到 DRAM 市场份额世界第三、进入全球半导体厂商前二十强——这是日本存储的最后荣光。时序的残酷在于:上市与崩塌之间只隔着一次金融危机——公司从敲钟到申请破产保护,前后不足八年。2007 年起,行业产能过剩,DRAM 价格急剧下滑;2008 年秋金融危机爆发,需求进一步萎缩:按市场研究机构 IC Insights 的数据,DRAM 颗粒价格从 2007 年的 2.57 美元骤降至 2008 年的 1.83 美元——价格曲线的斜率,就是全行业现金流的出血速度。价格的下跌很快跌破现金成本线:每生产一片 DRAM 就亏一片的钱,不生产则意味着把市场份额与客户关系让给还在生产的对手——所有厂商都被套进了一个比谁亏得起、熬得住的死局,账上弹药少的先出局。单一业务的公司在价格的悬崖上没有缓冲——2008 年业绩急速恶化,2012 年 2 月 27 日,尔必达向东京地方法院申请破产保护:截至 2011 年 3 月底,负债总额 4480 亿日元(约合 55 亿美元),创下日本制造类企业负债规模的新高;破产申请当天即引发行业地震——市场的第一反应是内存可能涨价、韩企将进一步垄断(当时的媒体口径如此)。同年 7 月,公司被美国美光科技收购。收购的意义超出一笔交易:日本 DRAM 三十六年攒下的产能、厂房与专利,最终并入了美国的版图——当年联合体追赶的头号目标正是美国的 IBM 与英特尔,战役的终点,资产回到了美国公司名下。日本 DRAM 产业就此谢幕——从 1976 年的研究组合算起,整场战役打了三十六年;战后日本的半导体版图退守上游材料与设备,那是另一段故事。

复盘这场退场,机制层面的账目有三笔。其一,单一业务抗周期能力弱:尔必达只有 DRAM,行业下行时没有跨板块的现金流为它输血——对比韩国对手,三星背后是整个财阀集团,存储亏损由其他业务顶住。其二,收缩的惯性:数轮下行周期里日本厂商次次收缩投资,每次收缩都在为对手的逆势扩张让出下一轮的市场——周期不原谅保守。其三,外因真实但非全部:贸易摩擦与金融危机都真实发生,但同一场金融危机里,两家韩国公司活了下来并且更强——外因通过内因起作用,这五个字是产业史最经得起复用的句式;它在尔必达身上的具体形状是:金融危机没有制造日本 DRAM 的衰亡,它只是把一场早已开始的收缩,结算成了法律意义上的终结。

韩国:低谷里的产能

大西洋对岸的战线同样残酷:到九十年代中后期,美国硕果仅存的存储芯片厂商只剩下美光一家(财经媒体回顾口径)——存储这门生意淘汰起先行者来,同样不眨眼睛。韩国的入口比日本更窄,赌性也更大。它没有日本那样的工艺积累,正面追赶已无空位,选的战场于是更窄也更硬:存储芯片——规格统一的同质品,没有专利故事可讲,没有品牌溢价可赚,谁的成本低谁通吃。这对追赶者反而是最公平的战场:工艺战拼的是资本纪律与良率管理,不拼历史积累。

淘汰不眨眼睛的原因藏在生意的结构里。淘汰不眨眼睛的反面,是这门生意对所有人同样公平——没有专利故事可讲,就没有专利壁垒可守。这场仗的打法学界称为反周期投资:DRAM 的价格随供需剧烈波动,行业低谷时产品价格跌破现金成本,全行业亏损;常规经营者在低谷收缩,韩国的财阀却在低谷扩张——逆着周期砸下巨额资本,把产能与工艺推上去。这笔账的算术藏在周期的形状里:晶圆厂从动工到量产要数年,低谷期开工的产线,恰好在价格回升时进入满产;低谷建厂的成本还更低——设备商与施工方在萧条里抢订单,报价比繁荣期低一截;等新产能入市赶上高峰,逆市者用低谷的成本打高峰的价格,收缩的对手则要用高峰的成本补低谷欠下的产能。财阀体制为这种打法提供两条支柱。第一条是资本侧:政府产业主管部门与银行体系协调行动,行业低谷恰是政策性资金进场之时,巨亏年份的增资与贷款不断档——银行敢借,借的是政府产业政策的信用。第二条是集团侧:财阀内部其他业务的利润通过集团财务向半导体输送,芯片部门连年亏损,集团照单全收——单看半导体是一张烂表,看整个集团才看得懂这张表为什么烂得起。两条支柱合起来,这是一场以资产负债表为武器的消耗战,赌的是对手先撑不住。它考验的不只是财务结构,还有决策层的神经:在业务连年亏损、市场一片哀鸣的时候签字扩建产线,等于当着全体股东的面把钱推进火里——这份逆流签字的胆量,财阀的集权结构给得起,股权分散、 quarterly 汇报的上市公司给不起。韩国的运气里还有一半地缘的成分:美日贸易战给了韩国产品进入美国市场的通道,硅谷退出的技术加快了韩国的学习曲线。存储行业的另一条铁律是规模本身:每一代 DRAM 的产线投资都数倍于上一代,单位成本随投资规模摊薄——敢在每一代押注的人,成本曲线比保守者低一截;连续几代押注的人,成本曲线低到对手的报价永远追不上。规模、成本、现金流,三者在这门生意里首尾咬合:没有规模就没有低成本,没有低成本就没有高峰期的利润,没有利润就没有下一轮低谷的弹药——反周期投资的全部秘密,是先说服资本允许你活过周期——活过周期的人,才有资格在下一次周期里谈论输赢。

代价在 1997 年的亚洲金融风暴中摆上台面。那场风暴横扫东亚,多国货币与银行体系接连告急,韩国站在破产边缘,国际货币基金组织的救助条件里带着严苛的结构调整;对出口企业,韩元贬值却是一剂苦口的兴奋剂——同样的美元售价,换回的韩元更多,成本曲线相对下移——就是在这样的年份,三星电子的债务以媒体报道的口径高达 170 多亿美元,公司却在风暴中继续下注,把资本投向包括美国德州工厂在内的产能扩张。周期再一次站在了敢赌的一边:风暴出清了对手,逆市的产线迎来了存储行情。危机在存储行业里扮演的角色自此定型——它不是系统的故障,而是系统的清算程序:每一次宏观震荡都会淘汰一批弹药不足的玩家,把产能与市场份额集中到资产负债表最厚的少数几家手里;反周期打法的回报,恰恰以对手在危机中的死亡来结算。此役之后,韩国在存储行业的身份从追赶者变成了规则的一部分。此后存储芯片的格局收敛为两家韩国公司的双寡头——三星与 SK 海力士,按媒体引用的行业口径,两家合计占到全球存储供应的约七成。反周期豪赌的传统延续至今,存储行业的资本开支周期里,韩国厂商的逆市扩建成了每一轮供过于求的标准注脚。双寡头的座位旁立着三重新进入壁垒:新建一座先进DRAM晶圆厂的资本支出以十亿美元计;工艺节点每前进一代,良率爬坡的知识壁垒就高一截;大客户的认证周期动辄以年计——三道门槛叠起来,行业里几乎不存在“轻装入场”的路径。双寡头格局形成后,存储行业的竞争形态也随之定型:既然只有两家玩家,价格战何时打响、何时收手,都可以默契地感知对方的产能动向,行业波动从多方混战的无序,变成了双寡头资本开支博弈下的有序起伏——每一轮“供过于求”与“供给纪律”的循环,都是这场豪赌打法的余震。

两条曲线的分岔

把日本与韩国放在同一张图上,能看到同一个行业的两次登顶用的是两套完全不同的引擎。日本的登顶靠工艺:政府把五家对手的公司拧成一个研究组合,用五年的联合攻关补齐与美国的工艺差距,再用良率与质量在市场上收割——它的引擎是技术官僚的组织术,燃料是“落后十年”的危机感。韩国的登顶靠资本:财阀用反周期的资产负债表把对手熬死在低谷里——它的引擎是金融与产业的协同,燃料是“输不起”的国运感。两套引擎的可复制性也不同:日本模式的内核是把最好的工程师关进一间屋——它需要通产省式的权威、需要五家企业同时感到灭顶的威胁、需要一个恰好的传闻做导火索,三个条件缺一难成;韩国模式的内核是把全国的信用押上一条产线——它需要财阀、需要顺周期的政治意志、需要一个愿意为亏损背书的银行体系。前者是组织术,后者是金融术;组织术难复制,金融术难承受,各自的门槛写在了各自的制度里。两套引擎的遗产也流向了不同的去处:组织术的遗产留在了产业政策的研究文献里,成为各国政府案头反复引用的案例;金融术的遗产留在了每一轮存储周期的预警报告里,成为资本市场评估韩国出口风险的固定科目。两条曲线交叠的那几年(九十年代中后期),恰逢两条引擎同时换挡:日本进入第五代计算机折戟与加拉帕戈斯化的反思期,韩国进入财阀加杠杆的冲刺期——此消彼长,王座易手。

清算这两段历史的账目,各有一笔,而且互为镜像。日本的债记在联盟的边界与远征的方向上:研究组合的机制设计止步于“产前竞争”——共性技术共享,产品各自为战;这个设计在追赶期是美德(避免重复研发),在守成期成了枷锁(五家厂商在同一片 DRAM 市场上自相残杀,谁也没有为跨周期的现金流做准备),最后只能五家变三家、三家变一家、一家变零——从 VLSI 研究组合的五家,到尔必达的一家,再到零,每一步递减都发生在一次行业低谷之后;而把最贵的子弹打向第五代计算机的那次远征,则让整支军队错过了守住王座最需要弹药的那几年。韩国的债记在赌桌上:反周期投资赢了对手,也把国家经济的波动性写进了商业模式,存储价格每跌一个低谷,全国的国际收支都要跟着抖一次;王座的租金,是每年重新支付一次的胆量;两笔债放在一起看更有意思——日本的联盟止步于产前,韩国的赌局贯穿始终,前者输在不再冒险,后者赢在永远冒险。冒险的定价也不同:日本的冒险花的是政府补助与工程师的十年,韩国的冒险花的是银行信用与国家的国际收支——同样是追赶,付账的币种不一样。而两家共有的教训写在行业的属性里:存储是无差异商品,胜负手不在技术的高度,在成本与资金的深度——选了这条赛道,就等于选了用资产负债表打仗。

账目收拢前还要记一笔外部的账。美日半导体贸易战在这两段历史里各扮演了一次角色:对日本,它是八十年代末开始收紧的天花板,出口限制与价格协定削弱了以量取胜的打法;对韩国,它是打开的天窗,市场准入与技术转移的双重红利恰好落在反周期扩张的节点上。同一股地缘的风,吹灭了参与一方的灯,点亮了另一方的——追赶者无法选择风向,只能选择把自己修成哪种形状的帆。

本章的判断是:日本与韩国先后证明,存储芯片这门生意里,追赶的胜负手不是技术的代差,而是组织与资本的形态——谁能把全国的工艺精英拧进一间实验室(日本),或者把全国的信用押进一条产线(韩国),谁就能在一个规格统一的商品上做到世界第一;也正因为商品无差异,王座永远面向下一轮周期敞开,任何一次低谷都可能成为谢幕演出。这个判断可以被反驳——工艺差距与专利壁垒在 DRAM 上确实存在过,日本七十年代的胜利证明了技术的分量,韩国的胜利也离不开美日贸易战送出的市场;但技术、市场、地缘都只是变量,唯有资产负债表的形态决定了谁能把这些变量熬到自己的周期——在这个意义上,存储战争的史书是用借据写成的——赢了写下“可喜可贺”,输了写下“敬送家人”,没有第三种批语。后来者读这段历史,最该记下的既不是日本的联合体也不是韩国的胆量,而是两代王座共同的前提:它们都接受了这门生意唯一的谈判条件——把命押给周期,换一个时代的名字。台湾地区、中国大陆与印度没有加入这场存储战争,它们选了三条更远的路——不拼工艺战,不赌资本战,一个把制造切成了独立的生意,一个把市场养成了自己的入口,一个把全世界的软件后台搬回了家。那三条路的形状,是下一章的地图。


第 085B 章 追赶的分化(下):切割、内需与外包——台湾、大陆与印度的三条路

上一章的两位主角挤在同一条赛道里用存储芯片打了两代人的仗;本章的三位主角各自走进了三条不同的赛道,赛道之间几乎没有交火——这正是它们共同的聪明之处:当正面战场的门槛被先行者垒到天高,绕开正面战场,在价值链的缝隙里另立门户,就成了后发者剩余的最优解。台湾地区把制造从设计里切割出来,做成了独一无二的生意;中国大陆先后把国家任务与内需市场变成自己的入口,从 109 机走到了自研指令集的服务器芯片;印度把全世界的软件后台搬回了自己的城市,让“班加罗尔”成了外包的代名词。三条路的起点、方法与代价各不相同,但三条路的逻辑写在同一行字里:卡位先于追赶。

一座示范工厂与一次切割

台湾地区的半导体起点,是一次政府亲自下场的技术采购。二十世纪七十年代初,外交挫败与石油危机接连而至,出口导向的经济需要新的支柱;1974 年前后,政府为整个“积体电路计划”编列了约 1000 万美元(约合当时新台币 4 亿元)的专案预算——按照后来亲历者的转述,那是一个人均年所得还不到 400 美元的年代,这笔钱是一笔极为庞大的国家赌注。预算中的一小半,约 350 万美元,用来向美国无线电公司(RCA)购买技术;余下的大头,用来兴建台湾第一座 3 吋晶圆示范工厂。买技术的选商过程同样郑重:海外华人学者组成电子技术顾问委员会(TAC),向三十多家美国半导体厂商发函询问技术移转意愿,最终选中 RCA——理由很实际:RCA 已经在台湾设厂生产电子产品,愿意代训人才,负有持续更新技术的义务,并且承诺买回工厂生产的芯片。技术买回来,产品有人要,人才有人教——三条后顾之忧一次剪断。

1977 年 10 月,示范工厂建成投产,采用 7.5 微米制程;成立仅六个月,产品良率就做到七成,高于技术输出的母厂 RCA 的五成。“示范”两个字是这座厂的真实使命:它不是要自己赚多少钱,而是要摆给民间的企业家看——台湾的手做得出合格率的芯片。良率是当时半导体行业最神秘的门槛,示范工厂用六个月把它变成了看得见的事实;看懂了的企业家,后来陆续在出资名单上签了字。良率的数字之外还有一张更直观的成绩单:靠着这批芯片,台湾一举跃升为全球第三大电子表输出地——技术转译成产业的第一步,从一块电子表开始。示范工厂证明了台湾的手,下一步是证明台湾的公司;证明了公司,还要证明公司能在世界市场上与巨头共舞——证明的链条一环扣一环。1980 年 5 月,工研院与交通银行、中华开发、光华投资以及东元、声宝、华泰、华新丽华等民间企业共同出资五亿台币,把示范工厂公司化为联华电子(联电),首任董事长由工研院院长方贤齐出任;同年新竹科学园区正式启用,联电成为进驻园区的第一家厂商。工研院把整体制程技术移转给这家公司——从政府实验室到民营企业,技术完成了它在这座岛上的第一次完整旅行。联电的早期产品对准了刚刚爆发的电子表与消费电子市场——示范工厂时期验证过的那条出口路径,直接变成了联电的订单簿;技术、市场、资本三件事在同一个时间点上各就各位。

民间并非没有先行者。在政府计划铺开之前,民营的万邦电子已经提出了相当领先的经营思维,与后来台湾高科技产业的发展逻辑高度一致;但传统企业要跨足高科技,资本、人才与技术的门槛都太高,公司实际运作不如预期顺利,1989 年被华新丽华的焦家收购,成为今天的华新科技。民营先行的挫折反衬出政府计划的分量:高科技的门,单个企业推不开,需要国家先把门框立起来。

这次旅行铺出了一条后来被反复复制的路,行话叫衍生模式:工研院把成熟的技术连同关键人员一并转移,成立新的公司;1985 年,工研院又设立集成电路共同设计中心,鼓励新兴的设计公司创业,此后陆续剥离出十几家具有集成电路设计能力的公司。研究院当苗圃,公司做果实,果实再反哺苗圃——台湾半导体的森林是用这种方式一棵一棵种出来的;种树的人后来给这套模式起了很多名字,模式本身只有一句话:国家先把种子钱和试验田备好,等树活了,土地和树都交给市场。

森林里最高的那棵树,种下时是一份三方合资的合同。1987 年,行政院开发基金联合荷兰飞利浦与民间资本成立台湾积体电路制造公司(台积电),张忠谋出任董事长,工研院提供支持,飞利浦承担技术合作。台积电的新意不在制造技术——论工艺,它面前站着全世界的 IDM 巨头——在商业模式:纯晶圆代工(pure-play foundry),只替别人造芯片,自己绝不设计、绝不销售,与客户之间结构性地不存在竞争。这一刀把集成电路产业劈成两段:无晶圆厂设计(Fabless)与代工制造(Foundry)。信任是这门生意的全部地基:设计公司把图纸交给代工厂,最怕图纸变成对方的产品;纯代工以商业模式自断财路,图纸才敢放心地交出来。门槛的下降随之发生:设计公司不再需要养得起一座晶圆厂——那是数以十亿美元计的资本开支——只需要养得起一支设计团队。创业公司带着图纸入场,创新的门槛从资本量级降到了人才量级。制造端则反向集中:晶圆厂的每一代工艺都以十亿美元计的资本开支为入场券,全球玩得起的公司一只手数得过来——设计与制造的门槛一降一升,产业的地图被彻底重画,画出新边界的那个位置,后来成了台湾地区的代名词。2026 年,英伟达创始人黄仁勋公开回顾这段历史时的表述被媒体记录:1987 年张忠谋创立台积电,这个构想改变了一切——设计者专注创新、开放的 PC 标准创造了市场、代工提供了生产方法,这个生态系成就了英伟达。

纯代工模式的早期并不风光:IDM 巨头们的产能自用尚且不足,把订单交给一家新代工厂意味着质量与交期的双重风险。台积电的破局点在于用良率与管理说服了大厂。通过英特尔这样的国际大厂的认证(行业综述口径),在当时的代工业里等于拿到了通行证:认证考察的不只是一片芯片的质量,而是整条产线的稳定性、批次之间的一致性、交期的可信度——通过一次,意味着此后每一批都值得信赖。大厂的背书替所有犹豫的客户回答了“敢不敢把图纸交给它”;此后个人计算机与消费电子的浪潮送来成群的 Fabless 客户,纯代工的规模经济全面兑现。代工格局在此后几十年里沉淀为今天的形状:台积电居首,三星的代工业务排第二——按市场研究机构 Counterpoint 的 2023 年第四季度口径份额约 14%——格芯与联电在成熟制程上各有一席;而纯代工的开创者与最大份额,始终属于 1987 年那笔合资。

反事实短栏:没有飞利浦的那笔钱

历史的关键岔口有时小得出奇:一张支票、一次注资的犹豫。1987 年的这笔合资里,出钱的、出人的、出技术的三方各就各位,缺了任何一方,故事都要改写。本栏只挪动一个变量——飞利浦注资没有到位。其余一切保持原样:工研院的技术积累还在,开发基金的意愿还在,张忠谋的构想还在,全球市场对制造服务的需求还在。挪动的理由也很朴素:在三方合资的结构里,政府出资本、本地出团队,唯独飞利浦出的是台积电当时最缺的东西——先进的制造工艺与一套现成的量产经验;它恰恰是三根支柱里无法在岛内短期自产的那一根。

推演从最硬的约束开始。台积电起步时的制造工艺来自飞利浦的技术合作,这不是可以随手替换的零件:1980 年代的晶圆厂是资本与工艺的双重深渊,工艺授权、设备选型、良率爬坡的经验,每一项都要以年计的时间换。没有飞利浦,纯代工的构想不会消失,但它的出生要推迟——以工研院自己的技术底子另起炉灶,良率爬坡的弯路要多走几年,成立时间推迟三五年在半导体史上只算温和的代价。真正被改写的是时间窗口的错位:八十年代末九十年代初,恰好是全球个人计算机放量、芯片设计创业潮萌动的当口——代工产能晚一年,设计公司的成立就晚一年;晚五年,第一批 Fabless 公司就要在 IDM 巨头的既有格局里多熬五年。设计公司自建产线的老路依旧天价,产业的两段式切分要再等下一个愿意只做制造的人;而“下一个”出现的时机,没有人能预先写进任何一方的计划——商业模式的开创需要的不是需求(需求一直在),是需求、资本与信任结构在同一时间点上的交汇。

对照现实的时间线,能看到这个岔口的杠杆有多长。黄仁勋的证言把因果说得很直白:设计者专注创新、开放标准创造市场、代工提供生产方法,这个生态系成就了英伟达——英伟达这样的公司,正是踩着两段式产业结构出生的一代;没有纯代工,它们的图纸无处变成产品,或者要以养厂的天价才能变成产品。设计公司与代工厂是同一次切分的两半,少一半,另一半不成立。再往大处推一步:制造环节的地理聚集会改写——晶圆产能仍将散落在各家 IDM 的内部产线里,而不是聚拢在一个只做制造的经济体;本世纪被反复讨论的缺芯压力,压的就是那座聚拢起来的制造基地——岔口上的历史没有给这一段留草稿,推演只能到此为止,再往前就是虚构。

收口之前重申纪律:本栏只挪动了飞利浦注资这一个变量,不假设任何人更聪明或更愚蠢,也不为任何一方记功过。推演的结论也留有余地——即便没有 1987 年的合资,纯代工模式未必不会在别处以别的形式出现,市场对制造服务的需求是真的;但“会出现”与“何时出现、出现在哪”是两个问题,而追赶者的窗口期恰恰是后者:晚三五年出生的代工厂,面对的已经是另一批成立的设计公司、另一轮技术节点、另一个经济周期。这一栏真正想说的是价值链卡位的成色:一个经济体贴在产业链上的位置,取决于资本、技术来源与商业模式三样东西同时到位,三样里缺任何一样,位置就要换人、换时、换法。1987 年那笔合资里,三样凑齐了;凑齐的那一天,离今天不过四十年。台湾地区的路至此成形——而同一段时间里,海峡两岸的另一侧与次大陆上,另外两条路才刚刚起步。

从任务到市场

第三条入口属于中国大陆,它的第一段路不在市场里。1950 年代,华罗庚倡导下,中科院数学所成立计算机研究小组,夏培肃是小组的核心成员——这条脉络从数学所出发,目标自始锁定国家任务。研究小组的血脉此后一路传承:从早期的电子管、晶体管机器,到 109 机等国产机型,设计队伍在任务中一代代长成。计划经济年代生产的 109 机等国产机器,服务的是两弹一星、天气预报、石油勘探这类国家工程:任务由计委下达,机器从矿石开始在国内造起,不依赖国外,形成一个自我循环的小系统。亲历者胡伟武后来总结这套体制的特点:能从矿石造起、不依赖国外,但没有市场化——任务导向的循环里,机器的性能由任务验收,不由市场定价;用户是固定的几家国家单位,改进的动力来自任务的升级,不来自竞争者的压力。这个循环造出了任务需要的机器,也如前一章苏联案例所揭示的那样,长不出任务之外的生态。

市场化转型把入口换到了另一个方向。换轨是有成本的:任务体制里攒下的设计队伍,要重新学习市场怎么定价产品;市场里长出来的公司,要重新理解底层技术为什么值得投入——两条队伍各自带着上一段路的习惯,在同一条街上磨合了十几年。中关村从陈春先创办公司起步,长成电子一条街,1988 年获批为首个国家级高新区——组装与贸易成了产业立足的起点:先做外国产品的组装与分销,把市场、渠道与队伍养起来,再图自己的产品——组装是学徒制的一种形式:拆开外国机器装回去的过程里,生产线学会了标准,采购学会了成本,销售学会了客户;学费是别人支付的,手艺是自己的。计划年代练出的设计能力与市场年代练出的生意能力,要在同一条街上重新学会握手。用市场换规模,用规模养能力。起点的薄弱在随后的年份里持续可见:按 2019 年人民日报报道的口径,2002 年中国大陆手机市场的八成份额在外资品牌手中,国产芯片落后美日十几年,国际大厂不敢用国产芯片,波导、TCL 这些国产手机厂商同样不敢用——采购国产芯片的厂商要在自己的产品里承担国产芯片的风险,卖得不好算谁的?不敢用的一方与被用的一方在竞争里都怕失分,产业在互相观望中爬坡。观望的打破只能从风险最低的环节开始:先在无关生死的场景用起,攒出案例,再往关键场景挪一步——信任的重建以年为单位,比技术的追赶更慢,这也是断层的债为什么以几十年计的微观解释。

爬坡的路径分成了两股。一股依托内需市场:2000 年之后,全球最庞大的互联网用户群孵化出了本土互联网产业,应用层先立住了——搜索、电商、社交、支付,每一个品类都先在本土用户的海量使用中打磨成型;用户在自己的市场里,迭代的速度就是自己的速度,海量用户把应用产品的打磨周期压缩到世界最快的节奏,应用层的规模反过来又造出对底层芯片与基础软件的真实需求。另一股回到底层攻关:中科院计算所的龙芯从 2002 年的龙芯一号起步,此后演进出自研的龙架构(LoongArch)指令集——指令集是软硬件之间的契约,自定契约意味着软件生态要自己重建,难度以十年计——编译器、工具链、操作系统适配、应用迁移,每一层都要重新铺一遍,铺完一层才轮到下一层;产业化交给龙芯中科推进,产品进入政务、金融、能源等领域——政务先行有其结构原因:政府自身的系统可以率先完成适配与替换,为生态的冷启动提供一个确定的首批客户;2025 年发布的龙芯 3C6000 服务器芯片按厂商口径无需国外授权。两股路径一软一硬,中间隔着几十年,起点却都写着同一个词:内需——应用靠内需养成,底层攻关的采购同样靠内需市场托底。内需作为入口的经济学含义在于:它让追赶者在技术尚弱的岁月里,依然能靠市场规模养活自己的供应商——产品先卖给愿意包容的同胞,在真实使用里迭代,攒出走向外部市场的资格;没有这个内部市场,断层的代价会更加高昂。

把全世界的后台搬回家

印度的入口离制造最远,离人最近。它的出口产业建立在三样资源上:庞大且成本可观的工程人力(工程教育的规模扩张先行于产业需求,每年为市场输送以十万计的毕业生)、流利的英语、以及与欧美时差正好构成接力的大型离岸体系——美国的下班时间接上印度的上班时间,后台可以昼夜运转,客户睡一觉,工单做完了——这个时差在软件行业几乎是量身定做:程序修复与系统维护天然适合隔夜交付,白天的故障单在客户下班后发出,印度的白天正好开工,客户的下一个工作日开门时,修复已经躺在了收件箱里。地理的距离被时差翻译成了工时的连续。塔塔咨询服务公司(TCS)与印孚瑟斯(Infosys)是这条路上的两个名字:穆尔蒂领导的 Infosys 从软件服务起步,1999 年在纳斯达克上市,按媒体报道的口径此后用二十年时间跻身大企业之列;纳斯达克的钟声是一记向全球资本市场的广播:印度的软件公司可以被定价、被投资、被交易——外包从此不只是一门生意,成了一个可投资的行业。《世界是平的》作者弗里德曼自述,他之所以产生“世界是平的”的想法,正来自与 Infosys 的尼勒卡尼在班加罗尔园区里的所见——他站在那个园区里,看到美国的数字化工作可以源源不断流向这里,地理想象的地基松动了。

政府的政策清单与之配套:设立软件技术园、出口补贴、硬件设备免关税、鼓励技术引进——每一项都对着同一个目标:把“为外国客户写代码”这门生意的门槛与摩擦,一项一项降下来。软件技术园解决的是硬件与通信的规模问题——为外国客户服务的离岸中心需要可靠的数据线路与电力,园区把基础设施打包供给,单个企业不必自建;出口补贴与免税解决的是成本问题——外包的利润率本来就薄,税负的每一分优惠都直接进入报价的竞争力。软件技术园(STP)制度自 1991 年前后在班加罗尔、浦那等地铺开,园区内单位享受税收优惠;1998 年,印度政府成立国家信息产业工作组,把这套政策体系再往上推了一层;按官方站点的口径,园内单位的出口在随后五年里大幅增长。外包承接的是程序修复、系统开发维护支持、后台流程——价值链上利润最薄的一段,但它是印度选定的入口:不碰芯片制造的资本深渊,不赌硬件的周期,把全球软件产业的后台办公室搬回自己的城市。入口的得失同样清楚:外包产业把印度写进了全球软件分工的地图,班加罗尔从一座普通城市长成行业地标,几十万工程师在为世界顶级系统做维护与开发的过程中攒下了经验——读懂别人的大型系统,本身就是一笔代价高昂的深造;而产业的位置长期停在服务段——从服务段向产品段的每一次攀升,都要重新回答“入口决定路径”的老问题。服务与产品是两种生意:前者按人天计费,收入随人头线性增长,客户与需求都是别人带来的;后者赌自己的产品判断,收入随用户的增长指数展开,风险与回报都归自己。外包帝国越庞大,围绕人天计费建成的组织、流程与激励就越难调头——这条锁链没有一副铐在任何人的手上,它长在生意的结构里。

三条路的汇合处

三条路并排放在一起,分工的逻辑就显形了。台湾地区选了分工战:不与巨头比整机、比品牌,只比制造这一件事的良率、成本与信任,切下的是产业里最重也最稳固的一段。中国大陆先后选了任务战与市场战:任务战造出了两弹一星的算力,市场战养出了应用层的繁荣,欠下的是底层能力的断层。印度选了人力战:不碰资本的深渊,不赌周期的起伏,用人力资源在服务段立足,代价是产品段的攀爬格外漫长。三条路各自的长成,也各自改写了一方社会的就业结构:台湾地区的晶圆厂把工程师变成了岛上最大的职业群体之一,一座科学园区安放了几代毕业生的职业预期;中国大陆的互联网与硬件产业吸纳了规模空前的工程与制造劳动力,一条街长成了一座城的产业底盘;印度的外包业把数以十万计的年轻工程师留在了班加罗尔与海得拉巴,而不是让他们涌向更远的地方——就业的账不出现在产业政策的第一页,却写在每一页的背面。三条路的债各记一笔:台湾地区的债记在单点依赖上——制造基地越成功,全球供应链对它的敞口越大,位置本身就是风险敞口;中国大陆的债记在断层上——任务体制与市场体制之间,自主的底层能力出现断层,补课的成本以几十年计;印度的债记在链条的位置上——外包的规模越大,向上游移动的惯性与阻力越大。三笔债的共同成因也一致:每个入口在带来第一批利润的同时,都悄悄锁死了第二种可能——选了的越做越强,没选的越来越远,这就是卡位的复利与卡位的利息。复利的起点各不相同:台湾地区的复利从 1987 年那次合资记账,中国大陆的复利从内需用户的第一亿次点击记账,印度的复利从第一份隔夜交付的工单记账——记账的方式不同,复利的规则相同。

三条路共用一条底层逻辑:它们都没有去正面撞击先行者的壁垒。存储与整机的正面战场属于日本与韩国(上一章的战争),设计工具与处理器架构属于美国——三条路的每一个入口,都选在壁垒与壁垒之间的空地:代工是巨头不屑于做的生意(做了就与客户为敌),组装是巨头早已外包的环节,外包服务是巨头来不及整合的长尾。卡位的本质不是更努力地撞墙,而是找到墙与墙之间的那条缝。缝不会永远开着:代工的缝隙里挤进了三星,组装的缝隙里长出了本土品牌,外包的缝隙上站起了全球竞争者——每条缝后来都成了新的正面战场,这正是下一轮追赶者的处境。

本章的判断是:后发者的三种胜法——切割价值链、深挖内需、输出人力——共同证明了一件事:追赶不等于复制先行者的路径,而是找到先行者结构里“不愿意做”的那一环,把它做到无可替代;台湾地区、中国大陆与印度各自把这“一环做到极致”的打法走到了自己的极限,极限之外的天花板,就是它们留给后来者的路标。这个判断可以被反驳——三条路走到极限后,都出现了向核心地带攀升的尝试,说明“绕开正面战场”从来只是阶段性策略而非终局;但每一次攀升仍需回到卡位的老逻辑——先在新的缝隙里立足,再谈正面——绕行与攀登的交替,本身就是后发追赶的完整节律;节律的下一拍,落在谁的窗口期里,历史还没有给出答案。把本章与上一章合起来,五地五十年的分化可以压成一句话:同一个追赶的题目,日本答了工艺,韩国答了资本,台湾地区答了分工,中国大陆答了规模,印度答了人力——五种答案没有对错,只有各自制度禀赋里长出来的可行解;而每一种可行解,都在三十年后显示出了它独有的天花板。至此,卷八的第二问“怎么学”有了全部答案:五地五条路,条条都是对同一道题的不同解——而第三问“允不允许学”,封锁与管制的清单,是下一章的主角。


第 086 章 1949—2020:计算的主权:当技术血脉被强行切断

1983 年早春的一个深夜,东京芝浦码头,一艘万吨货轮在探照灯下装货。冷战正处在最后一段坚冰期,巴黎统筹委员会的禁运清单已经执行了三十多年,东西方之间所有可能转为军用的技术贸易都要过这道闸。几十只木箱被吊臂逐一送进货舱,箱子里是拆散的五轴联动数控机床部件,随箱附带的还有成套的控制软件——拆散装运、部件报关,在检查者眼里是一批寻常的通用机械,装到对岸再合体,就是清单上的管制设备,这套瞒天过海的手法在后来的复盘里被称作狸猫换太子。收货方是苏联军方,发货方是东芝。这批货物后来有了自己的名字——东芝事件:四台五轴联动数控铣床连同软件,绕开了巴黎统筹委员会的禁运清单,运抵苏联,用于改善潜艇推进器的加工精度,以及在建航母的推进器制造。这艘货轮的名字颇具讽刺意味,叫“老共产党员号”。多年后回看,这一夜更像一则寓言:管制与被管制、清单与绕开清单,此后四十年的计算主权之争,基本要素在这一晚全部到场——多边禁运体系、两用物项、被规训的盟友、以及被切断后不得不自造一切的对手。剪刀的进化史、切口的光谱、被剪断一方的三种自建宿命,全都可以在这只木箱里找到最初的线头;而木箱运往的方向提示了最后一个要素——所有这些故事的主角,都处在同一张全球技术版图的不同位置上,位置即命运,直到剪刀落下那一刻。本章沿着这条线索,把“技术血脉被强行切断”这件事拆开来看:剪刀如何进化,切口长什么样,被剪断的一方长出了什么。

芝浦码头的深夜

先说剪刀本身。1949 年 11 月,美国主导成立输出管制统筹委员会,因设在巴黎而通称巴黎统筹委员会,简称巴统(CoCom),成员十七国,对社会主义阵营实施贸易限制与禁运。禁运清单的设计逻辑分三层:军品直接禁;核能物资直接禁;最棘手的是第三层——工业两用物项,机床、电子元件、计算机,民用是生产资料,军用是武器零件,一刀切死会伤及自家出口,放行又等于资敌。巴统给出的答案是精确到型号与参数的清单制:清单内的两用物项出口须逐案审批。这套体系最常被误读的地方,在于它的目标从来不是完全隔绝。完全隔绝既做不到,也不划算:被围死的一方会不惜一切代价自造一切,反而逼出对手的全套产业;清单的真正意图,是让对手的每一步技术追赶都要多花数年时间,始终落后五到十年,这就是所谓“维持代差”法则。代差比围墙便宜:围墙要天天看守,代差只要守住几个关口——对手拿不到最优的工具,就只能用次优的工具追赶,追赶的速度自然慢下来,而慢下来的每一年,领先者又在往前走。也正因为巴统是协调一致的非正式组织而非条约机构,没有强制执行力,各国执行松紧不一,商业公司的绕行动机始终存在——东芝的这批铣床,正是从这个缝隙里运出去的。

数控机床为什么值得冒险,要看它在管制体系里的位置。机床是制造业的母机,数控机床是母机的神经,五轴联动则是神经里最敏感的那一束——能同时控制五个坐标轴联动加工的铣床,可以把形状复杂的精密叶轮一次装夹、一体成型,省掉反复装夹的累积误差,这类设备在巴统清单上属于典型的战略物资,出口一律逐案审批。苏联的潜艇推进器精度不足,噪声特征偏大,西方反潜部队长期据此追踪;而精度更高的推进器意味着更安静的潜艇——四台铣床的价值,要用整支潜艇部队的隐蔽性来计价。这批设备到货后的实际效果,各方说法不一,但事件本身的处理并无歧义:此事曝光后轰动一时,美国对东芝展开严厉追责,日本政府亦卷入其中——盟友卖货给对手,卖的还是清单上的两用物项,这触碰了巴统体系的根基;一桩公司生意由此升级为国家间事件,巴统内部对执行纪律的争吵随之公开化,美国与盟友之间的信任出现裂缝。管制体系最深的成本从来不在清单本身,而在维持清单所需要的信任——信任一旦要靠惩罚来维持,体系的运转成本就翻了几倍。东芝事件因此成为管制史上的一块界碑:它同时暴露了两件事——清单守得住关口,守不住缝隙;以及,主权之手收拾起自家盟友来,与收拾对手同样不留情面。商业合同在国家安全面前,随时可以被重置。

代差法则的效果,苏联自己给出了最完整的实证。20 世纪 50 年代,美苏在计算机上的差距并不悬殊:苏联的 BESM、MESM 系列以可靠性著称,两条路线各跑各的,苏联甚至在部分领域自成一体。分岔出现在 20 世纪 60 年代——美国芯片产业转向集成电路,摩尔定律开始发力于每一代新产品;苏联的微电子路线却在电子管微型化上执着多年,试图把老器件做到极致,错过了转向的窗口期。这个分岔的机理值得细看:集成电路是产业生态的产物——设计、制造、应用、市场互相喂养,滚成雪球;电子管微型化是单点技术的产物——实验室里可以一直做下去,却喂不出生态。到 20 世纪 80 年代初,据当时中国观察者的记录,苏联的小型机装机量仅为美国的十分之一,微型计算机不足美国的二百五十分之一;计划体制内部,一千四百项科研成果只有四百三十项获得采用,小型机构想“微-80”被主管部长一句“退休金、别墅、汽车都有了,小型机不会有”浇了冷水——这句驳回出自后来复盘文章的转述,却足以说明封闭体系内部创新的真实待遇:创新者要说服的不是市场,是一层层不承担技术风险的行政者。管制清单负责把对手挡在门外,挡在门外之后的路,对手要自己走完:外部禁运与内部惰性,一个提供约束,一个提供放大,两者相加,代差从五年拉大到十年以上。这就是巴统设计者真正下注的地方——他们从未指望清单本身锁死对手,他们赌的是被切断的系统在自己的结构里越走越慢。

清单的进化:从阵营到点名

冷战的终场没有带走清单。1996 年,在美国主导下,《瓦森纳协定》接替解散的巴统,延续对若干对象国不同程度的出口管制——成员更多,清单更细,管制的对象从“阵营”扩展到“扩散风险”与特定国家;与巴统最大的不同在于,瓦森纳有了常设的秘书处与正式的通报机制,看起来的组织化程度提高了,但它的决议依然不具法律强制力,各国怎么执行仍然看自己——剪刀的形状没变,磨剪刀的作坊换了招牌。真正的代际升级发生在半个多世纪后:2018 年以来,实体清单机制被大规模启用——这是管制哲学的一次换轨。巴统与瓦森纳管的是物:某种参数的机床、某类性能的芯片,任何买家都要过审;实体清单改成了管企业:被点名的公司,无论采购什么受控物项,一律需要许可,许可的发放权握在政府手里。物项管制像海关安检,人人过同一道门;实体清单像点名禁入,名单上的人走到哪个门口都被拦下——被点名者甚至不必违反任何法律,列入名单这个动作本身就是处罚。同期,对最先进光刻设备的禁售落地,荷兰阿斯麦(ASML)的极紫外光刻机(EUV)以及浸润式深紫外光刻机(DUV)的对华出口许可被收紧乃至停发。要理解这一手为什么致命,得看这家公司站在哪里:ASML 总部在荷兰费尔德霍芬,是全球高端光刻机几乎唯一的供应商——注意“几乎唯一”四个字的分量:整个行业围绕它建立了期待,也让它成为清单体系里最锋利的一枚棋子;其 EUV 光刻机被视为半导体设备皇冠上的明珠,年产仅三十台上下——中央日报的报道口径称,台积电一家就买了其中十八台,单台价格约一千五百亿韩元。芯片制造的所有工序里,光刻决定电路的最小线宽,光刻机的代际决定制程的天花板:EUV 用波长更短的极紫外光直接刻画最精细的电路;浸润式 DUV 是上一代方案,靠多次曝光逼近物理极限,越往下走曝光次数越多、成本越高。拿不到 EUV,最先进制程就没有经济的量产路径;许可收紧到 DUV,连次先进节点也布下路障。管住这一台机器,就管住了一个经济体所能制造芯片的制程上限;清单从“管物项”进化到“管企业”再进化到“管某一家公司的某一款设备”,精确度逐代提高,切口随之越来越细。

剪刀不光对准对手,也时常落在盟友头上。1986 年,美国与日本签署《美日半导体协定》,对日本半导体产业的对美出口与市场份额安排做出强制约定——此前的背景是日本存储芯片产业的强势扩张,而协定的实质,是主权之手对商业竞争结果的一次直接重置:市场份额本该由竞争决定,协定让它由谈判决定。更早的东芝事件已经示范过这种重置的力度——盟友的公司卖货给对手,等来的追责动摇了整个公司的根基,远非罚款了事。这条线索走到 2019 年出现了一个意味深长的变体:剪刀第一次在两个盟友之间落下。此前的管制史里,日本是巴统体系内的看守者之一,此刻却成了剪刀的另一端——管制对象没有变过,变的是握剪刀的手与被剪的手之间的关系。2019 年 7 月 1 日,日本宣布、7 月 4 日起对韩国强化三种半导体核心材料的出口管制——光刻胶、氟化聚酰亚胺、高纯氟化氢,出口须经提前九十天的逐案审查。三种材料各自卡在半导体制造的不同工序上:光刻胶是光刻工序的感光介质,没有它,掩模上的图形无从转移到晶圆上;高纯氟化氢用于清洗与蚀刻,纯度不达标,晶圆表面的杂质足以报废整批产品;氟化聚酰亚胺则是封装与显示环节的涂层材料。它们的共同点在垄断结构:高端的 KrF、ArF 光刻胶核心技术长期由日美厂商垄断,韩国半导体产业的这些基础材料高度依赖日本供货,短期内无可替代。断供的效果立竿见影:韩国贸易协会数据显示,2019 年 7 月起韩国自日本进口氟化氢的数量大幅下降,数月后虽开始发证,进口始终未恢复;到 2022 年,进口额仅八百三十万美元,较 2018 年缩水八成八——这个数字读作“替代成功”还是“需求转移”,取决于统计口径,但它至少说明,韩国对日直接依赖已被大幅改写。韩国的应对也是教科书式的:政府扶持加企业自研,2021 年 12 月,东进世创自研的 EUV 光刻胶通过三星的可靠性测试,打破了完全依赖海外的局面;新厂陆续设立,部分日本厂商则索性转往韩国当地生产——管制冲击的最终形态,往往超出贸易量的此消彼长,真正被改写的是生产地理。把东芝事件与日韩断供摆在同一张时间线上,管制体系的完整形态就出来了:它管对手,也管盟友;管国家,也管公司;管得最深的,与其说是某类产品,不如说是产业链上“谁有权拥有什么”的排序权。巴统管的是货物过境,瓦森纳管的是扩散风险,实体清单管的是企业命运——三代体系层层加码,从海关的闸门进化成点名册,再进化成手术刀。被管的一方也从中学到了同一课:依赖清单上的任何一格,都是把主权的一角押在别人的保险柜里;保险柜的门朝哪边开,从来不取决于存东西的人。管制的世界里没有永远的赢家,只有永远在调整的供应链。

切断的光谱

把镜头对准被切断的一方,会发现“切断”远非一个开关。本章选三个切口深度不同的案例——一家公司被切走一角、一家代工厂被挡住前端、一个国家被全谱切断——三个刻度摆在一起,光谱才能读出来;三家案例分别代表设计方、制造方与整套技术体系的处境,合起来正好是技术栈从上到下的三层。2018 年之后落在华为头上的切口是分层的:先是 GMS 移动服务框架的截断——安卓系统本身开放,但谷歌移动服务套件只向获得许可的设备提供,海外用户买到的华为新机装不上这一套应用框架,等于在最重视服务的市场里被抽掉了地基;再是 2020 年 9 月 15 日——代工断供的正式节点,台积电、三星、SK 海力士停止向华为供货,为手机提供麒麟芯片的海思设计部门手里只剩库存,券商的普遍测算是库存可支撑到次年初。这一天没有爆炸,没有停摆声明,产线与门店照常运转——切断的真实形态往往如此:没有戏剧性的瞬间,只有一条倒计时开始默默走动的库存曲线。设计能力还在,图纸还在,团队还在,唯独把图纸变成芯片的那道门关上了——无工厂设计模式的软肋,在这一天暴露无遗:把制造外包出去的每一天都在省钱,而外包链条被政治截断的这一天,省下的钱都要加倍还回去。手机业务随后的萎缩有目共睹。但同一家公司的另一块业务走的是完全不同的曲线:通信设备的主干产品——基站与传输设备——不依赖最先进制程,其芯片用成熟工艺即可制造,靠既有库存与成熟制程节点持续供货,交付得以延续。同一家公司,同一纸清单,一块业务折损、一块业务存活——切口落在制程光谱的哪一段,决定了业务的生死;先进制程是手机处理器的命门,却不是基站设备的命门。中芯国际的路径是光谱的另一种走法:作为晶圆代工厂,它在先进制程上受设备管制所阻,转向成熟制程节点的扩产——不在被封锁的赛道上硬顶,转而在开放赛道上把产能做厚;成熟节点的需求盘子原本就比先进制程更大——汽车电子、工业控制、电源管理,无数芯片对线宽的要求停留在二十年前的水平,这个市场的竞争靠成本与良率,不靠制程表上的名次——这条转身路径损失的是技术制高点,保住的是生产线的运转。2020 年 10 月,市场还传出过台积电获准向华为继续供应成熟工艺的消息,公司方面未予回应——这类传闻不作事实,但传闻本身说明:市场从一开始就明白,切口的宽窄是可以谈判的变量。

光谱的另一端是俄罗斯。2022 年 2 月末,全球主要芯片商相继停止对俄供货——台积电暂停对俄直接销售及经第三方的转售,格芯、英特尔、英伟达等相继跟进,这次切断不再是清单上的几家企业,而是几乎整条供应链的同步退出。后果沿着三个层面展开:其一,俄罗斯本土设计的处理器芯片依赖海外代工——本土没有与之匹配的先进制造线,设计图纸必须送出去才能变成实物,制裁直接扰乱了这些芯片的境外交付,设计能力与制造能力之间的链条被拦腰截断;其二,俄方试图通过灰色渠道采购芯片的尝试屡屡受挫,被点名的受控器件在转售链条上同样被追踪;其三,从更长的时间尺度看,西方技术与服务商的撤离推高了本地云服务的价格,数字化基础的每一层都在承受替代成本——软件会停更,硬件会折旧,服务会涨价,三张账单按不同的周期到期。三起案例排成一条光谱:华为被切走的是最先进制程的一角,主干尚存;中芯被挡住的是最前端的几代工艺,转身扩产成熟节点;俄罗斯面对的则近乎全谱切断——设计有实力而制造无根基的经济体,切口最深。三个案例还透露出同一个规律:损伤的深浅不取决于被切者的意志,而取决于断点在链条上的位置——断在应用层可以绕,断在工具链要重建,断在制造能力则要十年计的重建周期。切断很少表现为零与一的开关,它更像光谱上的一道刻度;读错刻度,就会同时误判对手的损伤与自己的韧性。

一把尺子不能量两种栈

讲完剪刀与切口,本章要立起一把更难立的坐标:可比与不可比的分界。卷八讲日本、韩国与中国台湾地区的两章,讨论的是同一全球价值链内分工位置的高下——DRAM 谁做得好、代工谁做得精,参赛者用的是同一套规则、同一份客户名单、同一类衡量指标,市场占有率与毛利率就是成绩单。日本在存储芯片上的份额起落、三星的逆周期豪赌、台积电开辟代工模式,都是在这条跑道上的进退;跑道是共用的,名次是可比的。本章讨论的则是另一类存在:被强力切断后,系统在不同目标约束下长出的独立异构技术栈——自主指令集的龙芯、微内核的鸿蒙、面向人工智能计算的昇腾架构。它们不在那条跑道上,因为跑道本身的部分路段对它们关闭了;它们并非因市场机会而生——真正的起点是供应链被切断这个前提;其优化排序把供应链的底线生存放在商业利润之前。底线生存在这里是字面义:采购单上有没有第二供应商、第二工艺、第二生态,直接对应着融资与订单之外的那个问题——断供之后还开不开得了工。用工程的话说,目标函数换了:商业系统的目标函数是利润与份额,一切资源围绕“卖得更多”配置;生存系统的目标函数是“断供之下仍能运转”,一切资源围绕“每一环都要有自己掌握的方案”配置。两个目标函数对同一笔资源给出相反的指令——按商业逻辑,自建编译器不如采购现成方案,重复造轮子是浪费;按生存逻辑,采购现成方案就是把咽喉交给别人,轮子再贵也要自己造。目标函数不同的两套系统,不能放进同一把尺子:用单核跑分衡量龙芯的 LoongArch,如同用百米成绩评价越野搜救犬——指标本身测错了对象;用应用生态的丰富度衡量鸿蒙,测的是它最不优先优化的那一层。跑分与生态当然重要——只是在异构栈的排序里,它们被排在生存之后。

生存标准具体指什么,可以列成一张短清单。第一是断供下的持续供货能力:关键环节被切断后,系统是否仍有可用的替代路径——库存能撑多久,替代方案要多久能顶上,两个时间差就是系统的脆弱窗口。第二是链条的完整度:从指令集、内核、编译器到开发工具,断点在哪里、每一处断点是否有自己接管的方案——断点越靠近栈的底层,风险敞口越大,因为底层的替换成本最高、周期最长。第三是生态的自洽性:不依赖外部许可即可完成从设计、制造到软件分发的闭环——许可本质上是一份可以被收回的合同,收回的那一天,生态的每一层都要重新长。三条规定从历次断供里反复验证而来——它们算不上道德律令,是实打实的承重结构:清单每收紧一轮,这三条就是被切断方复盘时的全部清单——库存数、断点表、闭环图,三张纸摆在会议桌上,决策从这里出发。用这套标准回看三份案例,读数与商业榜单截然不同:一个跑分平平的指令集,若能在断供之下持续产出芯片,它在生存坐标系里的得分就高于一个跑分领先却随时可能被断授权的方案;一个应用数量暂少的操作系统,若内核、编译器、工具链全部握在自己手里,它的风险敞口就小于一个生态繁荣但内核受制于人的系统。公道话也有一句:生存标准内部同样分高下——同样是全栈自建,指令集的完备程度、编译器的成熟度、工具链的顺手程度仍然有天壤之别,生存标准只回答“敞口多大”,不回答“造得多好”。商业标准回答“谁更强”,生存标准回答“谁能活着”;切断发生之后,第二个问题先于第一个问题存在。这不是为落后辩护,而是给比较定坐标——坐标错了,一切结论都是噪声。坐标错置的误判是双向的:用商业尺子量生存系统,会把它读成“低效”——自建编译器、自造指令集在商业报表上全是重复建设;用生存尺子量商业系统,又会把它读成“脆弱”——生态繁荣、份额领先的方案,风险敞口可能大得惊人。两种误判在真实的决策里都发生过,代价由决策者承担;本章能做的,是把两把尺子各自的量程写清楚——量程标注清楚之后,接下来该看被这套生存逻辑塑造出来的技术栈,长成了什么形状。

三种宿命

被切断者的自建之路,历史给出过三种走向,每一种都以失败或转折收场——三种走向分别回答三个问题:技术上正确就够了吗?借来的路能走多远?全栈要建到哪一层?第一种宿命叫“技术上对、生态上死”。1956 年,莫斯科大学的研究者在数学家索伯列夫门下自发提出三进制计算机的构想——在全世界都押注二进制的时候,用负一、零、正一三个状态做基本计数单位,对称的三值逻辑天然表示正负,省去补码运算的繁琐;1958 年,Setun 三进制计算机问世,实际表现是耗电低、速度不慢,用的人口碑良好——它不只是实验室里的奇物,真有用户在真实的计算任务上用过它、认可它。它在技术上站得住,却死在两道程序上:计划体制下,量产与否由行政而非研发决定,Setun 的量产被叫停,1970 年的后续机型 Setun 70 最终锁进库房;根子上的死因是生态——没有廉价的硬件支撑装机量,没有装机量就没人为它写软件,没有软件就没人买机器,这个死循环与三值还是二值无关,任何偏离主流的路线都要独自穿越它。Setun 输给的不是二进制,是整个生态位:主流路线背靠全球市场摊薄成本,异端路线独自承担从硬件到软件的全部造价。

第二种宿命叫“借来的路走到尽头就要还”。中国的龙芯团队自 2001 年起步,前二十年走的是 MIPS 授权兼容路线——龙芯 1 号、2 号、3 号系列兼容 MIPS 指令集,再以自研的 LoongISA 扩展叠加自己的增强;从桌面到服务器,从工控到政务应用,这二十年的产品线把兼容路线能走到的边界走了个遍。这条路的便利是软件生态可以直接挂靠:MIPS 是老牌精简指令集,早期思科的路由器里跑的就是它,围绕它的工具链现成可用;龙芯在兼容之上叠加的 LoongISA 扩展,则是在租来的地基上加盖自家的房间——扩展归自己,地基归别人。代价则写在授权协议里:授权费按年支付,授权方保留停止支持的余地——兼容的每一行代码都建立在“授权持续有效”这个前提上,而这个前提的开关握在别人手里。更尴尬的是桥本身的命运:MIPS 公司自己后来转向 RISC-V 架构,不再推进 MIPS 的设计,只剩 Microchip 的部分微控制器仍在沿用 MIPS 内核——借道的桥,桥主自己拆了;桥上还站着的,只剩几家不忘旧的小客户。2021 年 4 月 15 日,龙芯正式发布自主指令集架构 LoongArch:第三方知识产权评估认定其自主性,搭载它的 3A5000 处理器完成流片,完整操作系统在其上稳定运行。换轨的实质是认账:挂靠生态省下的每一分软件成本,都要以“命脉握在他人手中”的利息计价;把指令集的顶层定义、微内核的知识产权、编译器与工具链全部收进自己手里,短期看是放弃了现成的软件存量,长期看是把利息还给本金。2021 年的信创论坛上,这次换轨被正式公之于众,龙芯自此成为三类路线里唯一被评论者归入“全栈自建”的样本。业界评论常把芯片架构路线归为三类:购买永久授权——飞腾、鲲鹏走的 ARM 架构路线,可以改内核,但指令集的所有权归属 ARM,新的架构扩展不能自行定义,根子上不是全链条;购买指令集起步再逐步自研;以及像 LoongArch 这样从顶层指令集到微内核知识产权再到编译器生态全栈自建。三类路线的差异不在当下的跑分,而在断供场景下的敞口——授权是一份随时可以收回的礼物,这一点被切断过的人体会最深。

第三种宿命最年轻,走向是“从借道到全栈”。鸿蒙操作系统选择了微内核架构——把操作系统最核心的调度与内存管理压缩成一个尽量小的内核,其余系统服务移到内核之外,换取内核本身的可验证与可裁剪;可裁剪这一点在全场景布局里尤其要紧:从耳机到车机,硬件资源相差几个数量级,同一套内核要能裁出从几十 KB 到几百 MB 的各种形态。主打分布式设计,设备之间通过软总线互联——软总线把多台设备的通信能力抽象成一条虚拟总线,设备靠近即自动组网,跨设备的调用像调用本机接口一样;各设备的硬件能力彼此分离、又可被统一调度,覆盖从手机到多终端的全场景。它的独立成色有硬口径可查:原生鸿蒙不再使用 Linux 内核及安卓开源代码;中国经济网的报道列举其自研清单——内核、文件系统、编程语言、编译器、框架、设计系统、集成开发环境、人工智能框架——并称之为结束了三十年由西方主导终端操作系统内核的历史。媒体口径自有其立场,其中列出的每一项自研内容却是可以逐项查证的事实;人民网的报道进一步把这套体系概括为五层:麒麟系列的硬件底座、纯自研的微内核、方舟编译器、原生应用生态,以及由 TEE 安全微内核构成的安全层——五层里没有一层挂着别人的名字。昇腾则从芯片一侧给出同样的答案:采用主机与设备异构的计算架构,主机侧沿用 C/C++ 编程,设备侧用专为神经网络处理器设计的 Ascend C 语言,两侧分工协同——通用处理器管调度与逻辑,专用处理器管矩阵运算,各干各的活。把龙芯、鸿蒙、昇腾三份案例叠在一起,能看到同一个转折的三个切面:从利用开源与授权借道超车,到被迫自建从指令集、内核到开发工具的全栈——这个转折无关任何人的偏好:切断之后,账本上仅剩这个选项。开源是桥梁,桥梁的意义在于过河;切断发生时,桥板被从对岸抽走,留在桥上的人只剩两个选择——退回去,或者自己造桥板。Setun 的教训在三十五年后的这批案例里被逐条避开:它死于没有生态承接,后来者便在建芯的同时先建开发者社区与软件适配;它死于量产被行政叫停,后来者便把量产决策与市场需求直接挂钩;它死于独自承担全部造价,后来者便先用授权与开源摊薄早期的学费,攒下体量再换轨。三种宿命里,Setun 停在了造桥之前,LoongArch 走完了换桥,鸿蒙与昇腾在试着把整套桥网织完——宿命之所以叫宿命,不是因为结局写死,而是因为每一步选择的代价都已经在历史里标好了价。

本章回答的,正是卷八两章留下的那个悬而未决的问题:分工位置的高下可以用份额与毛利丈量,被切断后的生存能力用什么丈量。本章的历史定性可以收束成一句可反驳的断言:技术血脉被强行切断之后,追赶者技术栈的第一目标函数必然从商业利润转向供应链底线生存,因此评判异构技术栈只能用生存标准而非商业标准——跑分与生态丰富度测错了对象。这是本书第四主线的收口处:标准委员会与清单体系是商业利益与国家意志的角力场,技术路线的胜负从不在跑道之内单独决定。断言的边界也要画清:生存标准不是护身符——它解释资源的排序逻辑,不担保任何技术方案的最终成败;Setun 在生存坐标系里同样得分很低,目标函数的正当与执行的正误是两本账。可反驳的路标同样清楚:若能找出一套被全面技术切断后、坚持以商业跑分最大化为目标、拒绝转向生存优先,却依然存活并持续发展的技术体系,断言即破;若能证明某套异构栈的存续与生存导向无关、纯靠商业竞争力立足,目标函数论亦破;再或者,若管制体系被证明无法维持任何代差——被切断方总能同步获得最先进工艺与工具——则本章全部案例失去前提。但只要清单仍在更新、切口仍在光谱上滑动,这把生存的尺子就还钉在 1983 年芝浦码头的那个深夜里:货轮装走的从来不只是几台铣床,而是一个此后反复上演的问题——剪刀落下之后,被剪断的一方,靠什么把线头重新接起来。答案在不同年代有不同的拼写:五十年代是电子管与三值逻辑,七十年代是逆向工程与仿制,九十年代是授权与开源,二十一世纪二十年代是自建指令集与全栈生态——拼写一直在变,拼写的冲动从未消失。



卷九 · 云与共识(1999—2020)卷首语

云计算不是飘在天上的雾气,是钢铁、铜线、冷却液与重电网的实体集中营。本卷追踪硬件资源如何被层层软件切碎为按秒出租的数字水电:虚拟化把一台机器切成多台,AWS 把机房切成商品,容器把机器切成秒级进程,Kubernetes 用契约代替命令管理千万容器,共识算法在无人可信的乱序网里谈出确定性,异构数据用拼盘收容了所有放不进关系表的现实——切得越碎,租得越顺;租得越顺,机房越大。

必须预先声明:云不是法外之地,也不是免费午餐。Region 与 AZ 的选址首先服从司法边界,数据出境的关口站着穿制服的人;PUE、蒸发冷却的水耗、全球机房 1.5%—2% 的人类用电账单,写在每一份"弹性"的对账单背面。开源运动埋下的伏笔在这里开花结果:Kubernetes 与整个云原生宪章,都是开源协作在基础设施层的胜利——而 OpenStack 的烂尾则提醒我们:把公有云全家桶搬进企业机房,搬的不是技术,是组织形态——不同的协作摩擦,账算不过来。

本卷的主导物理约束有三条:超大规模机房兆瓦级的供电与散热(电与水是云真正的货币)、多租户物理资源的抢占(超卖是生意,隔离是契约)、跨国合规的边界(法兰克福隔离、境内独立运营、光缆归属)。三条约束在本卷末尾汇成一句话:云把机器做成了水电,但水电站,建在国境线以内。
阅读指引。 本卷讲云如何从机房变成水电、分布式系统如何在没有钟表的世界里达成共识。云架构师、SRE 与后端工程师应当全卷精读——087(虚拟化)、088(AWS 水电化)、089(容器)、090(Kubernetes)四章合起来就是当代云计算的完整技术栈;091(共识)与 092(异构拼接)是分布式系统的理论地基。非技术读者建议读 088(AWS:一家卖书的如何重新定义了全球算力)与 092(OpenStack 烂尾的教训)——这两章的故事完整,几乎不需要背景。第 088 的物质注(水耗与电费)与主权注(法兰克福的隔离墙),值得所有读者慢读。


第 087 章 1999—2007:虚拟化的复兴:从 IBM 大型机到 x86 幻影

1967 年 1 月,马萨诸塞州剑桥,IBM 剑桥科学中心(Cambridge Scientific Center)的机房里,一台改装过的 System/360 Model 40 正同时伺候好几位工程师。每人面前的终端后面都挂着一台完整的“计算机”——带引号,因为物理机器只有一台。有人跑着完整的 System/360 系统做实验,有人把系统玩崩了,重启自己的就行,邻座的终端毫无察觉。这在今天的术语里叫虚拟机,在当时叫同一台机器假装成了好几台。假装得足够像,像到每个用户都认定自己独占整机——这台机器演出的戏,三十多年后将在廉价的 x86 服务器上重演一遍,演出者是一家叫 VMware 的小公司;再过几年,舞台干脆搬进 Linux 内核,这一次连幻觉本身都成了内核的正式职能。两次演出的道具不同、演员不同,剧本却惊人一致:先有软件用巧计绕开硬件的缺陷,再有硬件亲自下场收回巧计的地盘。本章讲这场跨越四十年的轮回:一台机器怎样骗过所有人,这门骗术为何两次兴起,每次兴起的形态又由什么决定。

一台机器的复制品生意

剑桥科学中心成立于 1964 年 2 月,牵头人诺姆·拉斯穆森(Norm Rasmussen)。中心给自己找的题目是分时:让一台机器同时服务多个用户。业界的常规做法是切时间片——你用十分钟,我用十分钟,排队轮转。剑桥的做法激进了一步:不切时间,直接切出整台机器。CP-40 项目把一台 System/360 Model 40 改装成实验平台,在上面运行一个叫 CP/CMS 的系统,系统的结构可以从名字里读出来:控制程序(CP,Control Program)负责把真机器切成若干台假机器,每台假机器都精确复刻真机器的全部行为;用户侧配一个剑桥监视系统(CMS)充当日常操作环境。用户在 CMS 里写程序、存文件、调试,感觉不到自己的“整台机器”其实只是磁盘上的一段数据加 CPU 时间表上的一行调度记录。这件事的价值在调试室里最直观:要试验一个新系统,从前的规矩是向机房申请整机窗口,排期、登记、掐表,出了故障得当着管理员的面恢复现场,一个下午的窗口时间往往只够跑两轮实验;如今每个工程师都在自己的假机器里折腾,弄崩了就重启,几分钟后再来一轮,谁也不欠谁的时间。机器时间排队,是大型机时代真正的稀缺品管理,剑桥等于宣布:稀缺的不是机器,是“一人一台”的错觉,而错觉可以批量制造。1967 年 1 月,这套配置进入正式运行环境,中心的每位用户分到一台完整的虚拟 System/360——注意这个说法的分量:不是分到一段时间,是分到一台机器,哪怕它是假的。

1968 年,升级版 CP-67 登上 System/360-67——该型号专门为虚拟内存地址扩展设计,硬件的配合让假机器更像真机器。这套研究系统随后显示出超出实验室的成色:成熟期在 44 套 System/360-67 上稳定运行,单机支持 60 个分时用户;至少有 National CSS 和 IDC 两家商业分时公司,靠转售装载这套系统的机器做生意。一个研究项目养出两门买卖,说明它的稳定性已经过了市场这关。真正把它变成正牌产品的是 1972 年:8 月 2 日,IBM 宣布 VM/370,与首批 System/370 机型同批推出。VM/370 的核心就是那台虚拟机监控器(VMM,Virtual Machine Monitor)——运行在裸机上、向用户提供若干台“裸机精确复制品”的系统,这一版还加入了虚拟内存,让假机器拥有的内存可以超过物理内存条上焊着的容量。从此虚拟机不是实验室的玩具,而是一类正经的 IBM 产品:企业在同一台大型机上划出一批虚拟机,一台跑生产、一台做测试、一台留给新系统试运行,机器的账本第一次可以按“台”而不是按“小时”来记账;虚拟化自此成为大型机的内置身份,此后几十年不曾离开。这条产品线沿着 System/370、System/390 一路演进,直到今天大型机上的 z/VM 仍认这门手艺为祖先。

这段遗产在此后近三十年里被业界冷落,原因不难理解。大型机太贵、太集中,全世界装得起的企业一只手数得过来,虚拟化是富人的省钱术,这门手艺与大多数工程师之间隔着一道采购审批;个人计算机浪潮里,机器便宜到一个人独占一台,“假装有整台机器”毫无意义——真机器已经摆在桌上,谁还需要假机器。等到 20 世纪 90 年代末,事情起了变化:x86 服务器遍布企业机房,单台机器的性能涨得比负载快,大部分服务器在绝大部分时间里无事可做——电照烧,风扇照转,CPU 大面积空闲;同时一台机器上塞的应用越来越多,彼此抢端口、抢注册表、抢动态库——动态库尤其是重灾区,两个应用各要一个版本,装新的旧应用报错,装旧的新应用起不来,共享的机器上没有哪个应用肯为别人退让,一个应用的升级弄崩另一个应用的现场每天都在上演。运维部门只好立下“一台服务器一个应用”的部署纪律,这条纪律保住了稳定,也把服务器利用率钉死在低位。中国科协的一份复盘报告把虚拟化被重新拾起的动因概括得很准:硬件浪费,加上软件冲突。两个痛点指向同一个解法——把一台机器切成许多台彼此隔离的假机器,浪费被填满,冲突被隔开。把解法落成产品时,工程师们面前摆着五条技术路线,差别在“谁来迁就谁”。全虚拟化:监控器完整模拟一台机器,来宾一行代码不改,监控器独自消化全部指令翻译与陷入处理;半虚拟化:反过来,改动来宾操作系统,让它主动配合监控器,把敏感操作换成显式调用;硬件辅助虚拟化:再反过来,请 CPU 出面认得虚拟机,把特权判断做进硅片;此外还有部分虚拟化与操作系统级虚拟化两种折中,后者根本不模拟机器,只在操作系统里隔离出一个个进程视图,轻,但隔离强度也弱了一档。五条路线的取舍,取决于一个更底层的问题——x86 的指令集,到底配不配得上 1974 年立下的那条虚拟化准则。

三条准则与一名不及格生

准则立在这一年:1974 年,杰拉尔德·波佩克(Gerald Popek)与罗伯特·戈德堡(Robert Goldberg)发表《可虚拟第三代架构的规范化条件》,给“一台机器能否被有效虚拟化”立了三条性质。论文标题里的“第三代架构”,指向的正是 System/360 之后以集成电路为主存-处理器骨架的那一代主机——准则从大型机的实践里提炼,也首先在大型机上成立。第一条等价性:虚拟机里跑的程序与真机上的行为完全一致,除了速度,软件无法察觉自己在假机器上——这是虚拟化作为“幻觉”的成色要求;这条一旦破损,程序会绕过监控器直接探测机器,隔离随之瓦解。第二条效率:绝大多数指令必须由硬件直接执行,不许监控器事事插手;若每条指令都要过一遍软件关卡,假机器慢得没有商业价值——按这个标准,纯软件解释执行一切指令的方案虽可行,却直接出局。第三条资源控制:监控器完全掌控物理资源,虚拟机碰不到不该碰的硬件——这条是安全的底线,幻觉再逼真,后台的账本必须攥在监控器手里。三条性质之下,论文给出一个著名的充分条件:架构的全部敏感指令必须都是特权指令。这条条件的巧妙在于把三性压缩成一条可检验的指令集性质:只要子集关系成立,等价性、效率与资源控制便同时有保障。还要注意“充分”二字的分寸——它只承诺满足者必可虚拟,不承诺不满足者必不可能;不满足的架构并非死路,只是要靠额外的软件技巧或硬件支援把缺的课补上,代价记在性能与复杂度的账上。敏感指令,指那些能窥探或改变系统资源配置的指令——读地址翻译表、改内存映射、开关中断,桩桩件件都碰得到监控器的家底:地址翻译表决定内存归属,中断开关影响调度与响应,谁都能动,隔离就无从谈起;特权指令,指只有在最高特权级执行才合法、否则触发陷入(trap)把控制权交给监控器的指令。子集关系一旦成立,监控器就可以放心把虚拟机整个放到低特权级上运行:来宾若胆敢碰任何敏感操作,必然触发陷入,监控器接管、查账、模拟出效果、再把控制权交还。这个“陷入—模拟”循环就是虚拟化的引擎,全部机制骨架可以压缩成十几行伪代码:

/* VMM 的陷入-模拟主循环:让来宾跑,直到它撞上特权操作 */  
while (vm_running) {  
    run_guest();                      /* 放行来宾,直至下一次陷入 */  
    reason = last_exit_cause();  
    if (reason == PRIVILEGED_INSN)    /* 特权指令:校验后模拟 */  
        emulate_effect();             /* VMM 代为执行并记账 */  
    else if (reason == PAGE_FAULT)    /* 缺页:补足地址映射 */  
        fix_page_table();  
    else                              /* 中断或 IO:设备模型接管 */  
        forward_to_device_model();  
    inject_result_to_guest();         /* 结果注回,继续跑 */  
}  

循环的关键假设是“必然触发陷入”:监控器看不见的指令,就管不住。整台虚拟机的运转,不过是这个循环的千万次重复——来宾跑几万条普通指令,撞上一条特权指令,陷入,监控器查参数、算结果、记账,注回,继续跑。每一次陷入都要付出一次上下文切换的代价,所以效率性才要求绝大多数指令绝不过问;而等价性与资源控制,则全押在“敏感必陷入”这个前提上——前提塌了,两条性质一起塌。这套循环在 20 世纪 70 年代的大型机上运转良好,那时指令集的设计者与监控器的作者常常坐在同一层楼里,谁敏感、谁特权,一纸备忘录就能对齐。对照这把尺子,x86 是个不及格生。它的指令集中有 17 条指令敏感却不特权,SGDT、SIDT、SLDT、STR 是其中代表——读取全局描述符表地址、中断描述符表地址、局部描述符表选择子、任务寄存器这类机器状态,在任意特权级都能合法执行,不触发任何陷入,执行了就悄悄返回宿主机的真实数据;设计这些指令的本意是方便调试与系统工具,代价是把监控器的家底开放给了所有人。监控器根本不知道它们发生过。这条裂缝的破坏路径很具体:虚拟机里的操作系统本该活在一个由监控器精心布置的假地址空间里,一条 SIDT 却能把宿主机的真实描述符表地址递到它手上——假布景的幕布边缘,直接暴露给了台上的演员;拿这条真实地址去比对监控器布置的假地址,来宾立刻知道自己身处舞台,等价性破产。比裂缝更麻烦的是来宾操作系统的一份执念:内核必须运行在最高特权环 Ring 0,而一台物理机只有一个 Ring 0。x86 的保护环设计了多个特权级别,Ring 0 是内核的地盘,普通应用住在最低的 Ring 3,越界操作由硬件拦截——这套环体系本是安全的基石,此刻却成了虚拟化的死结。这份执念并非任性——x86 上的操作系统从设计之初就假设自己独占整机,内核代码、驱动、地址空间安排,处处写死了这个前提。于是僵局两头都不好解:把操作系统降级到低特权环,它一执行内核操作就撞墙,绝大多数现成系统根本没按这种委屈的处境写;把 Ring 0 让给操作系统,监控器就被挤到体系之外,资源控制无从谈起。敏感指令不陷入,操作系统不肯降级——大型机上运转良好的陷入—模拟循环,在 x86 上从起点就断了链。断链之后怎么办,三条路径就此分岔。三条路径对“谁来迁就谁”给出了三种回答:路径 A 要求指令集迁就监控器,x86 交不出这个迁就;路径 B 由监控器迁就来宾,替它把漏洞圆上,代价是软件开销;路径 C 请硬件出面重新定义规则,让指令集在硅片层面重新合格。先走通的是路径 B:

        x86 虚拟化的三条路径:同一条“坏指令”的三种命运  
──────────────────────────────────────────────────────────────  
路径A 陷入-模拟(1974 准则设想的正路)        x86 走不通  
  Guest(Ring0) 执行特权指令 ──trap──▶ VMM 校验 ──▶ 模拟 ──▶ 交还  
  前提:敏感指令 ⊆ 特权指令  
  x86 现实:SGDT 等 17 条不陷入 → 前提破产  
──────────────────────────────────────────────────────────────  
路径B 二进制翻译(1998—2006,VMware 主路)  
  Guest 指令流 ─▶ 逐块扫描 ─▶ 改写敏感序列为安全等价码  
              ─▶ 存入翻译缓存 ─▶ 反复执行  
  代价:首次翻译付费,摊到每一次缓存命中上  
──────────────────────────────────────────────────────────────  
路径C 硬件辅助(2006 起,VT-x / AMD-V)  
  CPU 新增 root / non-root 两套模式  
  Guest 跑在 non-root,敏感指令自动 VM-exit  
       ─▶ VMM(root) 处理 ─▶ VM-entry 返回  
  内存二级翻译:EPT(Intel) / NPT(AMD) 替代影子页表  
──────────────────────────────────────────────────────────────  

翻译出来的生意

把不及格生调教成才,靠的是翻译。1998 年 2 月 10 日,VMware 在加州帕洛阿尔托注册成立,创始核心五人:黛安·格林(Diane Greene)与斯坦福大学教授门德尔·罗森布鲁姆(Mendel Rosenblum),以及罗森布鲁姆的学生爱德华·布尼翁(Edouard Bugnion)、斯科特·德瓦恩(Scott Devine)等人——一支把多年虚拟机研究成果押向商业的小团队,押注的判断很朴素:大型机上被验证了三十年的手艺,企业机房正缺得厉害,谁能把它搬到 x86 上,谁就捡到一整片没人认领的市场。他们的赌注是:用二进制动态翻译绕开那 17 条指令的死结。“动态”二字是关键——翻译不发生在程序安装时,而发生在每次运行时:监控器看着来宾的执行流,走到哪,翻到哪。原理说来克制。虚拟机监控器在来宾代码执行之前逐块扫描,凡遇敏感特权指令,当场改写成一段安全等价的指令序列——比如把那条会泄露宿主机真实状态的 SIDT,替换成返回伪造数据的一段代码;改写好的翻译结果存进翻译缓存,后续反复执行,普通指令则原样放行。翻译器由此做到了准则要求的监控器做不到的事:看不见运行时的指令没关系,我在它运行前就把整段代码过筛子。代价被挪到了时间轴上:每段代码首次执行付一次翻译费,之后靠缓存命中摊薄;程序的热点代码高度集中,命中率高,这笔账在多数负载下算得过来。操作系统一行不用改,Windows 也好、Linux 也好,搬进去就能跑;它以为自己在 Ring 0,翻译层替它把这话圆上。1999 年 5 月,公司发布第一个产品 VMware Workstation:一台普通的 x86 个人计算机,同时运行多个互不干扰的操作系统——开发者在 Windows 的桌面上开一个窗口跑 Linux,测试员在一台机器上验收软件对不同系统的兼容性,这些从前要靠两台机器、两张桌子解决的事,从此挤进一台机器。从实验室到货架,这条路大型机走了八年(1964 年立项到 1972 年出产品),VMware 只走了一年多——半个世纪的机制积累都在,缺的只是一道针对 x86 的工序。

市场反应证明这套手艺踩中了时代。企业机房里,x86 服务器一排排码进货架,单台便宜到部门预算就能买,多到资产管理流程都得为它专门立规矩;服务器闲置烧钱、应用打架宕机,为测试环境单独申请一台机器的旧规矩渐渐维持不下去,而“一台拆几台”的算术简单到不需要说服:买三台物理机的预算,换成一台机器加一份软件,测试、开发、演示全塞进去,彼此隔离。两笔旧账都有了新解法——闲置的机器被装满,电费和机架位不变而产能翻倍;打架的应用被分进各自的虚拟机,一个应用升级再也不会弄崩邻居,排障时重启的也只是自己那一台。对企业的信息技术部门,“不改来宾”这四个字尤其值钱——运行在 Windows 上的业务系统和应用生态原封不动地搬进虚拟机,迁移成本接近于零,VMware 顺着这条缝隙横扫企业市场。中国科协的复盘把 1998 年至 2011 年这段历程概括为虚拟化的“积累与试探”期——试探的另一头,连着整个行业对这些手艺的重新学习。怀疑的声音当然有,而且在当时都相当体面。性能派盯着翻译开销:首次翻译要付钱,来宾代码工作集越大,翻译缓存的压力越大,缓存失手就要回炉重译,羊毛出在羊身上,这笔账迟早要还。够用派则觉得单机本就便宜,为一台几百美元的服务器平白增加一层监控器和一组新的故障点,是把简单问题复杂化——对只跑一个应用的小机房,这笔投入确实换不来任何回报。这两种意见没有一条是愚蠢的——性能派指出的代价真实存在,够用派代表的单机用户后来也确实长期用不上虚拟化;只是 2000 年前后的账本站在了另一边:机器贵、闲置多、机房紧张,翻译的开销摊进整年的电费和采购单里几乎可以忽略,而多买三台机器的钱、场地和运维人力却省不下来。反对者输给的不是技术,是算术。2003 年 12 月,存储巨头 EMC 宣布以约 6.35 亿美元收购这家成立仅五年、尚未上市的公司,交易于 2004 年初完成——这桩买卖在生意上顺理成章:虚拟机的一切状态最终都落在磁盘上,存储与虚拟化素来亲近;大公司的销售渠道进场后,虚拟化从极客玩具变成企业采购单上的标准科目。2007 年,VMware 上市,一家卖“假机器”的公司站上了纽交所的钟台。

CPU 亲自下场

翻译终归是绕路的学问,绕路就要付过路费:首译要花时间,缓存占着内存,指令流一变就要回炉。软件路线把这笔过路费付在 CPU 时间里,而最省事的出路是把路修直——让 CPU 自己认得虚拟机。2006 年前后,Intel 与 AMD 先后交出各自的答案——VT-x 与 AMD-V。两家思路一致:给处理器新增 root 与 non-root 两套模式,虚拟机监控器运行在 root 模式,来宾操作系统运行在 non-root 模式下自以为的 Ring 0。来宾执行敏感指令时,处理器自动触发 VM-exit,控制权回到监控器;处理完毕,再经 VM-entry 返回来宾,来宾对此一无所知。那 17 条漏网之鱼被硬件亲自拦下——不再是软件在指令执行前改写代码,而是 CPU 在指令执行的一瞬间完成陷入,陷入—模拟循环重新闭合,1974 年的准则在迟到三十年后于 x86 上成立。模式切换同样有开销,但走的是硅片路径,代价远小于软件翻译,整体性能直追半虚拟化方案。Intel 给这套扩展取名 VT-x,AMD 则称 AMD-V,名字不同,机制同源。芯片厂商做这个决定并非拍脑袋:此前 Adeos、Mac-on-Linux、Parallels 等项目已就近全虚拟化做过种种尝试,VMware 更是用企业采购单证明了市场容量——虚拟化软件卖出的每一份许可证,都是要求 CPU 长出虚拟化功能的选票,硬件这才下场认账。内存是第二个战场。软件虚拟化时代,监控器要靠影子页表替来宾维护“来宾虚拟地址到宿主物理地址”的整套映射,来宾每改一次页表,影子都要跟着重影,开销沉重;VT-x 配套的 EPT 与 AMD-V 配套的 NPT 把两级地址翻译交给硬件直通——来宾地址先翻译成“来宾物理地址”,再由硬件查第二张表落到真实内存,只有缺页时才请监控器出面。拿 1974 年的尺子重新量:敏感与特权的子集关系在硅片层面重新成立,效率性由硬件直通保障,资源控制回到 root 模式的监控器手里——三条性质在 x86 上首次全部成立。硬件辅助铺开之后,二进制翻译退居二线,专啃新指令、特殊场景这类翻译器仍然擅长的杂活;半虚拟化与全虚拟化的性能差距也随之收窄。2006 年因此成为一条分界线:此前虚拟化是一门对抗指令集的软件手艺,此后它是一项有硬件名分的处理器功能。

改内核的与进内核的

硬件认账之前,软件阵营内部已经分出两条路线,路线之争的实质是:谁来为 x86 的指令缺陷买单。剑桥大学计算机实验室的答案是“改内核”。2003 年,保罗·巴勒姆(Paul Barham)、伊恩·普拉特(Ian Pratt)、安德鲁·沃菲尔德(Andrew Warfield)等九人——巴勒姆来自微软研究院剑桥——在 ACM 操作系统原理研讨会(SOSP)上发表《Xen and the Art of Virtualization》。这个会议是操作系统领域的最高讲台之一,路线之争在这里亮成绩单;论文标题直承三十年前虚拟化研究的衣钵,立场却写在论证里:既然 x86 天生不适合陷入—模拟,与其让监控器独自表演完美的幻觉,不如请来宾操作系统自己配合——修改内核,把敏感操作替换为对监控器的显式调用(hypercall),开门见山,不走翻译,也不靠反复陷入。半虚拟化的核心主张可以压成一句话:与其费尽心机骗过操作系统,不如和它谈好一个接口——把幻觉改成契约。这就是半虚拟化。Xen 本体是微内核架构的开源监控器——监控器本身只保留最必要的调度与内存隔离职能,其余功能交给外围模块,结构上薄,性能成绩也相当漂亮;代价写在路线的名字里:来宾必须配合改源码。开源的 Linux 改起来顺理成章,闭源的 Windows 就只能望而却步;等到硬件辅助成熟,Xen 也得回头支持 VT-x 与 AMD-V,才能吃下改不动的那半市场。这条路线一度通向云的心脏——早期 AWS 的虚拟机实例正是运行在 Xen 上,全球头号云厂商用它承载了云计算起步期的大部分负载,租户之间的隔离在物理服务器内部就由这层监控器把守;一个改过内核的开源项目站上云计算的起点,这在 2006 年前后是行业默认配置。Xen 项目后来归入 Linux 基金会旗下。但它始终背负一个结构性别扭:每一次上游内核演进,为半虚拟化打的补丁都要跟着重做,维护成本长在路线本身,而不是长在某个待修的缺陷上——这个别扭在 KVM 进入内核主线之后,会显得越发沉重。

另一条路线的答案是“进内核”。2006 年 10 月,Qumranet 公司的阿维·基维蒂(Avi Kivity)向 Linux 内核邮件列表提交了一套名为 KVM(Kernel-based Virtual Machine,基于内核的虚拟机)的补丁:不另造一个监控系统,而是给 Linux 内核加一个虚拟化模块,让内核本身就成为虚拟机监控器——每个虚拟机就是内核眼里的一个普通进程,调度走现成的调度器,内存走现成的内存管理,设备走现成的驱动框架。这个设计的省力之处在工程之外:运行一台虚拟机所需的全部日常操作——启动、停止、看内存、限带宽——用的都是运维人员早已熟悉的进程管理手段;一台机器上几十个虚拟机的公平调度,也不必新写一套仲裁逻辑,内核调度器多年打磨的算法直接接管。2007 年 1 月,KVM 随 Linux 2.6.20 进入内核主线——这个时点的含义在发行版:从此每一版 Linux 发行惯例都自带虚拟化能力,装好系统就有,不必另行采购、另行安装、另行信任一个第三方监控器;基维蒂的补丁从邮件列表出发,最终长进了世界上部署最广的服务器操作系统。基维蒂事后接受 CNET 采访时的自白,把这条路线的胜机说透了:“我们按 Linux 的方式做了这件事。”(“We did things the Linux way.”)不 fork 内核、不另立山头,虚拟化能力随每一次例行的内核升级,分发到世界上每一台 Linux 服务器上;内核社区的眼睛顺带替它盯缺陷。两相对照,Xen 赢在论文年代的性能数字,KVM 赢在分发渠道——前者要求用户主动接纳一个修改过的世界,后者让虚拟化顺着操作系统原本的毛细血管流进去。技术上的优劣从来不是路线之争的终点,分发结构才是:谁能搭上已有的安装基数,谁的定义权就随装机量增长。硬件辅助成熟后,三条路线汇流成新的格局:二进制翻译退居二线,半虚拟化守住利基,开源的 KVM 与闭源的 ESX 各据一方,而 ESX 早已把监控器做薄、直接装上裸机,成为企业机房里那层看不见的地基。

复式记账,这场上算的生意在借方也有实数。翻译路线的借方,记着首译开销与缓存压力,工作集一旦超出缓存,性能就往下出溜;影子页表的借方,记着来宾每次页表操作都要重影一份的开销,内存密集型应用在这层抽税最重;模式切换的借方,记着每次 VM-exit 与 VM-entry 的固定成本,IO 频繁的负载陷入次数最多,税也最重;半虚拟化的借方记在别处——每一次上游内核更新都要重打补丁,这笔维护费按年结算,不写在性能报告里。抽象层没有消失成本,只是把成本摊成了看不见的形状:企业买到的是“一台机器切十台”,付出的是每台虚拟机上那层按百分比计的隐形税、以及一个必须专人值守的新故障域;从大型机时代起,这台“假机器”的每一分逼真,都有真机器在别处替它付账。这些税也不是白交的:翻译与影子页表换来的是一行来宾代码不改的兼容性,模式切换换来的是 1974 年三条性质在硅片上成立。抽象的税表逐年修订,修订的方向始终是让税率趋近于零——虚拟化二十年复兴史,一半是算术史。这笔账在 2006 年之后越摊越薄——硬件把最重的几项税直接免掉——但从未清零。回头看这场复兴,卷九的两道约束已在此埋下引线。其一,虚拟化把服务器的利用率从个位数拉上去,省下的机器钱转头变成更密的机柜——机房里的功耗与热量按机柜计算,供电与散热很快取代芯片成为机房里最紧的物理约束,兆瓦级供电与散热成为下一个命题。其二,一台物理机上住下几十个租户,谁抢到 CPU 谁跑得快,邻座虚拟机的一次死循环就能拖慢整台机器,多租户的抢占与调度成为下一个软件命题。两道题,都留给下一章那种按栋计算的机房。

虚拟化的复兴史可以收束成一句可反驳的断言:x86 世界的虚拟化复兴,靠的不是架构设计的先见之明,而是两代工程师为同一笔指令集兼容性负债轮番还债——软件先用二进制翻译垫付本金,硬件再用特权模式扩展支付利息,这门手艺的每一次转向都由当时最硬的约束决定。从 1972 年的 VM/370 到 2006 年的 VT-x,中间隔着的并非技术失传,而是商业地理的变迁:大型机的机房与 x86 的机架之间,隔着一整个个人计算机产业,隔着一整代按“独占整机”假设写成的操作系统。这是本书第二主线“兼容性与路径依赖”的又一份账单:x86 凭几十年的软件存量霸住市场,代价是把 1974 年准则眼里的不合格架构一直带进 21 世纪,再逼所有人在应用层、软件层、硬件层依次替它还债。可反驳的路标同样清楚:若能找到一套长期商用、不依赖特权级隔离与硬件辅助、纯靠进程调度就实现多租户强隔离且性能无损的主流系统,断言即破;若能证明 SGDT 那 17 条指令的死结存在零开销的纯软件解而被业界集体视而不见,断言同样动摇;若后来的处理器架构(放弃历史包袱的新指令集)能在毫无虚拟化扩展的情况下天然满足 1974 年准则,则“兼容性负债是复兴之母”的因果亦被证伪。但只要陷入—模拟的循环仍是每台云主机运转的内核,这个断言就还站在 1967 年剑桥那间机房里——那台假装成许多台机器的机器,至今仍在假装。


第 088 章 2006:AWS 与计算的水电化革命

2000 年,西雅图,亚马逊的工程师们被一个叫 Merchant.com 的项目拖进了泥潭:把亚马逊的电商平台能力开放给外部零售商使用,这个听起来只是一次代码复用的工程,做了一年又一年,进度始终爬不动。卡住它的不是功能清单,是架构——为单一网站打磨出来的系统,耦合盘结到没有人能说清“给外面开一个接口要动多少层”。同一家公司的另一个团队刚为每年节日购物潮的流量峰值买足了服务器,潮水退去后,这些机器在余下的十一个月里大半时间空转,折旧照提,电照烧。空转的不只是亚马逊:整个行业用同一种方式供养着自己的峰值——按最忙那天买机器,按最闲那天亏钱;信息部门的采购单越拉越长,机房越来越满,机器的利用率却原地踏步。一边是外部项目被架构拖死,一边是内部机器被闲置拖穷,亚马逊把自己信息技术底座的两处病灶同时看清楚了。五年后,这两处病灶被开成了一张药方,药名后来叫 AWS;2006 年,药方开始对外抓药,全世界的计算从此论秒计费。所谓水电化,说的就是这次身份转换:计算从一件要提前采购、专人伺候、折旧入账的固定资产,变成拧开阀门就有、按表读数付钱的服务——而水表电表读数的背后,是真实的水库与电网。水电不分家,这一章的行进路线也按这个顺序铺开:先看卖水的人怎么入行,再看管道怎么铺进机房,最后掀开账单的背面——电表、水表与国境线。本章回答卷九开篇的问题:一家售卖纸质图书起家的西雅图电商公司,凭什么重新定义了全球计算的基础设施。

卖书人的账本

先看账本,再看雄心。亚马逊是零售商,零售商的本能是算利用率:一台服务器买下来,用掉一成算力,等于九成的钱打了水漂;可节日峰值必须按最坏情况备货,这又是零售的性命。备而不用与用而不备,这对矛盾在零售业无解,在工程上却有一条现成的出路——把机器切成碎片租出去,用别人的负载填自己的低谷。在零售商的资产负债表上,这是把沉淀的成本中心改写成进取的利润中心:同一排机器,节日峰值伺候自家购物车,平日里的空档租给别人的网站,一张电网两份收入。这条路通往的技术,上一章刚讲完:虚拟化。把一台物理机切成许多台假机器,租户之间的隔离由监控器把守,亚马逊早期选的监控器正是剑桥人写的 Xen。但把内部冗余变成公共服务,需要的不只技术——把一家零售公司的看家基础设施开放给同行使用,这在当时的软件行业没有现成的先例可抄。2003 年底,“把计算能力做成服务卖出去”的构想在公司内部成形;牵头的是安迪·贾西(Andy Jassy)——他组建了一支 57 人的创始团队,一半工程、一半商业,这支部队此后几年同时做两件事:把亚马逊自己的内部基础设施收拾成统一的能力,再给这套能力套上对外的服务外壳。工程与商业混编的用意在于排序:工程师保证能力是真的,商人保证卖法是对的,两拨人从第一天起坐在同一间屋里,避免“建好再想卖给谁”的老路。到 2005 年,亚马逊的内部基础设施整合初见形状,对外的服务目录也一并拟了出来——先治自己的病,再卖治病的药,顺序不能反。2004 年 11 月,简单队列服务(SQS)上线,AWS 的第一个公用基础设施服务开始运转——一个消息队列,朴素到近乎寒酸,却是第一块按用量计费的积木。选消息队列打头阵有其道理:队列是分布式系统里最简单的解耦件,两个程序不必同时在线,一个往队列里投,一个从队列里取,投取之间按条计费——它小到可以让人放心把数据交给一家刚起步的服务商,又大到足以验证整套计量与计费的管道;计量计费的管道一旦走通,后面每一种服务都不过是换一件商品过秤。

2006 年 3 月 14 日,简单存储服务(S3)上线。它卖的存储简单得像一句口号:任意数量的数据,随便存多久,按用量付钱——发布价格为每 GB 每月 15 美分。没有合同谈判,没有容量规划,没有最低起订,一张信用卡就是一个机房的入场券;此前买存储要过的每一道关——询价、比稿、到货、上架——在这张价目表面前统统作废。数据以对象的形式存进名为存储桶的容器,通过普通的网络协议读写,存的时候不必告诉系统自己有多大,删的时候也没有人问你为什么删——容量规划这门手艺,连同它的岗位,一并被按量计费吸收了。价格表上还有存取流量与请求次数的分项,用多少付多少,每一项都像水表电表一样逐格走字。五个月后,2006 年 8 月 25 日,AWS 工程师杰夫·巴尔(Jeff Barr)在公司博客上宣布弹性计算云(EC2)进入公测:租一台虚拟机,几分钟内开机,按小时计费,机器的镜像文件就存在 S3 上——启动一台服务器,等价于从存储桶里复制一份镜像并点亮它。“弹性”二字是这门生意的题眼:流量涨了,多开几台;流量退了,关掉几台;账单跟着负载的曲线走,而不是跟着采购的年份走。博客公测这个形式本身也是宣言:新服务不再开发布会,写一篇文章,开发者读完了直接动手——客户与厂商之间只隔一个命令行。两个服务一拼,存储加计算齐了,一台“租来的计算机”的全部要件就此凑齐。此后的几年里,服务目录沿着这条逻辑继续生长,到 2010 年,数据库、消息、监控、内容分发的第一代全家桶渐次凑齐——开发者从“租机器”走到了“租零件”,自己搭的每一层基础设施都被变成了按量计费的服务,而嫌虚拟机太重的人已经开始琢磨更轻的隔离件,那是下一章容器的故事。同月早些时候,谷歌首席执行官埃里克·施密特在一场搜索引擎战略大会上用“云计算”(cloud computing)一词指代服务器一侧的形态;两周后 EC2 宣布——词与物在这个夏天相遇,此后再没有分开。

这套东西真正革命性的地方,藏在交付方式里。此前的企业采购计算资源,走的是合同、报价单与到场安装;EC2 与 S3 的一切操作——开机器、删文件、配网络——全部通过应用程序接口(API)完成,没有柜台,没有销售,控制台只是 API 的一层皮肤。资源的创建与销毁由此变成程序可以执行的语句:写一个脚本,循环调用 API,就能在几分钟内“长出”一百台服务器,用完再一句一句删掉;“开机”这个动作,在采购流程里是一张要走三周审批的工单,在脚本里是一行带参数的调用——动作的语义没变,时间常数从月压到了毫秒。基础设施第一次成为可编程的对象——后来这被称为基础设施即代码(IaC):机房不再是工程师出差去的地点,而是代码里的一个函数调用;开通一套环境的耗时从采购流程的以月计,压缩到脚本运行的以分钟计,而且每一次开通都严格复制同一份配置——手工装机时代“这台和那台不知道哪里不一样”的玄学,被版本化的配置文件终结。机器镜像存为可复制的对象,则补上了另一半:一台配好环境的服务器可以像文件一样被复制、存档、随时复活,“这台机器坏了我得重装一遍”的宿命宣告终结。贝佐斯在 2006 年度致股东信里为这类业务写下过一句注脚:以亚马逊现在的规模,播下种子并让它成长为有意义的新业务,需要纪律、一点耐心和一个培育性的文化。华尔街当时并不领情——一家零售商去做企业信息技术服务,既无销售渠道又无企业信用,分析师们普遍看空;这份看空并非无理,它背后站着 IBM、惠普这些深耕企业市场几十年的巨人。零售商的回击方式只有零售商想得出来:降价,一直降。此为后话,先看看这些服务跑在什么样的机器里。

机房即计算机

按小时出租的每一台虚拟机,物理上都住在同一种建筑里——数据中心。在建筑工程师眼里,它是一栋专为机器盖的房子:无窗,高架地板下走线,天花板上网桥纵横,一列列机柜排成街道,冷风从地板下涌上来,热风从机柜背面被抽走,行话里管冷热两片空气叫冷通道与热通道。本章要说的“机房即计算机”则是另一层意思:对外出租的云,在物理上就是这一栋栋房子,房子内部任何一处堵车,租户的账单数字不会变慢——但请求会。而在 2006 年前后的数据中心内部,一场网络架构的换血正好被云计算逼到了关口。此前的机房网络沿用园区网的老三样:核心层、汇聚层、接入层,三层自下而上像一棵树,树根是核心交换机。这个结构为一种流量而生:南北向流量——客户端从外面进来,穿过接入、汇聚、核心,到达服务器,再原路出去;用户访问机房,流量纵向流动,树的形状恰好匹配。三层树在它的时代是合理的:广播域分层隔离,故障域层层收窄,每一层各管一片,管理界线清清楚楚;带宽的规划也简单——只在“树干”上按纵向上行的量买带宽,下层链路又粗又便宜。二十年里,人们围绕这棵树修修补补,把整套运维经验、厂商产品线与认证体系都种在了它的枝干上。

虚拟机把这棵树挤爆了。一台物理机上住着几十台虚拟机,一个服务由横跨几十台物理机的上百台虚拟机协作完成——搜索的一步、数据库的一次同步、分布式文件系统的一场副本校验,流量全在服务器之间横向奔流,这就是东西向流量。用户的一次点击看着轻,落到机房里却是一串横向的接力:前端机把任务分给队列,若干台工作机各自认领,再写给缓存,缓存同步给副本——每一环都是一次服务器对服务器的通信,南北向的门口冷冷清清,机房腹地的横向公路上车流汹涌。负载一重,接力还要加倍:同一份数据在几排机柜之间来回校验,横向车流昼夜不息。横向的流量要去往另一台机柜,唯一的路是向上爬到汇聚层甚至核心层再折返,而越往上层,链路越少、越贵;树根成了千军万马挤行的独木桥,中央处理器空闲、网络先瘫成为机房常态。机器越买越多,桥越来越堵——三层树的数学在这个新负载面前破产了。替换它的方案来自一个半个多世纪前的老思路:查尔斯·克莱斯(Charles Clos)为电话交换系统设计的无阻塞网络——用大量小交换单元交叉互连,让任意两条线路之间的通话都存在多条互不干扰的通路;电话网络用这套办法接通了整座城市的呼叫,数据中心借它来接通整栋楼的服务器。数据中心把它简化成两层织网:每台接入交换机(Leaf)向上连接每一台骨干交换机(Spine),任何两台 Leaf 之间的通信都只隔一跳,且永远存在多条等宽的并行路径。这就是 Spine-Leaf 拓扑,本质是 Clos 织网——东西向的任意两点之间,带宽不再是树根的瓶颈,而是路径数的乘积;流量可以在这组等价路径之间摊开,任何一条路堵了都有邻道可走,单台交换机故障也只是一条路径的消失,全网无感。扩容的算术同样干净:加一台 Spine,全网带宽整体加宽;加一台 Leaf,只是多一个接入点,全网一切照旧——扩容从“给树根换更大的根”变成“给织网多穿一根线”。代价是布线密度:每台 Leaf 都要连到每台 Spine,线缆数量与配置工作量远超树形,管理界面也不再是一目了然的层次,而是一张要靠软件维护的网——织网与网络自动化是一对连体婴,人手配不动这个密度的链路,配置脚本与自动发现成了织网的入场券。反对的声音在当时理直气壮:为了横向流量把全网重织一遍,线缆与交换机预算翻着番地涨,而横向流量有多大,取决于还没发生的应用形态——赌一个尚未出现的负载模式去推翻行业标准,运维部门本能地摇头。这笔账在超大规模厂商那里算得过来:机器多到一定数量级,桥堵一次的损失就够重织一层网;对中小机房,三层树又多活了许多年。今天的超大规模机房与人工智能显卡集群,清一色跑在这种织网上。

      数据中心内部网络:从三层树到 Clos 织网  
────────────────────────────────────────────────────  
 旧三层树(为南北向流量而生)   Spine-Leaf(为东西向而生)  
        ┌────┐                  [S1]   [S2]   [S3]   [S4]  
        │核心│                    ×      ×      ×      ×  
     ┌──┴──┬─┴──┐               [L1]   [L2]   [L3]   [L4]  
   ┌─┴─┐ ┌─┴─┐ ┌─┴─┐              ×      ×      ×      ×  
   │汇聚│ │汇聚│ │汇聚│            [服务器][服务器][服务器][服务器]  
   └─┬─┘ └─┬─┘ └─┬─┘  
  [接入][接入][接入]  
    客户端 ↑↓ 纵向进出          每台 Leaf 直连每台 Spine:  
    跨机柜流量须爬到核心折返     任意两点一跳可达、多路等宽  
────────────────────────────────────────────────────  
 无损网三件套(RoCEv2 流量在织网上奔跑的规矩):  
 PFC 优先级流控:下游缓存越过阈值 → 发反压 STOP 帧  
                → 上游按优先级暂停发送,包不丢弃  
 ECN 显式拥塞通知:交换机在包头打拥塞标记 → 端点主动降速  
 DCQCN:端到端拥塞控制算法,把 PFC 与 ECN 拧成一套  

拓扑只是路网,路上跑的车还有自己的问题。分布式系统的胃口早在 21 世纪初就超出了传统以太网的消化力:以太网天生有损,交换机队列一拥塞就丢包,而丢包对分布式存储与计算是灾难——一次重传的代价以毫秒计,一次副本校验里丢几个包,整场校验就得推倒重来;传统协议栈里,数据要在内核与用户态之间来回拷贝、要靠中断通知处理器,每一步都在放大时延。经典传输协议对拥塞的感知也慢半拍——它靠丢包来发现堵车,等丢包出现,队列早已排长。高性能计算圈子为此修了一条专线:远程直接内存访问(RDMA)——网卡绕过内核与处理器,直接读写对端机器的内存,收发双方的应用各自在自己的内存里等着,数据由网卡直接搬过去,时延从毫秒级压到微秒级。RDMA 的原生载体 InfiniBand 是一套独立的专有体系:延迟以微秒计、单口吞吐可达 400Gbps 以上,但网卡、交换机、线缆全套专用,成本高昂,与以太网生态互不相通,长期只住在超级计算机与后来的 AI 训练集群里——性能至上、预算管够的场合。把这门手艺搬进以太网机房的折中叫 RoCEv2——让 RDMA 跑在融合以太网上,用普通数据中心配得起的光纤与交换机,跑出接近专线的时延;专有体系与开放生态从此并立,超算选前者,云机房选后者,预算与性能各取一条线。以太网的祖传毛病必须一并治掉:无损传输靠三件套立规矩。优先级流控(PFC)让下游交换机在缓存水位越过阈值时发出反压的停止帧,上游按优先级暂停发送,包不再被丢弃——下游的缓存水位还分档设防,越过半数告警、逼近上限即停,与水坝的汛期调度一个道理;显式拥塞通知(ECN)让交换机在数据包头打上拥塞标记,发送端收到标记主动降速,把拥消灭在萌芽;DCQCN 算法把 PFC 的硬反压与 ECN 的软降速拧成一套端到端的策略。三件套各有分工:PFC 管“不丢”,ECN 管“慢下来”,DCQCN 管整套节奏,缺一件,微秒级的内存访问就会在交换机口上摔碎。当年设计以太网的人认定“丢包重传”天经地义,机房用二十年时间证明:在微秒级的世界里,丢一件货比等一秒钟昂贵得多。网络的性格,就此从“尽力而为”改成“说到做到”——机房里的这张网越修越像一台计算机内部的内存总线,因为机房本身,正在变成一台计算机。

电表与水表上的云

机房的账本有两页,一页写效率,一页写代价。效率那页的头号指标叫电源使用效率(PUE):机房总耗电除以信息技术设备本身的耗电,理想值是 1,越接近 1 说明电越少浪费在制冷、配电这些“伺候机器”的环节上;典型数据中心的 PUE 落在 1.1 到 1.6 之间——这个数字的读法可以更直接:PUE 为 2 的机房,每两度电里服务器只吃掉一度,另一度喂了空调与线路;PUE 为 1.1 的机房,则把损耗压到了一成。机房按用途分流——通用计算的通算机房、跑人工智能训练的智算机房、做科学计算的超级计算中心——各自的功率密度与散热压力不同,账本却用同一个指标记账;头部云厂商后来把 PUE 压成竞争指标,年报里逐项晒数,冷得越便宜,报价比对手越硬。电费由此成为数据中心运营成本里最大的一块,接近七成,机房因此得名“电老虎”;管理一家云公司,很大程度上就是管理一张电费单——选址即套利:哪里的电便宜、冷得免费、地价便宜、光纤到户,机柜就往哪里长。这也是卷九主导物理约束的第一次现形:计算的瓶颈从芯片的时钟频率,悄然换成了电网的容量与价格。

代价那页更冷。为压低 PUE,行业发明了蒸发冷却:让水在换热器里蒸发吸热,替服务器带走热量——水是最便宜的冷媒,代价是水从此上了机房的采购单,而且数量惊人。以谷歌为例,其数据中心 2022 年的用水量约 6.6 亿加仑;放到每一座机房所在的社区,这就是一个沉默的用水大户,与农田、城市抢同一张水网。缺水年份的旱季,机房的冷却塔与田里的灌溉渠同一时刻打开阀门,冲突写在水表上;在缺水地区,水耗反过来成了数据中心选址审批的决定性因素——电力促增长,水源定选址,审批桌上先过的是水利部门的章。于是选址成了一门看天吃饭的学问:北欧、北美北部以及中国贵州这类气候凉爽的地区,可以直接抽室外空气给机房降温,机械制冷大半闲置,PUE 显著下降;贵州更进一步,天然溶洞恒温恒湿,水电充沛,把机房搬进山洞既借了地质的冷,也借了水电的绿;宁夏中卫靠干燥气候与大风做风冷,湿度低到水冷反成负担的地方,风就是最好的冷媒;冰岛干脆用地热发电加免费冷源,电与冷一并解决,机房守着火山口算账。冷、电、水、网,四样东西排出的组合,决定了全球机房地图上的每一个坐标。而这张地图的总账是:全球数据中心消耗的电力,约占全人类用电量的 1.5% 到 2%——另有统计口径把这个区间放在 2% 到 3% 的上沿,无论取哪个口径,结论都一样:所谓虚拟的云,是人类用电版图上排得上号的一块实体。此后每一次“信息越来越轻”的赞叹,账本这页都记着对应的重量:网页快一秒,背后是风扇转快一拍;数据存一份,背后是河谷里多抽一份水。

区域画出的国境线

水与电决定机房建在哪里,法律决定机房为谁而建。同样的冗余逻辑也写进了地理:AWS 把全球基础设施切成一层套一层的地理单元——区域(Region)是一个物理上独立的城市级集群,区域内再分多个可用区(AZ),彼此隔离、独立供电,谁家机房失火都不殃及邻区;一个应用把副本铺在多个可用区,一颗陨石砸中其中一座机房,服务照转——冗余的颗粒度从服务器细化到了建筑群。区域与可用区的边界同时是服务边界的硬线:许多对延迟与合规敏感的服务以区域为最大供货单元,跨区域的复制是另一种服务、另一张账单。这套结构的排序原则里,电力与网络只是半张地图,另外半张是司法。AWS 官方的选址考量列得很直白:电力供应、地缘政治风险、数据主权法制、网络连接、自然灾害五项——数据主权法制与地缘政治排在与电力并肩的位置;新开一个区域,从拿地、供电到合规审批,周期以两到三年计,一旦落子,机房就长在了某一部法律的辖区里,动土之前,法务的签字先于工程师的图纸。

法兰克福是司法边界的教科书案例。2014 年 10 月 23 日,AWS 宣布第 11 个区域 EU(法兰克福)上线,区域代码 eu-central-1,贾西亲临发布——这家公司为一个区域上线给出这种规格,是因为时机敏感:斯诺登曝光美国国家安全局的大规模网络监听之后,欧洲大陆的企业与政府陷入恐慌,客户数据存进美国公司的机房,等于默认它随时可能被大洋对岸的机构调阅;《金融时报》当时点破,AWS 在德国设数据中心,正是为了回应欧洲企业对美国网络间谍活动的担忧。机房还没动土,法律已经先落地。数据落在法兰克福,就在德国司法辖区之内,受欧洲法律管辖——机房的位置,成了法律承诺的物理抵押;后来“数据不出境”成为欧洲企业与政府的标配要求,区域边界就是这项要求的执行机关。大洋另一端的中国给出了更彻底的版本:AWS 在中国大陆的北京与宁夏两个区域,由本地持牌公司独立运营——宁夏区域由西云数据运营,北京区域由光环新网运营,亚马逊不直接运营中国大陆的数据中心,服务器、人员与运维流程都留在本地法律的视线之内;中国区域与国际区域的全球骨干网互不直连,专线接入须另行申请审批。同一块招牌,两套司法,两套运营主体——云是全球的技术,机房从来不是全球的公共品。合规的严肃性也在反面立着界碑:伪造存储位置、把数据拆散绕开审查、对必须备案的加密自作主张,这些小聪明在监管面前换来的只有服务中断与数据两空——司法边界从来不为技术技巧让路。至于海底光缆把数据从一处司法辖区引渡到另一处的漫长旅程,登陆站落在哪国海岸,数据就先接受哪国的检查——一条光缆既是工程奇迹,也是一串可以被截停、被调阅、被立法者拿上谈判桌的物理瓶颈;这条规则的分量,跨国企业在此后十年的一次次合规风暴里反复掂量。

降价的算术与看空的账

回到 2006 年,看空 AWS 的分析师们握着一张在当时无懈可击的牌:企业市场认合同、认渠道、认几十年的服务关系,亚马逊一样都没有——采购部门的合格供应商名录上不会有西雅图的网上书店,首席信息官们也确实没有理由把自己机房的心脏交给一家卖书的公司。零售商的回答是零售式的——把价格打下来,让市场用购物车投票。2006 年以来,AWS 的降价累计已逾百次(另一统计口径称,到 2019 年降价已超过 50 次、年均 5 次以上——口径不同,方向一致);降价的刀法有章法,存储降完降计算,计算降完降配套服务,2019 年一次性把容器服务的虚拟中央处理器价格下调两成、内存价格下调六成五。降价的逻辑是教科书式的飞轮:规模上去,单位成本下来,成本让利换更多客户,更多客户再摊薄成本;自研芯片与自建光网继续改写成本结构,飞轮越转越重。Azure 与谷歌云入场后只能跟进,价格战成为云行业的常态,而 AWS 站在飞轮的中心;价格战的底线从来不是勇气,是电价、规模与资金成本——三者都厚的企业才打得起持久战,这也反过来解释了为什么全球市场长期只容得下屈指可数的几家超大规模云厂商。当年不看好的逻辑没有一条是错的——企业销售渠道的缺失是真实短板——错的是时间变量:当商品足够标准化,渠道的价值就一路贬值,价格与规模的飞轮越转越快。受益的另一方是从未被任何分析师计入模型的群体:从前的创业公司要先融资买服务器,再慢慢开发产品;现在一张信用卡就能起家,创办成本从资本开支变成一张随用随停的账单,验证一个想法的代价从几个月压到一个下午。门槛降下去,创业潮涌上来,潮水又反过来填满亚马逊低谷时段的机房——飞轮的外圈咬合着另一圈飞轮。2017 年的口径是:AWS 占据全球云市场约三分之一份额,贡献亚马逊过半的经营利润;华尔街最终用股价承认,卖书人的账本算对了。

历史至此可以收束成一句可反驳的断言:当计算被定义成水电,决定其价格与边界的就不再是芯片的工艺,而是电网的账单与法律的辖区——AWS 真正的革命不是把服务器搬进自家机房,而是把“选址服从司法、定价跟随电费、交付只剩 API”这套顺序写进了整个行业的默认设置。这是本书第三条主线的换轨时刻:主导物理约束从时钟频率与功耗墙,正式迁移到兆瓦级电网、蒸发冷却的水耗与跨国合规边界。断言的另一半写着代价:水电化的便利把讨价还价的对象从自己的信息部门换成了几家巨头的价目表,账单随用量浮动而无法事先封顶,数据一旦落进某个区域的辖区,搬家的成本便逐年增长——水电装进家里容易,拆走要凿墙。可反驳的路标同样清楚:若云计算的长期定价被证明主要由芯片性能而非电力与运维成本决定,或数据跨境流动的法律摩擦被证明可以在纯技术层面消解——加密与分布式存储让司法辖区失去意义——断言即破;再或者,某家厂商把数据中心建成真正的“无国界设施”、让任何政府都无从主张管辖,断言同样动摇。但只要每一朵云仍要落在具体的电网上、每一份数据仍受具体法律管辖,这个断言就还立在 2006 年 3 月 14 日那张 15 美分的价目表上——那一刻真正被定价的,不是存储,是“计算的平方公里”。


第 089 章 2008—2013:容器革命:cgroups、namespace 与 Docker 的轻量突围

2013 年之前,给一个新应用腾出运行环境,是一张按周计的工单:申请机器、创建虚拟机、等待分钟级的启动,再往每一个 GB 级的镜像里装一遍操作系统、补一遍依赖、调一遍参数——十个应用就是十份几乎相同的 Guest 操作系统,各自占着以 GB 计的磁盘与内存,虚拟化层还要再吃掉百分之五到十五的性能(行业常见口径)。每一份 Guest 系统里,日志守护、定时任务、远程登录这些基础服务照常运转,与宿主机上乃至隔壁虚拟机里的同名进程做着完全重复的工作;内存的账尤其难看——每个内核都要占一份实打实的常驻内存,而这几百份内核彼此做着一样的事。更磨人的是排查:应用在生产上行为异常,开发机上却一切正常,两边的代码一模一样,差的只能出在环境里——系统库的版本、环境变量、时区、文件路径,差异的清单能列一页,每一项都可能是凶手,每一项都要人肉比对。运维工程师对这套流程的耐心,与应用的部署频率成反比:应用发布越快,冗余越显得荒唐。就在这一年 3 月,旧金山湾区圣克拉拉的 Python 技术大会上,一个巴黎人在五分钟的闪电演讲里演示了一件小事:把一个应用连同它的全部环境,打成一个以 MB 计的包,秒级启动,随处运行。演示背后的技术没有一样是新发明——它们在 Linux 内核里已经睡了很多年。这个叫 Docker 的项目真正做成的事,是把睡着的零件组装起来,终结了一句工程师说了几十年的托词:“在我的机器上能跑。”这一章讲三件事:零件在内核里睡了多少年、巴黎的小公司如何把它们装成整机、以及分层的镜像为什么能埋葬那句托词。

一台虚拟机的重量

先算清旧账。虚拟化技术解决了“一台机器只跑一个应用”的浪费:虚拟机监视器在一台物理机上模拟出多台机器,每台虚拟机有自己的内核、自己的操作系统、自己的虚拟硬盘。硬件隔离是它最大的卖点——一台虚拟机崩溃,邻居毫发无伤,安全边界与物理机几乎等价;想跑不同内核、不同操作系统的负载,也只有它能办。云计算的大厦正是铺在这层虚拟化之上:按台计费的出租模式、几分钟交付一台“机器”的弹性,全都建立在虚拟机的边界之上——这一点前章已经细算过,本章要算的是这台大厦里的另一种账。这笔账在应用数量以十计的年代是划算的。

应用数量以百计、以千计的时候,同一笔账的另一面开始发胀。每一台虚拟机都要背一份完整的 Guest 操作系统:以 GB 计的镜像、以分钟计的启动、以百分之五到十五计的虚拟化损耗(行业常见口径);操作系统的补丁要一台一台打,环境的差异要一台一台查,而所有这些操作系统加起来,真正被应用用到的功能不足十分之一。浪费分两种,都在暗处记账。第一种是冗余的浪费:几百台虚拟机里躺着几百份功能相同的系统库与服务进程,它们不产生任何业务价值,却占用着磁盘、内存与补丁工时——每一份都理直气壮,加起来触目惊心。第二种是密度的浪费:物理机的资源被 Guest 系统的底线消耗锁死,一台服务器能塞下的虚拟机数量有个看不见的天花板,机房里每一排机柜都在为重复的内核支付电费与冷却费。运维的日常变成在两种浪费之间找平衡:开太少,机器空转;开太多,Guest 系统先吃光资源。而应用要的其实只是一小段用户空间——函数库、运行时、配置文件——并不是再要一个内核。有没有办法让多个应用共用同一个内核,又互相看不见、互相不拖累?

内核里睡着的零件

答案在操作系统内核里已经躺了三十年。1979 年,Unix 第七版带来了 chroot——改变进程的根目录,让它只能看到文件系统的一棵子树;它是最早的隔离件,但只隔文件系统,进程、网络、用户全都还共处一个世界。2000 年,FreeBSD 做出 Jails,把隔离从文件系统扩展到进程与网络——椭圆越画越圆,但那是 BSD 阵营的手笔,Linux 用户只能旁观。这条三十年的谱系画出了一条清晰的递进线:隔离的粒度从文件系统到进程到网络到资源配额,每前进一步,同一台机器能安全容纳的租户就多一批。真正的转折是两件 Linux 机制的成熟:命名空间(namespaces)自 2002 年起陆续进入内核,控制组(cgroups)在 2008 年合入主线——前者管“看得见什么”,后者管“用得了多少”。

命名空间给每个进程发一套“世界观”,六件套各管一段视野(后来又添了时间与 cgroup 等新成员):PID 空间让容器里的 1 号进程在容器外另有编号,容器内重启一个进程体系不必担心与宿主冲突;网络空间给容器独立的一套网卡、端口与路由——两台容器各自监听 80 端口互不打架;挂载空间隔离文件系统视图,容器看到的根目录可以与宿主完全不同;UTS 空间隔离主机名,每台容器可以自报家门;IPC 空间隔离进程间通信的通道;用户空间隔离身份映射,容器内的管理员在宿主上可以只是个普通用户——身份的隔断后来成了安全加固的关键一层。进程在自己的空间里以为独占机器,出了空间什么都不是。控制组接手另一半:给每组进程划定 CPU、内存、块设备 IO 与进程数的配额,超了就限流,内存耗尽就触发 OOM 终止——“邻居吃光我的内存”从此有了制度性的缰绳,多租户在同一台机器上各安其分;这套机制后来迭代出 v1 与 v2 两代,配额之外还承担用量审计,计量与限流同源。配额与虚拟机时代的超分是两种哲学:超分赌的是“大家不会同时用满”,用统计规律换利用率,撞上峰值集体遭殃;配额写的是硬合同,每个容器能吃多少白纸黑字,超出即被限制或终止——利用率不再靠赌,靠每个租户自己申报的量。两件机制通过克隆等系统调用的参数组合使用,底层零件至此齐备。1992 年 Plan 9 系统的“命名即环境”的思想血脉,也在这些设计里隐约可见。

零件齐了,组装的人也来了:2008 年,LXC 项目把命名空间与控制组包装成第一个稳定可用的容器方案——提供 lxc-start 与 lxc-stop 这样的管理命令,配上系统模板,把“创建一台容器”从手写系统调用变成一条命令。容器从内核开发者的玩具变成了系统管理员的工具,启动以毫秒计(彼时它需要内核 2.6.24 起的支持)。但 LXC 的气质是系统工具而非产品:配置要手写一大份,网络、存储、安全各项组件要自己挑自己拼,发行版之间做法各异,生态割裂,规模化部署乏人问津;隔离强度弱于虚拟机,需要强制访问控制之类的机制补强。会造容器的系统管理员很少,想用容器的人很多,中间缺的从来不是零件,是一台“按下按钮就好”的整机——这个缺口一开就是五年。基础设施的历史反复验证同一条规律:一项技术的采用曲线不画在它的能力上,画在它的上手难度上——零件齐备与产品可用之间,隔着的往往是最贵的那几年。容器还悄悄改写了一个观念:一台“机器”不必再对应一组硬件加一套内核,它可以只是进程的一组边界——机器的定义从铁变成了约定,这个观念的转变,要等编排时代才显出全部分量。对本书的主线而言,这三十年的谱系还有一层意味:隔离的每一次细化,都是“在同一台物理机上多住一户”的门再开一扇——密度的历史,就是隔离史的反面。

巴黎小公司的五分钟

缺口是被一家濒临转型的小公司填上的。2010 年,Solomon Hykes 在巴黎创立 dotCloud,做平台即服务(PaaS)生意——替客户托管应用,客户交代码,平台管运行。这是一个当时已经相当拥挤的赛道,巨头与新创公司挤在同一张赛桌上,dotCloud 经营得不温不火。公司内部孵化的技术里,有一套基于 LXC 加固改造的容器引擎:早期 Docker 本质上是 LXC 的二次封装发行版,加上了自己的镜像格式与工具链,另以 seccomp 与能力裁剪做纵深防御的补强。2013 年,dotCloud 在一次内部黑客松里把这套引擎完善成型,随后做出了那个决定命运的动作:放弃把它攥在手里当 PaaS 的独门武器,整个押注开源。这个决定在当时并不轻松——PaaS 的生意虽然难做,引擎毕竟是公司的家底;但赛道分析很简单:PaaS 桌上已经坐满,容器引擎的桌子上空无一人,而后者是前者的地基,地基永远比楼珍贵。2013 年 3 月 20 日,Docker 开源发布;同月的 PyCon 圣克拉拉大会上,Hykes 用五分钟的闪电演讲把它演示给世界,口号后来印在了官网首页:Build, Ship and Run Any App, Anywhere——构建、运输、随处运行任何应用。演讲演示的每一个环节都不长,却各打在要害上。构建:一条命令读入 Dockerfile,几十秒产出镜像——环境的构造从手工工艺变成了可重放的脚本。运输:一条命令把镜像推到仓库或从仓库拉下,走的都是分层的增量——几百 MB 的东西在世界各地的机器间流动,重复的部分一次都不传。运行:一条命令启动容器,不到一秒,应用已在跑——部署从“工单”变成了“回车键”。三步合起来,软件第一次像集装箱一样被标准化地装填、搬运、卸载,码头上不再需要为每一船货定制吊具。

巴黎小公司的五分钟演示之所以能撬动一个行业,还因为时机恰好站在了需求的一侧:PaaS 竞争暴露了应用交付的摩擦,云的租户在密度与账单之间徘徊,微服务的苗头让“一个应用一个环境”的需求成倍增长——三股需求在同一时间涌向同一个缺口,Docker 开源的四两,拨动的是早已绷紧的千斤。

PaaS 的赛道上 dotCloud 没有赢,容器引擎的赛道上它成了事实标准。差别不在技术——LXC 的隔离件它一样没少——而在产品化的完整度。Docker 把四样东西拧成了一个整体:分层镜像解决“怎么打包”,Docker Hub 解决“怎么分发”,标准运行时解决“怎么随处运行”,声明式的编排工具(Dockerfile 描述构建、Compose 描述多容器组合)解决“怎么表达”——四样单拿任何一样出来都有前身,合在一起才第一次让“打包我的应用”变成一条命令的事。工程师第一次可以像分发代码一样分发环境:把配置藏进一个文本文件,把交付物做成一个不可变的镜像,把分发做成一条命令。开源换来的贡献者与用户滚了两年雪球——引擎免费开放,各家的改进顺着开源的管道回流,生态的归属感由此建立;2015 年,容器镜像与运行时的格式规范交给了开放的 OCI 基金会,runc、containerd、CRI-O 等实现各自生长——Docker 从产品退居为生态的一员,而此时生态已经不再离不开它:格式是开放的,引擎可以换,镜像资产与技能跟着标准走,不跟任何一家公司走。一家公司的产品变成一个行业的地基,这是开源史上不多见的转身。

集装箱是这场革命反复引用的隐喻,而且引得名副其实。二十世纪的航运业在集装箱出现前后是两个行业:货物的“打包方式”标准化成一只铁箱之前,码头工人为每一种货物定制装卸;标准化之后,吊具全球通用,船、港、车、库围绕同一只箱子重组,运费降了几个数量级。容器对软件干的是同一件事:应用及其环境被打进同一只标准箱子,承载它的机器、集群与云不再关心箱子里是什么——之前每一次迁移都要为应用定制环境,之后每一次迁移都是同一只箱子的位移。隐喻的精确还在于它的边界:集装箱解决的是运输与堆放,解决不了航线与调度——那是编排的事,下一章的主角。

分层的艺术

Docker 真正的技术发明只有一个,却是最要命的一个:把文件系统做成可以叠加的层。此前的容器方案里,文件系统要么整份复制,要么手工搭建;Docker 用联合文件系统把镜像切成一层层的只读层,容器启动时在最上面加一层可写层——下层所有人共享,改动只落在上层。规范层面的家族叫 UnionFS,Linux 主线上落地为 OverlayFS,其 overlay2 驱动是后来唯一被推荐的生产实现——规范先行、实现竞争、胜出者进入主线,标准的演进路径在这里又一次应验。这一设计与虚拟机镜像的分野一眼可见:虚拟机镜像自带内核与全套系统,以 GB 计;容器镜像不带内核、只叠用户空间,以 MB 计——小,是共享出来的。

        merged(联合视图:容器内看到的根文件系统)  
              │  
   ┌────────────────────────┐  
   │ upperdir(可写层,容器私有)│ ← 写时复制落在这里  
   ├────────────────────────┤  
   │ lowerdir(只读镜像层,全员共享)│  
   │   layer3   layer2   layer1 │  
   └────────────────────────┘  
        workdir(引擎内部工序目录)  
  
 读文件:从上往下找第一层有它的地方,原样读  
 写文件:下层只读 → 先把文件整份复制进可写层再改(copy_up)  
 删文件:下层删不掉 → 在可写层放一个 whiteout 标记遮住它  

叠加的规则只有三条:读文件从上往下找第一层;写一个下层只读的文件,先把它整份复制进可写层再改,行话叫写时复制——复制是按文件计的,代价也在这里:首次改写一个大文件要付全量复制的成本,频繁改写大文件的负载在容器里要格外小心。删除一个下层的文件,下层动不了,就在可写层放一个 whiteout 标记把它遮住,联合视图里它就此消失,打包提交时这些标记也一并封存。这三条规则把“共享”与“隔离”这对矛盾用最少的机制调和了:能共享的全部共享(只读层),必须私有的才落盘(可写层),两个容器即使基于同一个镜像,各自的修改也永远互不可见。镜像由此变成一摞只读层的集合,每一层用一个 SHA256 哈希标识内容;容器则是“只读层加顶层可写层”的运行实例。共享的机制还解决了跨发行版的怪问题:所有容器共享宿主的内核引导层,彼此只带各自的用户空间——于是一台 CentOS 宿主机上跑一个 Ubuntu 用户空间的镜像毫无障碍:内核只有宿主那一个,发行版只是文件系统里的几百 MB 文件。层复用的全局效应在公司与公共生态两个尺度上展开:公司里一百个团队的镜像若都基于同一个基础发行版,那几百 MB 在存储里只存在一份,发布时也只传输一次;公共生态里,热门基础镜像的底层被百万计的镜像引用,一份维护惠及全网——层是私有的边界,也是公共的资产,一笔账在两个尺度上同时划算。

分层的威力在 Dockerfile 里完全释放。构建脚本里的每一条指令生成一层快照——以一个典型的 nginx 镜像为例:基础发行版是一层,安装 nginx 是一层,拷入配置文件是一层,暴露端口与启动命令各是一层,总共不过六层,每层几 MB 到几十 MB 不等;改了脚本中间某一条,只有它以下的层需要重建,以下的全部缓存复用;多台机器构建同一个脚本,相同的层直接通过哈希判等复用;基础镜像的层被成千上万个镜像共享——拉取镜像时只下载本地没有的层,存储与带宽都只为同一层付一次钱。缓存的经济效应在改一行代码的场景里最直观:全量构建环境动辄几十分钟,命中缓存后重建只剩拷入代码与打标签两三层,几秒收工——发布频率的物理上限,被构建速度重新划定了。分层、叠加、写时复制、共享复用,四个机制咬合的结果是:环境的交付物从“一台配好的机器”变成了“一串可哈希、可缓存、可增量传输的层”。

FROM ubuntu:22.04              ← 第 1 层:基础发行版用户空间  
RUN apt-get update && \  
    apt-get install -y nginx   ← 第 2 层:安装软件  
COPY nginx.conf /etc/nginx/    ← 第 3 层:写入配置  
COPY app/ /var/www/            ← 第 4 层:放入页面  
EXPOSE 80                      ← 第 5 层:声明端口  
CMD ["nginx", "-g", "daemon off;"]  ← 第 6 层:启动命令  
# 每条指令各生成一层只读快照;改 COPY 那行,  
# 只有它之下的层缓存失效,其余原样复用  

这份文本还有一层超出构建的意义:环境变更从此可以评审了。环境过去活在系统管理员的记忆与零散的变更记录里,现在活在一个几行文本的文件里——文件进版本库,谁改了基础镜像的版本、谁加了哪个依赖包,一次提交看得清清楚楚;构建结果由哈希唯一标识,同一份脚本在任何机器上产出可精确比对的结果。环境的进化史从此与代码的进化史共享同一套工具:版本、分支、评审、回滚。这是“镜像即环境”的更深一层——环境不仅可复制,而且可审计、可协作;运维的知识从人的脑袋里搬进了版本库,交接的成本从几个月的口口相传,变成一次仓库克隆。

名言的死亡与新的边界

零件、整机、仓库、脚本,容器大厦的四大件到 2013 年已经齐了,最后一步是把它们对准那个盘踞几十年的敌人——环境本身。

环境不一致是运维史上排名第一的老大难:开发机上是这一版依赖库,测试机上是那一版,生产机上是没人记得哪一版——“在我的机器上能跑”这句托词,说出了环境不可描述、不可复制、不可运输的全部病灶。病灶有三处,每处都盘踞多年。其一是环境漂移:生产环境由无数次手工变更累积而成,装过什么、改过什么、补丁打的哪个版本,没有任何一份文档说得清——环境是一锅炖了很久的汤,没有人记得每一种配料下的锅顺序。其二,漂移的每一处都可能咬人,而且咬人的方式毫无规律:同一份定时任务,一台机器的时区是协调世界时,另一台是本地时间,午夜触发的事件差出一个小时;同一个文件路径,大小写在一套系统上无所谓,搬到另一套上找不到文件;同一个库的小版本号,恰好差在一个已修复又复发的缺陷上。其三是依赖冲突:同一台机器上两个应用要同一套库的不同版本,装了新版本老应用崩,留住老版本新应用起不来,折中的结果是谁都不敢动。其四是部署效率:环境要一台一台手工搭,搭一遍一小时,一百台就是一百小时,而且每一台都可能搭出微小的差异。镜像把环境本身做成了交付物,四处病灶一起断根:环境即镜像,镜像即版本,可以打标签、可以回滚、可以在任何一台装了容器引擎的机器上原样展开;依赖冲突被关进各自的容器,每个应用背自己的库;部署从装环境退化为拉镜像,一百台的交付就是一百次相同的下载。更深的一层是环境观念的翻转:过去的环境是一件持续修改的固定资产——装补丁、调参数、改配置,改到没有人说得清它的全部历史;现在的环境是一次性制品——要新版本就构建新镜像,要回退就换回旧镜像,机器上跑的容器本身不再修改,出问题直接整体替换。环境从“养”变成了“换”,漂移失去了发生的场所。配套的 Docker Hub 把分发做成了一座仓库:公开镜像以十万计,找镜像、拉镜像、发布镜像,体验如同代码世界的代码托管平台——环境第一次有了自己的“应用市场”。拉取的体验也是增量的:一份镜像在开发机构建完推上去,测试机只拉缺失的层,生产机再拉剩余的层,三个环境的差距被哈希精确到字节。

新边界也随之画下。安全派的反对写在结构里:容器共享宿主内核,隔离靠的是软件视图而非硬件边界,内核漏洞一旦被利用,容器可能逃逸到宿主——硬件虚拟机的边界在处理器层面由硬件强制,容器的边界在内核软件层面由机制维系,两者从第一天起就不在同一个安全等级上。为此补了几道纵深:用户命名空间把容器内的管理员映射为宿主上的普通用户,逃出去也没有特权;能力裁剪把进程默认的特权拆散,只发放运行必需的几项;seccomp 再给系统调用加一道白名单过滤。补丁有效,但共享内核的结构性风险始终与容器同在——对安全要求极高的负载,虚拟机的硬件隔离依旧不可替代。虚拟机派的反对同样成立:需要跑不同内核、不同操作系统的负载,容器无能为力——Windows 应用与 Linux 应用没法共居一台宿主的容器里,它优化的是同一内核下的密度,解决不了跨内核的隔离。把隔离与密度排成一条光谱最清楚:物理机一端隔离最强密度最低,容器一端密度最高隔离最弱,虚拟机居中——负载放在光谱的哪一点,是每个平台自己的权衡;两者后来各安其位,虚拟机管硬边界与异构,容器管同内核下的高密度,很多平台两层叠加使用——虚拟机里跑容器,隔离里再要密度。

容器的好处清单最终要落到每一个开发者的工作日里。此前,一个应用从开发到上线要经过三套环境的转手,每套环境的差异都是一次赌博;此后,同一位开发者写一个文本文件定义环境,本地构建、本地运行,交付的工件原样上到测试、原样上到生产——环境的定义只有一份,三个阶段只是同一只集装箱的三次位移。新人入职第一天,克隆仓库、构建镜像、启动容器,午休之前就能在本地跑起整套系统——此前这要靠一位老运维带着装两天环境。清理这一章的账单,落在物理世界的电表上。容器把密度提高了一个数量级——同一台物理机,虚拟机时代开十台,容器时代可以开成百上千个(以应用负载而定),省下的不只是机器,是机器后面的电与冷却;数据中心的每一兆瓦都先要被内核的重复拷贝啃掉一口,共享内核把这一口省了下来。层的共享把镜像的分发成本压到增量:一次版本发布,基础层早已在位,线上只传输改动的几层,同样的存储与带宽,服务的实例数量翻着番地涨。cgroups 的配额是多租户的缰绳,让成百上千个互不相识的负载在同一台机器上相安无事——配额给每个租户画了护栏,护栏之内快慢自负,护栏之外互不越界。密度时代的管理问题随即浮出水面:上千个容器散在几百台机器上,问题清单一条比一条具体——新容器起在谁的身上(放置)、机器满了往哪挪(迁移)、进程崩了谁来察觉谁来补位(自愈)、流量来了加几个减几个(伸缩)、哪台机器的哪组配额被谁占满(计量)、某台宿主要停机维护时上面的容器如何成批搬家( drain)——每一项单看都有脚本化的解法,几百台机器的规模上,脚本的数量本身就成了新的复杂度。调度与编排成了新的瓶颈。答案要等下一章——但先要回答一个更基本的问题:几千台机器的编排,Google 十几年前就做过,只是没告诉任何人。做这件事的人后来走上台前时,手里带着的正是 Borg 沉淀了十余年的答案。

本章的债单也要入账。第一笔是安全的债:共享内核的逃逸风险与容器同在,纵深防御只能压缩概率,不能归零——安全边界的价格永远不会降到零。第二笔是写路径的债:写时复制对读多写少的负载近乎免费,对高频改写大文件的负载则按次收全量复制的税,存储分层的设计决定了它优化的那类负载。第三笔是垃圾与膨胀的债:可写层随运行时间增长,whiteout 只遮不删,长期运行的容器需要重建而非永生——“容器是牲口不是宠物”的运维哲学,一半是被这笔债逼出来的。第四笔是编排的债:密度上去了,管理没跟上,单机的好工具放大了集群的管理赤字——这笔债催生了下一章的主角。

本章的判断是:容器革命没有发明任何一项内核技术,namespaces 与 cgroups 在内核里安睡多年,LXC 已把零件组装成工具,它真正的创举是用“镜像即环境”把运维史上最难根除的一句托词变成伪命题——环境的不可复制从来不是技术问题,而是没人把环境当成交付物来构造;谁先把环境做成可版本控制、可哈希、可增量分发的工件,谁就终结了这个行业的头号口头禅。回头看这场革命的三个环节,每一环都是“旧零件、新组装”:内核机制是旧零件,Docker 的镜像是新组装;LXC 是旧工具,Docker 的产品化是新组装;而最大的组装发生在生态层面——开源放下了独占,标准放下了锁定,镜像格式成了人人可用的公共货运规格。这个判断可以被反驳——“在我机器上能跑”的病根在人的流程与组织的墙,镜像治得了环境,治不了不写文档的人——但镜像确实让托词失去了技术土壤:机器不再需要相信任何人,它只信哈希;环境的每一次异常,都可以还原为两个哈希之间的差异,而差异,是可以修的。


第 090 章 2014:Kubernetes 与声明式编排的工业终局

2014 年 6 月 6 日,GitHub 上出现了一次不起眼的代码提交,提交者是 Google 工程师乔·贝达(Joe Beda),项目用 Go 语言写成,README 只有寥寥几行。四天后,DockerCon 大会的讲台上,这个项目被公开演示——它名叫 Kubernetes,希腊语里“舵手”的意思——舵手不划桨,舵手掌方向。演示的时机踩得极准:Docker 开源才一年多,容器以肉眼可见的速度涌进各家机房,新问题已经压过了旧问题——上一章的结尾点出了那个瓶颈:成百上千个容器散在几百台机器上,谁该住谁家、死了谁补、扩了谁让,手工与脚本在几千个容器的规模上寸步难行;各家公司都在用自家攒的脚本顶着,每个机房的脚本都长成不同的形状,没有一个能拿出来见人。容器解决了“怎么装”,装好之后的“怎么放、怎么管”悬在半空。Kubernetes 带来的答案不是一套新的调度脚本,而是一种此前只在 Google 内部存在了十余年的思维:你不告诉集群“做什么”,你告诉它“你要什么”。这一章讲的就是这种思维如何从 Google 的内网走到全行业的机房,又如何把“运维”这个词的定义改写掉一半。

十年的内功

Kubernetes 不是从零画出的设计,它身后站着一套公开前几乎无人得见的系统。Google 的内部集群编排系统叫 Borg,本世纪之初投入运行,此后十余年承载着这家公司全部的生产计算——后来官方博文揭开面纱时给出了一个惊人的细节:Bigtable、Spanner、MapReduce 这些对外最负盛名的系统,全都作为容器化负载跑在 Borg 之上。这个细节的分量要把前面的章节翻回来掂:Bigtable 与 Spanner 是第八章与后续章节里 Google 存储与一致性的两张王牌,MapReduce 是三驾马车的第二驾——在 Google 的机器房里,这些如雷贯耳的系统没有一台拥有“专属的服务器”,它们全是 Borg 集群上一个个被调度、被限额、被重启的普通租户。专机专用与共享集群是两种世界观:前者给每个系统圈一块地,地界清楚,利用率平庸——每个系统的峰值错开,谁的地都大部分时间闲着;后者把所有系统放进同一个池子,Borg 按需求调度,此消彼长,机器的利用率被削峰填谷抬上去。也是在这十几年里,当外界还在争论容器是否生产可用的那些年,Google 已经把自家核心业务放在容器里跑了十多年——内部超长预演攒下的正是这套共享调度的家底,公开转述口径下万级节点、百万级容器的管理经验,与一整套被验证过的设计取舍。据官方博文与相关材料的口径,多位 Kubernetes 的核心贡献者正是出自 Borg 团队。

2015 年 4 月,Google 把 Borg 的论文《Large-scale cluster management at Google with Borg》——用 Borg 管理 Google 规模的集群——公开发表,配合 Kubernetes 的高调宣传。论文公开的时点本身就是一次表态:我们不仅开源了一个编排系统,还把十几年内功的原理一并摊开;对学界与同行,这是一份迟到十年的现场报告——集群编排此前只有零星的会议演讲与传闻,如今有了完整的机制论文。论文里读者能看到 Borg 沉淀的几条铁律,每一条后来都在 Kubernetes 里有对应的骨肉:声明式的任务配置而非命令式的操作指令——作业的副本数、资源需求写成配置交给系统,而非写成脚本逐台执行;作业与服务的自动水平扩展——负载涨了自动多开,负载落了自动收回,人只定上下限;节点宕机后负载的自动恢复——死掉的任务在别处重开,不等人排查;容器作为统一的计算抽象贯穿所有业务——无论是批处理还是常驻服务,在 Borg 眼里都是一组被调度与限额的容器。这几条铁律后来逐一出现在 Kubernetes 的骨架里——开源的是代码,随代码一起开源的是十余年的教训。站在巨人肩膀上,这句话在 Kubernetes 身上不是修辞,是族谱。族谱归族谱,Kubernetes 没有直接开源 Borg——内部系统与外部世界长着不同的接口与假设,团队选择的是带着 Borg 的经验重写一套面向公网世界的实现;巨人的肩膀借来站,路还是要自己走。

说出你要的,而不是怎么做

Kubernetes 与此前所有运维工具的分野,在第一个设计决定里就定了调:它的接口是声明式的——用户只陈述期望状态,不陈述操作步骤。对比一下两种写法。命令式的写法是一串步骤:把三号机上的应用停掉,复制新版本过去,再起两个实例,起不来就重试三次——每一步都是给机器的指令,顺序不能错,中途不能断。声明式的写法只有一句话:这个应用要始终保持三个副本,镜像用这个版本。至于哪台机器跑、挂了怎么补、升级怎么滚动,全都不用说——系统自己把现实掰成你说的样子。

区别在故障发生的那一刻暴露无遗,命令式运维有三种经典的死法。第一种:网络断了,控制指令丢在半路,一半机器收到了“起两个实例”,另一半什么都没收到——系统的真实状态从此没人说得清。第二种:执行到一半机器挂了,步骤停在第三步,剩下的步骤没人接着走。第三种最冤:指令其实送达了,只是响应慢,操作者以为失败又发了一次——两个“起两个实例”叠在一起,机器上起了四个,负载翻倍,账单翻倍。命令式的每一步都对,架不住世界不配合:指令会丢、机器会死、人会手抖。在 Kubernetes 之前,行业不是没有过补救:配置管理工具把手工步骤写成可重放的剧本,同样的剧本跑一百台机器,剧本之外仍要有人盯着执行——步骤可重放了,状态的账本还是没有;机器偏离剧本时,工具不会发现,偏离的积累照旧。声明式把这套问题整个绕开了:期望状态“三个副本”写在系统的记录里,不多不少就是三个——执行中断了,系统下次比对发现只有两个,补一个;重复执行,比对发现已经是三个,什么都不做。同样的指令念一百遍,结果还是三个。这种“做多少遍都一样”的性质叫幂等,它是声明式接口的安全带。幂等不是新发明——上一章的镜像哈希就是同一门功夫:同一份 Dockerfile 构建一百遍,产出的层逐字节相同;Kubernetes 把这门功夫从构建搬到了运行,让集群的每一次纠偏也获得同样的确定性。

声明式还是一份责任的重划书。命令式时代,怎么做的知识长在人身上,操作者对执行的每一步负责,出了事故先查谁敲错了命令;声明式时代,执行的责任整体移交给了系统——它保证现实被掰向期望,一次不行就一百次;人只对声明的质量负责,期望状态写错了,系统会忠实、迅速、不知疲倦地把错误跑成现实。责任的边界从操作环节挪到了声明环节,这既是解放也是拷问:系统不再替你兜底,它只替你执行。

声明式落在纸面上是一份配置文件,Kubernetes 用 YAML 语法承载它。一份最简的部署声明读起来像一段填空题:

apiVersion: apps/v1  
kind: Deployment            # 对象类型: Deployment  
metadata:  
  name: web                 # 名字  
spec:  
  replicas: 3               # 期望:始终保持 3 个副本  
  selector:  
    matchLabels:  
      app: web              # 认账的标记:带此标签的算我的  
  template:                 # 模板: Pod 长什么样  
    metadata:  
      labels:  
        app: web  
    spec:  
      containers:  
      - name: web  
        image: nginx:1.25   # 镜像与版本  

整份文件没有一个动词:没有“启动”“停止”“部署”,只有一份对期望状态的陈述。把它提交给集群,剩下的世界由恒温器接管——这份文件本身就是完整的交付物,进版本库、走评审、可回滚,与上一章的 Dockerfile 一脉相承:环境是代码,期望状态也是代码。声明提交之后的旅程也值得看一眼:集群的统一入口收下这份 YAML,先验明正身再写进账本;控制器们从账本上看见一个新的期望出现,各自认领与自己相关的部分,逐层落实——账本上多了一行字,现实里多出三个容器,中间没有一个环节需要人再发指令。期望状态经由一条单向的流水线变成现实,人在这条流水线上的全部职责,就是把那行字写对。

运维文化随之换了一副骨架,工程师用一对词给新旧两个时代命名:宠物与牛群。宠物时代,每台服务器有名字、有专人、有病史,病了要治,治不好全组心疼;牛群时代,服务器只是编号的个体,病了不治,直接宰掉换一头新的——应用的状态不放在机器上,机器随时可以整批替换。容器的镜像与秒级启动为牛群备好了原料,Kubernetes 的声明式接口把牛群变成了日常:机器不再是需要呵护的个体,而是承载期望状态的、随时可换的底座。有工程师给 Kubernetes 的角色起了个精准的比方:它是恒温器,不是启动器——你设定温度,它负责永远把现实扳回设定值;它不等你下命令,它一直在盯着。

恒温器的内部

恒温器的最小计量单位是 Pod。Pod 是 Kubernetes 调度的最小单位:一个或几个共享网络与存储的容器打包在一起,同生共死。为什么最小单位是 Pod 而不直接是容器?因为真实的应用很少是孤零零一个进程:应用容器之外,总有几个贴身的服务进程——日志收集器要读应用吐出的每一行,本地代理要接管进出流量,监控探针要采样指标。把它们装进同一个 Pod,共享同一套网络地址与存储卷,像住进同一间宿舍:彼此可见、直接通信,一损俱损;调度器也得以整体看待它们——这几只容器必须挤在同一台机器上,调度时作为一个原子单位进退。应用容器加上它的日志收集器,装在同一个 Pod 里,后者像助手一样贴身工作,不必穿过网络就能读到应用吐出的每一行日志。Pod 的生命周期哲学写在设计里:Pod 随时可死——节点故障、资源驱逐、人为删除,任何一个理由都足以让它消失;系统不为任何单个 Pod 承诺永生,只承诺宏观上的数量。这个哲学的反面是应用改造的义务:状态必须搬出 Pod——存进外部数据库、对象存储或挂载卷——否则每一次 Pod 的死亡都带着数据陪葬。

守住数量的是 ReplicaSet。它的配置只有三件套:期望副本数、Pod 模板、选择器——副本数说“要几个”,模板说“长什么样”,选择器说“哪些算数”。选择器按标签认领对象:每个 Pod 出厂时贴好标签,控制器只盯着与自己选择器匹配的那批——标签是一套自由的键值对,同一个 Pod 可以同时贴好几组,分组的维度不受任何层级约束:按应用分、按版本分、按环境分,同一批 Pod 在不同标签的视角下属于不同的人群。这种扁平的标记制是声明式世界的零件哲学:不用预先设计一棵归属树,需要什么分组就贴什么标签,系统的组织方式随时可以重新划分——传统的管理界面里,资源属于谁在创建时就焊死了;标签制里,归属只是一个随时可改的视角。选择器与模板之间有一条不可变约束:创建之后不许更改,防止控制器的账本与 Pod 的标签错位。ReplicaSet 的工作方式是标准的调谐循环:通过监视接口订阅 Pod 的增删事件,周期性地全量对账,发现实际副本比期望少就补建,比期望多就删除——每一次调谐只做“从当前状态到期望状态”的最小动作,做完重新入队,永不结束。这个循环的伪代码只有几行:

调谐(期望副本数, Pod 模板, 选择器):  
    实际列表 ← 按 选择器 列出当前 Pod  
    若 数量(实际列表) < 期望副本数:  
        按 模板 补建 缺口数 个  
    若 数量(实际列表) > 期望副本数:  
        挑多余的删除  
    间隔后重新入队     // 永不结束,也从不假设上次成功  
        ┌────────────────────────────────────────────┐  
        │              调 谐 循 环                     │  
        │                                            │  
        │   期望状态(etcd 账本)     实际状态(集群)      │  
        │        │    ▲              │    ▲          │  
        │        ▼    │              ▼    │          │  
        │   ┌─────────────┐  事件+周期  ┌─────────┐  │  
        │   │ 读出“要几个” │ ◄──────── │ 观察现状  │  │  
        │   └──────┬──────┘            └────┬────┘  │  
        │          ▼       比对差异          │        │  
        │   ┌─────────────┐  补建/删除  ┌─────────┐  │  
        │   │ 计算最小动作  │ ────────→ │ 执行动作  │  │  
        │   └─────────────┘            └─────────┘  │  
        │        ▲                            │      │  
        │        └──────── 重新入队 ◄──────────┘      │  
        └────────────────────────────────────────────┘  
   循环不预测、不记忆、不休息;它只保证一件事:  
   任何偏离期望的状态,都会被一次次地扳回来。  

循环本身并不聪明——它不会推理、不会优化,只是不知疲倦地比对与纠偏。聪明的地方在结构:任何故障——节点宕机、网络分区、误删除——最终都会表现为“实际状态偏离期望状态”,而偏离恰好是循环唯一能理解的语言。系统不预测故障,它只是永远在收拾故障留下的偏差。循环的两个信息入口各有分工:监视接口推送增量事件,变化一发生即刻知晓;周期性的全量列举兜底,万一推送漏了某条,下一轮对账照样发现——实时性与完整性两条腿走路,谁也不托付给谁。这套循环的可靠性有一条隐含的底线:调谐动作必须幂等——同样的偏差修一百遍,结果与修一遍相同;补建的 Pod 用模板加随机后缀命名,天然不会撞车。循环对环境的适应也是结构性的:控制器进程本身挂了怎么办?重启一个,接着转——它没有需要恢复的记忆,期望状态在账本里,实际状态在集群里,控制器只是两者之间一只可以随时替换的手。分工的边界也在这里画清:ReplicaSet 只管数量,不管健康——一个 Pod 活着但卡死,数量没变,循环就视而不见;健康检查要靠探针与服务发现的配合,层次在这里再次显形:每层只管一件事,凑齐了才是一个完整的承诺。

单靠 ReplicaSet 还不够:版本升级时,怎么把十个旧 Pod 换成新版本而不中断服务?直接改模板,旧的全灭新的全起,那是一次豪赌。于是有了第三级:Deployment。它站在 ReplicaSet 之上,形成三级级联——Deployment 管 ReplicaSet,ReplicaSet 管 Pod,级联关系用所有者引用记在账上,父对象的删除会顺藤摸瓜带走全部子对象。升级时 Deployment 不动旧的 ReplicaSet,而是按新模板建一个新的,一边把新 ReplicaSet 的副本数往上加,一边把旧的下调——滚动更新,步幅由两个参数控制:最多超出的数量决定升级要占多少额外的资源,最不可用的数量决定服务容量允许掉到多低——前者管成本与风险,后者管可用性的底线,两个旋钮一拧,发布从赌博变成参数调节。中间可以暂停、可以回滚,回滚就是把旧 ReplicaSet 的比例再调回去——新旧两套 ReplicaSet 都在账上,回滚不需要重新构建任何东西,只是把比例调换。分级的好处在一处细节里:每一级的职责单一到可以用一句话说清,出故障时按 Deployment、ReplicaSet、Pod 三层往下查,每一层的账目分明。更谨慎的团队还能在这套机制上跑金丝雀发布:新版本先起一两个副本,让一小撮真实流量先踩坑,没问题再放量——发布从一次心跳加速的仪式,变成一串可暂停、可观察、可撤销的机械步骤。发布的节奏也随之变了个性质:过去一年发几次,每次如临大敌;现在一天发几十次,每一次都是流水线上的一道普通工序——当发布便宜到不再值得开会,工程师才第一次真正拥有了持续交付的自由。

三级级联搭起来的结果,是运维的一次彻底分工重组:过去开发把代码递给运维,运维手写部署;现在开发自己写 Deployment 的 YAML,提交进集群,运维转而维护集群本身与一套统一的护栏——配额、权限、网络策略。自助部署的闸门一开,开发的迭代速度不再受运维工单的排队限制;运维的角色从“替人操作机器的人”升级为“造平台的人”——他们不再回答“帮我把这个应用发上去”,他们回答“怎么让所有人自己就能安全地发”。这对伙伴多年的协作摩擦,被一层接口吸收掉了。

恒温器内部的分工链最后看一眼全景:期望状态存在 etcd 里——一个分布式键值库,整个集群的账本,所有组件读它写它,谁也不各自记小账;调度器盯着新生的 Pod,按资源请求与约束给它挑一台合适的机器;每个节点上的 kubelet 领到本机的 Pod 清单,驱动容器运行时把它们跑起来,再持续上报状态;控制器们的循环各盯各的对象,把偏差一个个磨平——自动伸缩器也在其中,监控到负载指标越线就调大副本数,收缩时调小,ReplicaSet 照旧执行。所有组件之间没有谁指挥谁,全部通过读写同一本账协作——每一层都是一台恒温器,集群是恒温器摞成的塔;账本是塔的地基,账本背后的共识机制,下一章的主角。这套架构还有一层容易被忽略的品格:它对部分失败免疫。调度器挂了,已跑的 Pod 照常运行,只是新的无处安放;某个控制器卡死,别的控制器照常转;账本短暂失联,各节点上的 kubelet 仍按最后一次读到的期望维持现状——塔的每一块砖都知道自己该干什么,没有任何一块砖的缺席能让整座塔立即倾倒。把“集群的状态”从任何单点搬进一本共同维护的账,再把维护账本的责任交给下一章要讲的共识机制——分布式系统的两条腿,缺一条都站不稳。

控制器不止一个品种。副本的管家之外,家族里还有各司其职的亲戚:DaemonSet 保证每台机器上恰好跑一个指定 Pod——日志收集与监控代理这类“每机一份”的活计归它管;CronJob 管定时任务,到点拉起一批 Pod,跑完即清;职责各异的控制器共享同一套调谐哲学——观察、比对、纠偏,永不停歇,每一次补位都不问上一轮是谁做的。声明一套新的期望状态,就等于往这座塔里请一位新的管家:扩展机制允许使用者自定义对象与控制器,生态里的控制器家族从此越繁殖越大——数据库的运维知识可以被写成控制器,证书的轮换可以被写成控制器,凡是能归纳成“期望加纠偏”的运维知识,都能进塔当管家。

中立的国度

Kubernetes 面世时,编排赛场并不是空的:Mesos 与 Docker 自家的 Swarm 都在场上(竞赛的战况此处一句带过)——前者资历老,后者离容器最近。Kubernetes 起跑时还借着 Docker 的东风:它调度的对象就是容器,Docker 越流行,潜在的地基越大;而它赢下比赛的关键一步在赛场之外:2015 年,Google 把它捐给 Linux 基金会旗下新成立的云原生计算基金会(CNCF),从此 Kubernetes 不属于 Google,属于一个中立的家。捐献的算计与气度各占一半:竞争者们不肯把自家命运押在竞争对手的核心项目上,中立的基金会解开了这个死结——微软、IBM、红帽这些与 Google 在云市场短兵相接的公司,随后都成了 Kubernetes 最活跃的贡献者;CNCF 顺手把宪章做成了行业公共品:接口开放、实现可替换、厂商中立,云原生的版图围绕这个中性内核铺开——项目进会有一套公开的成熟度台阶,厂商的集成对着同一套接口,用户的多云策略有了同一个语法。接口统一的复利随即显形:围绕同一套 API,插件、发行版、托管服务、培训与人才市场层层长出,每多一家厂商投入,标准就厚一分,标准越厚,下一家跟进的成本越低——标准的正反馈循环一旦转起来,后来者只剩两个选择:加入,或者消失。Google 失去了对项目的独占,赢回了比独占大得多的东西:全行业的默认标准。这场“开源加中立基金会”的组合拳,从此成了基础设施领域的事实范式。

回望 2013 到 2015 这三年,容器与编排的接力咬合得天衣无缝。Docker 解决的是“一只箱子”:应用与环境的打包、运输、随处展开;Kubernetes 解决的是“一支船队”:几千只箱子往哪放、坏了换、挤了挪。箱子标准化在前,船队标准化在后——前者没有标准化,后者无从调度;后者没有出现,前者只是装了货的仓库。两步走完,“云”这个词的内涵被重写了一层:用户交付的从虚拟机变成了声明的期望状态,云厂商出租的从机器变成了调谐的能力——租户看不见机器,只看见自己声明的副本数永远在场。三支队伍在同一份声明上会合:应用开发写容器镜像与副本数,平台工程定集群的护栏与配额,财务的人第一次能在资源请求的数字上核账——部署从一次跨团队的手工协作,变成一份共同维护的文本。文本的另一头站着的是那套十余年内功的机制——Borg 验证过的调谐循环、副本语义与调度纪律,如今写在每一个机房的成绩单上。

生态里随之长出一套新的职业文化,也长出一声自嘲:把 YAML 配置文件写满屏的人,自称“YAML 工程师”——声明式接口把“怎么做”全部收走之后,工程师的日常变成了精确地陈述“要什么”,而陈述的语法是一层层嵌套的缩进。自嘲背后是一条严肃的分界:配置即代码,期望状态即协作界面——开发、运维、测试对着同一份 YAML 说话,环境的变更走版本控制与评审,上一章建立的“环境可审计”在集群层面被推到了顶格。缩进的代价也要记一笔:YAML 对格式近乎苛刻,一个空格的缩进差就改变语义,人类写嵌套结构容易错,机器读起来却毫无歧义——人机分工又一次偏向了机器:配置为机器的可解析性而生,人为可读性付出的学费是缩进与对齐。放大效应也随之而来:恒温器放大一切——好的期望状态被它忠实维持,坏的期望状态也被它忠实维持,你声明系统带着缺陷跑,它就把缺陷跑得稳稳的;声明式系统对错误没有怜悯,它只对声明负责。

清算这一章的账单。第一笔记在复杂度上:恒温器塔的每一层都简单,塔的总体不简单——几百页文档、几十种对象、无数个参数,学习曲线陡峭到催生了一整个培训产业;小团队用它来管几台机器,常常被牛群的营盘缚住手脚——工具的规格要匹配问题的规格,这条老规律在基础设施领域照样有效;部署一个最小可用集群本身的运维成本,一度是中小团队绕道托管服务的原因。第二笔记在抽象的泄漏上:Pod 随时可死的哲学把状态挤出了应用进程,无状态服务如鱼得水,数据库、消息队列这类天生有状态的家伙硬塞进牛群要靠附加的机制驯服——存储与计算的抽象边界要重画,十几年的数据库运维经验要重新翻译;无状态的世界里它是完美的,有状态的世界里它先要改造世界。第三笔记在单一事实来源上:整个集群押在一本 etcd 账上,账本的可用性与一致性就是集群的命门——账本故障,全塔停摆;这本账背后的共识机制如何保证账本不错不丢,正是下一章的主角。第四笔记在权力结构上:中立基金会治下的标准成了行业公器,公器的演化节奏由委员会与巨头们的合力决定——开放解决了信任问题,解决不了速度问题;每一次大版本的取舍,都是一场多方合力的政治。第五笔记在驯化成本上:声明式要求把运维知识全部翻译成可声明的对象,翻译不掉的部分——那些只可意会的排障直觉、只适合现场判断的取舍——依然留在人身上,塔越高,塔下人影越长。

把这一章与上一章连起来读,能看到一次完整的接力:Docker 把应用装进了标准箱子,Kubernetes 让几千只箱子自己排队、自己搬家、自己补位;前者的革命是交付物,后者的革命是指挥权。脚本时代的机房里,每家公司的运维知识锁在各家的脚本库里,人走了知识就荒;声明式时代的机房里,运维知识写在声明的对象与控制器里,进版本库、走评审、可继承——知识第一次以集群可执行的形态沉淀。半年前还在为几千个容器的放置问题抓耳挠腮的工程师们,忽然发现自己讨论的题目变成了“期望几个副本”“金丝雀放多少流量”——问题的形状变了,答案的形状也就变了。

本章的判断是:Kubernetes 的胜利不在它造出了更好的调度器——单论调度算法,竞赛者各有千秋——而在它把“声明期望、持续调谐”这套此前只活在 Google 内部的控制方法,做成了全行业人人可用的公共接口;从此运维的定义从“对机器做正确的事”变成了“对集群说出正确的期望”,机器之间的差别从技能的差别降格为配置的差别。这个判断可以被反驳——声明式的胜利是网络效应与先发开源的胜利,恒温器的思维在单机与小型集群里纯属高射炮打蚊子,Mesos 们输掉的不是设计是生态;但换个角度看,输给生态恰好是这场革命的完整含义:技术的终局从来不在论文里,在谁的标准成了公共品——Borg 内功十年,抵不过一次捐给中立的转身。

声明式改写的还有人与基础设施之间的信任结构。命令式时代,运维是人与人之间的承诺——你信我,我不会敲错命令;声明式时代,运维是人与系统之间的契约——系统不看人脸色,它只比对账本。信任从人格降到了协议,这未必更温暖,但确实更可靠;可靠到一定程度,凌晨三点的电话才会真正变少——上一章末尾的那句伏笔,到这里兑现了一半:容器装进了箱子,箱子有了舵手;另一半要等下一章,舵手的账本需要一个永远不会记错的记账人。


第 091 章 1989—2014:共识的算法:从 Paxos 的难以捉摸到 Raft 的易懂民主

爱奥尼亚海的帕克索斯岛上,议员们各有营生,议会随到随开、人齐即决——兰伯特把这样一座虚构小岛的议事规则写成论文,讲的是分布式系统里最难的一件事:让一群随时有人离席的成员,对每一项决议达成全体承认的一致。岛的隐喻对得严丝合缝:议员是进程,离席是宕机,信使是会丢包会乱序的网络,羊皮纸是持久化存储,而岛上没有一只统一报时的钟。这正是那个午夜问题的正装版本:在没有中心授时、任何节点可能因硬件损坏随时死机的乱序网络里,集群如何就某项决策达成百分之百可信的统一决议。1989 年莱斯利·兰伯特(Leslie Lamport)给出第一个严谨答案,此后二十五年,这个答案以晦涩闻名,以锁服务的形态勉强落地,直到 2013 年斯坦福的两位研究者换了一种问法,才真正走进千万个机房。本章走完这二十五年:一个正确的算法为什么长期无人做对,工程界怎么在读懂之前先用上它,以及一场把“易懂”当作设计目标的翻案。

一座小岛的议会

先把要解的问题钉死。一群机器共同维护一份数据,任何时刻都可能有机器死机、重启、断网,消息可能迟到、乱序、丢失,机器之间没有共同的钟——在这样的世界里,集群要对一个值做出决定,并且保证所有活着的机器认的是同一个值。这个性质在文献里叫一致性(agreement):决议可以晚,可以停摆,但绝不允许两台机器记住两个不同的答案。听起来保守,它却是一切分布式协调的地基——主节点是谁、锁归谁、配置取哪一版、这笔转账提交没有,全都可以归约为“对同一个值达成一致”;一致一旦破了,双主同时写、锁同时发给两个人、旧配置复活,全是它的具体症状。还要划清一条容易混淆的界线:共识是一个过程——集群通过协议就单个值投票定案;第 082 章讲的外部一致是一个性质——操作顺序与真实时间对齐。过程与性质是两个层面的东西,分布式系统先要有把决议定下来的过程,才谈得上把决议排进真实时间的性质;Spanner 把两者叠在一起用,正是这个道理。

双主是怎么长出来的,值得先走一遍事故现场。一个集群里跑着主节点 M1,负责接收全部写入;某天交换机抖了一下,M1 的心跳没能按时到达,其余节点按超时规则判定 M1 已死,选出 M2 接任——集群此刻没有恶意,两台机器也没有谁说谎:M1 活着,只是被隔离在网络的另一侧,它不知道选举已经发生,继续按自己的职责接收写入;M2 带着新选举的合法性,也在接收写入。两台机器各自服务、各自持久化,同一行数据被写成两个版本;等网络愈合,两份真相摆在运维面前,合不拢,也丢不得。事故的每一环都合规——心跳超时是规则,多数派选举是规则,M1 继续服务也是它的规则——合规的部件组合出不合规的结果,这正是共识问题比一般 bug 深一层的意思:它防的不是某个部件出错,而是所有部件各按各的正确行事时,整体仍然不出错。第 082 章那个“比利时扣费、俄勒冈查询”的客户,他在电话里听到的每一个承诺,底层都要靠本章的这套机制兑现:余额只有一个真相,说“只有一个”的,是共识协议。

防住它的支点是多数派。集群有奇数个成员,任何决议要获得超过半数的赞同才算通过;任意两个多数派必有交集——五台机器里,任何两个三人组至少共享一人。交集成员就是连续性的担保人:第二次表决里,至少有一个人见过第一次表决的结果,历史不可能被整段遗忘。把“通过”定义在多数派上,等于同时买到两样东西:存活的多数派足以继续决议(半数以下死机不停摆),通过的决议足以对抗遗忘(两个多数派的交集不许历史改写)。这条性质简单到可以在纸上验证,却是此后一切共识协议共用的承重墙。算术也不复杂:N 台机器取 N/2 加一为多数派,两个多数派各含此数,二者之和超过 N,按抽屉原理必有一台同属两派——交集由整数性质保证,与网络状况、机器品牌、机房位置统统无关。

共识的目标由此可以列全。一致性(agreement)居首:所有未死机的节点最终认下的值相同。有效性紧随:认下的值必须是某个提案者真正提出过的值——凭空捏造一个没人提过的数,即便全员一致也毫无意义。终止性最宽容:算法不承诺在任意时刻都能出结果,多数派不齐时可以停摆,但只要多数派恢复,进程就该继续推进——第 081 章 Dynamo 论文里“停写保一致”的那个停写,停的就是终止性;CAP 定理划定分区面前三者不可兼得时,共识协议选的是一致与分区容忍,把可用性让了出去。这三条的取舍在 1989 年就已被 Paxos 定型,后来者无论名字多新,都在这张清单内答题。协议对“值”的内容本身完全不加要求:它可以是一条日志记录、一版配置、某个主节点的名字,任何字节串都行;正因为对内容毫无预设,工程上才能把它垫在最底层,上层的选主、复制、配置管理全都化约为“对这个字节串达成一致”这一个问题——一个解决了就处处复用的原语。

把议会规矩变成算法,兰伯特用的是两阶段。寓言与工程的术语可以对上号:议员是接受请求的副本(acceptor),提案者是发起决议的任何人,羊皮纸是持久化存储,一届议会的召集对应提案的编号。第一阶段叫 Prepare(准备):提案者选一个编号,向议员们发出准备请求;议员们记住这个编号并给出承诺——不再接受编号更小的提案,同时把自己此前接受过的议案内容交代给提案者。第二阶段叫 Accept(接受):提案者收集到多数派的承诺后发出正式提案,议员们核对编号不违反自己的承诺,便把议案誊上羊皮纸。两道闸门各管一件事:Prepare 的承诺拦住编号乱序的干扰,Accept 前对既往议案的交代则保证新提案不会推翻旧决议——如果之前已有议案在多数派里通过,新提案者从交集议员的交代里必然看到它,并被规则要求原样携带它前进。

十年没人做对的算法

机制写在上面不过几百字,它的发表史却走了将近十年。兰伯特在 1989 年提出 Paxos,论文最初以 SRC 技术报告的形式流传;直到 1998 年 5 月,《The Part-Time Parliament》才正式刊于 ACM Transactions on Computer Systems 第 16 卷第 2 期,133 至 169 页。流传十年而无法正式发表,原因之一就写在标题里——论文通篇以古希腊寓言叙述:没有“提案者”“接受者”“多数派”,只有帕克索斯岛的议员、他们的兼职营生、写满法令的羊皮纸与穿梭其间的信使;每个机制都披着议会术语的外衣,读者必须先把寓言翻译成协议,才能开始理解协议本身。双层翻译的损耗不可小觑:第一层从寓言到协议,读者要自行建立议员与进程、羊皮纸与磁盘、信使与消息包的对应,对应错一处,后面整篇的理解全部歪斜;第二层从协议到实现,还要再把协议的数学对象翻译成代码里的状态机与消息循环。别人写论文是给协议加一层包装,这篇论文是给协议加了两层,每一层都要读者亲手剥开。

翻译为什么难,拿一个编号并发的场景走一遍就知深浅。编号本身也有一套来历:每台机器记着自己见过的最大编号,提案者从中取“最大值加一”再拼上自身标识,保证既递增又全局唯一——没有共同的钟,就用可比较的整数充当全序,谁的编号大,谁的主张优先。这套整数替代时钟的设计贯穿两阶段:承诺是对编号的承诺,拒绝是对编号的拒绝,连死掉提案者的遗产也按编号交接。设集群三台,提案者甲带着编号 10 发起 Prepare,A、B 两台给出承诺;提案者乙几乎同时带着编号 11 发起 Prepare,B、C 承诺——注意 B 此刻的承诺升级为“拒绝编号 11 以下”,甲随后的 Accept(10) 到达 B 时被拒,只得到 A 一票,凑不齐多数派,提案作废。甲的对策是提一个更大的编号 12 再来一轮:这次 Prepare 让 C 的承诺升级,乙的 Accept(11) 在 C 处被拒;甲拿到多数派承诺,且从交代里得知没有旧值被接受,发出 Accept(12),A、B 记下,值通过。整个过程没有谁做错任何一步,决议却推迟了一轮——两个提案者的编号竞赛,理论上可以无限交替下去,谁也落不定;这就是 Paxos 著名的活锁,工程上靠随机退避缓解:撞了车的一方随机等一段再提,第二次撞车的概率断崖式下降。随机在这里不是偷懒,是对“无钟世界”的诚实——既然没有统一的时间排定先来后到,就用概率把僵局的期望时长压到可忽略。

两阶段的代价也在这个走查里显形:一轮共识至少要两轮多数派往返,Prepare 一轮、Accept 一轮,每笔决议的延迟下限被钉在这里;写入越多,付出的往返越多。工程上常见的 Multi-Paxos,本质是给稳态集群的减负形态——领导者稳定存在时,后续决议可以省去重复的准备阶段,只走接受一轮;省下的正是走查里那轮反复升级承诺的开销。本书第 082 章 Spanner 依赖的 Paxos 状态机复制,跑的正是这类稳态形态:共识锁定日志的每一格填什么,TrueTime 锁定每一格标什么时间——日志的顺序归共识管,时间的含义归时钟管,两套机器各司其职,缺一不可。

更难跨过的是“幽灵写”。设甲的 Accept(v) 已经被 A、B 记下,甲在通知任何人之前死掉——对集群来说 v 尚未通过;此后提案者丙带着编号 30 来 Prepare,按规则,A、B 必须在承诺之余把 v 交代给丙,丙必须在下一阶段原样提出 v,哪怕丙自己从没想过要提这个值。v 像幽灵一样在任何一届新议会显形:值不会消失,也不会被无声替换;安全保住了,理解它的人却要在“死人的议案还会回来”这条规则前站很久——它是 Paxos 安全性的精髓,也是“多年无人能在工程上完全做对”这句公认评语最常对应的考点。实现者各按各的理解裁剪机制,做出的系统彼此难以核对,正确性无法直观检验,一个并发交错就可能埋下双主的种子。

后果是一场旷日持久的约束决斗,双方在当时都占理。严谨派说:算法的正确性由数学证明担保,叙述得难读是读者的功课;分布式系统的错误代价是数据损坏与脑裂,宁要晦涩的正确,不要易懂的错误——把证明改成故事,是对严谨性的让步,而严谨性是这个领域唯一不可让步的东西。工程派说:无法被工程师正确实现的算法,它的数学正确性永远停在纸上;做错的 Paxos 比没有 Paxos 更危险,因为它给系统盖上“业界标准共识”的章,让人放松了对自己实现的怀疑。读者的处境给工程派添了实锤:一个工程师可以花一周读完 Paxos 的证明,合上纸面对自己的实现仍然无法回答“我真的做对了吗”——证明担保的是协议,不是代码,而协议到代码之间隔着并发、超时、磁盘与网络全部的现实摩擦。两派都没有错——错的是把“正确”与“可实现”当成一件事的年代本身;这个僵局后来靠两种方式各自松动,本章下两节各讲一种。

锁,而不是协议

工程界等不及读懂协议,先找到了用上它的方式:不把共识交给使用者,把共识的结果交给使用者。这一步走的路子值得停下来看一眼:共识难懂,难点全在“协议为什么对”;锁不难懂,因为锁只暴露“行为是什么”——把为什么藏起来,把是什么露出来,认知负担就从千万个使用者肩上卸下,集中到服务作者一人的肩上。Google 的 Chubby 是这个思路的代表——一个分布式锁服务,论文由迈克·伯罗斯(Mike Burrows)执笔,发表于 OSDI 2006。它的对外形态不是“一个 Paxos 库”,而是带文件系统式接口的锁:应用程序创建一个锁文件、请求持有它,持有者唯一;至于锁背后的一致性如何达成、副本如何同步,全部封在服务内部。使用者的世界里没有提案编号与多数派,只有“我拿到锁了没有”。把最难的机制藏进服务,让千百个不懂共识的团队安全地享受共识的成果——这是对“十年无人做对”最务实的一次回答:既然做对如此之难,那就少做几次,集中在一处做对,其余人排队领结果。

这个选择同样有代价,交易的两面都摆在桌面上。锁服务把灵活性收走了:使用者不能定制提案的粒度、日志的存留与故障时的语义,只能接受服务给定的行为;一切协调都要绕道服务的往返,路径上多了一跳延迟,也多了一个可用性依赖——锁服务自身不可用时,所有依赖它的系统一起受累。Chubby 的会话与租约把这笔代价管理成日常:客户端与服务端维持会话,锁的持有绑定在会话上,会话超时未续,持有的锁自动让出——持有者崩溃不会把锁带进坟墓,这是锁服务与单机文件锁最本质的区别。租约的时长本身又是一个时间承诺:服务端承诺在租约期内不把锁转手,这个承诺能守多久,取决于它对自己时钟偏差与消息延迟的估计——第 082 章 Spanner 里那个 ε 在这里换了名字重新出场:凡是对“承诺有效多久”的保证,最后都要落到对时间的测量上。超时值是刀口:设短了,网络一抖就把活人误判成死者,锁被抢走,双主复活;设长了,真死也要等满超时才被确认,故障切换的时间被拉长。每一个部署都在这两个方向之间调出自己的位置,调参的依据不是文档,是自家网络的脾气。

Chubby 仍然启发了 ZooKeeper:后者把同一套思路做成开源世界的分布式协调服务,接口概念几乎照搬——层级命名空间里的节点叫 znode,另有一种临时节点(ephemeral),客户端会话断开,节点自动消失。临时节点把“生命期绑定会话”做成了原语:一个进程注册的临时节点还在,它就活着;进程死了,节点随会话一起蒸发,等在旁边监视的同伴立刻知道。选主的配方由此变成几行操作:每个候选者在同一个目录下创建临时节点,约定编号最小者为主,其余人盯着目录变化——主进程一死,它的节点消失,众人立刻重选。成员管理、配置分发、任务分派,都能用同一套节点加监视的积木搭出来。两个服务的分工从此清晰:Chubby 在 Google 内部把守自家地基,ZooKeeper 把同一份答卷交到开源世界,让没有 Google 工程规格的团队也能把协调当公共设施用。两者都只负责“小而关键”的协调数据——锁、名册、配置;数据面的大规模一致性仍要另寻载体。协调服务自此成了分布式系统的标配部件,共识以“锁与名册”的民用形态,第一次大规模走进生产——使用者仍然不必读懂 Paxos,这既是它的成功,也是下一节那场翻案的伏笔。

把难题切成三段

第二处松动来自斯坦福,方向正相反:不改使用形态,改算法本身的讲法。2013 年,迭戈·奥加罗(Diego Ongaro)与约翰·奥斯特豪特(John Ousterhout)在斯坦福提出 Raft,2014 年发表论文,标题就是一份宣言——《In Search of an Understandable Consensus Algorithm》,寻找一种可理解的共识算法。把“易懂”写进设计目标,在当时是对学术惯例的冒犯:算法论文的价值维度里从来没有“好懂”这一项,正确性与效率才是硬通货;批评者认为可理解性至多是副产品,为它牺牲机制的最优性是本末倒置。Raft 团队的立场同样站得住:一个多年无人做对的算法,它纸面上的正确性从未真正到达过任何一个生产系统;可理解性是实现正确性的前提,把它当设计目标,是把 Paxos 二十五年的教训当作需求写进规格。这场决斗的裁决不由论文答辩做出,由此后十年成千上万份基于 Raft 的实现做出。

Raft 的方法是把状态机复制拆成三个独立的部分,每部分单独讲清、单独论证。拆分本身就是贡献:Paxos 的正确性论证是一条整体定理,拆不开,读者要么全懂要么全懵;Raft 把整块的问题切成选举、复制、安全三块,每块的论证只依赖前面块的定义,可以逐块读完、逐块实现、逐块测试——一个理解成本被摊销成三笔小额分期。第一段是领导者选举。集群常态是“一主多从”:所有写入都由唯一的领导者受理,从节点只被动接收。领导者定期广播心跳证明自己活着;从节点在随机超时内没听到心跳,就自荐竞选——把任期编号加一,向众人拉票。投票的规则有三条:每个节点在一届任期里只投一票;候选者的日志必须不落后于自己,否则拒绝;拿到多数派选票者当选。随机超时是化解选票瓜分的钥匙:若所有节点在完全相同的时刻发起竞选,选票会平均分裂,谁也过不了半;让每个人的超时在一个区间内随机取值,最先超时者抢先参选,等其余节点超时之前,它已经拿够了票。超时区间要盖过一轮拉票的实际耗时——网络往返与磁盘刷盘都算在内——设小了选举频繁重演,设大了故障切换迟钝;区间是部署者手里少数几个必须按自家网络调的旋钮。选举失败的代价被压到一次心跳的时间量级,活锁在概率上被驯服。

第二段是日志复制。客户端的写请求到达领导者,领导者把它追加为自己的日志条目——条目带着任期号与顺序号——再并行发给所有副本;当多数派副本都写入该条目,领导者将其标记为已提交,应用到本地的状态机,并返回客户端成功;其余副本在后续通信中得知提交进度,依次应用。三段的接口在这里显形:选举的产出是“谁是领导者、任期几号”这个事实,它是日志复制的输入;复制的产出是“哪些条目已提交”这个进度,它又是安全性论证的对象——环环相扣,各段却不必知道彼此内部的推理。日志是唯一的事实序列:相同的日志以相同的顺序应用到相同的状态机,所有副本的状态必然一致——这句话反过来也是故障恢复的全部依据。某个副本宕机重启,它的日志落后了,追平的办法就是从领导者那里把缺的条目逐条补齐;补齐之前,它不参与对外提供数据。读请求在这里同样有讲究:从节点直接应答读,响应快,但可能读到尚未提交的旧值;要保证读到的一定是已提交的最新状态,读也必须绕道领导者,或由领导者先与多数派核对一次自己仍是主——快与准的取舍在共识系统里同样明码标价。第 082 章 Spanner 的 Paxos 状态机复制,与此处 Raft 的日志复制是同一件事的两个写法:先把操作定成全序日志,再把日志重放进状态机——共识解决的是“日志的每一格填什么、全集群认不认”这一个问题。

领导者本身就是对“单点”问题的回答。它当然是写入的必经之路,却与单机时代的单点有本质区别:领导者不是指定的,是选出来的;它死机,剩余节点在随机超时后自动开选,任何一台日志合格的从节点都可能接任——第 082 章 Spanner 主副本租约到期换主,靠的正是同一套多数派选举。系统里没有谁不可替代,可替代性本身由协议担保,而不是由运维的值班表担保。单点的危险性从来不在“存在一个主管”,在“主管没了没人接得上”;共识协议把“接得上”变成数学保证,这才是它区别于一切人工高可用方案的分量。

第三段是安全性限制,专门堵选举的漏洞。设想没有限制的情形:一台日志落后的节点靠运气当选新领导者,它自己的日志里没有某条已提交的记录,继续复制时就会用自己较短的日志覆盖别人的——已通过的决议被抹掉,一致性破产。推演到具体步骤:三台机器中 A、B 已把条目 7 提交,随后 A 宕机;C 的日志停在条目 5,却恰好在下一届选举中拿到 A 之外的两票当选——C 继续写入时,条目 6、7 会被它较短的日志顶掉,而条目 7 已经向客户端承诺过成功。Raft 的资格线把这条路堵死:投票者拒绝日志比自己落后的候选者,C 在 B 面前根本拿不到选票;于是当选者的日志必然包含所有已提交条目,新领导者的日志只会更长,决议一旦提交就不可逆转。Paxos 里那个需要“交代与携带”才能守住的幽灵写不变量,在 Raft 里被下沉成一条选举时的静态资格检查——这正是“易懂”的具体含义:复杂度没有消失,而是被挪到了更容易推理的位置。

 客户端 ──写请求──▶ 领导者(任期 T)  
                      │ 1. 追加日志 [x=3]  
                      │ 2. 并行分发  
        ┌─────────────┼─────────────┐  
        ▼             ▼             ▼  
     副本 A         副本 B        副本 C  
     日志一致       日志一致       (宕机)  
        │             │  
        └───── 多数派(A+B)确认 ─────┐  
                                    ▼  
              3. 提交:应用到状态机;返回客户端  
              4. C 重启后从 A/B 追平日志  

这套对外承诺与 Multi-Paxos 相同的安全保证——一致性不打折;对内则把理解成本摊平:三段各自的论证短到可以一次读完,段与段之间的接口清晰可数。运行的前提也与议会相同:只要多数派节点正常,集群就继续服务。代码评审自此也有了抓手:评审人只需逐段对照三部分的规则清单,改动落在哪一段、违反了哪条规则,可以指着条目说清——在 Paxos 年代,评审一台共识实现等于重读一篇论文。代价也得按老规矩摆上台面:每一笔写入都要付一轮多数派往返,日志先落在领导者,再落到过半副本,写入吞吐的上限被单领导者的日志顺序化钉死——所有写请求排一列纵队,领导者越忙,队伍越长;读要多快有原来的从节点路径,要多准则要回领导者核对主位。共识买到的是“决议永不反悔”,账单上写的是延迟、吞吐与每一次切主的停顿;这笔交易值得与否,取决于应用把“数据不裂”排在第几位——排在第一位的那些系统,后来都长成了下一章的主角。

此后的故事属于生态:易于理解意味着易于实现,易于实现意味着千行级的教学实现与百万行级的商业存储都能长在同一套协议上——下一章 TiDB 与 CockroachDB 的存储层,选的都是 Raft。“选举、复制、安全”的三段讲法也被大量后续教程与实现沿用,成了这一领域事实上的通用词汇表:工程师初次见面,对齐三段的术语就能开始讨论各自的实现细节——一门曾经以晦涩著称的手艺,有了公共的语言。把本章放进卷七的脉络里看会更清楚:CAP 定理(第 079 章)划定了分区面前的一致与可用不可兼得;Dynamo(第 081 章)选了可用,用向量时钟与事后合并收拾残局;Spanner(第 082 章)选了一致,用 TrueTime 与 commit-wait 付账——而无论选哪边的系统,只要它需要“主节点唯一、日志全局有序”,底下踩的都是本章这台共识引擎。它是前面各章反复出现却从未展开的那个地基,从这一章起,地基有了名字。回望 1989 到 2014 这条线,共识的难题被攻破过两次:第一次证明了正确可以达成,第二次证明了正确可以被传承;前者是数学的胜利,后者是工程史的胜利,而后一种胜利,往往要再等二十五年才有人肯去做。

本章的断言是:分布式共识二十五年的瓶颈从来不在数学——安全性的证明在 1989 年就已完成——而在把数学翻译成千百个团队能正确写出的代码;Raft 赢的不是算法,是翻译,它证明可理解性不是学术品味问题,而是决定一个正确算法能否存活的生产资料。这个断言可以被反驳:如果 Chubby 一类系统证明 Paxos 变体在实践中同样被长期正确实现,或者 Raft 的易懂性在大规模工程中并未换来更少的实现缺陷,那么“翻译论”就是事后归因,真正的瓶颈另有其物——也许是工程纪律,也许是运气。反驳的第二条路更具威胁:如果未来的形式化验证工具普及到“写错即编译失败”的程度,可理解性的价值就会重新回落——被工具兜住的错误不再需要靠读懂来预防,翻译论的历史窗口就只是工具成熟前的一段插曲。


第 092 章 2009—2015:异构数据基础设施的拼接大厦

2009 年,萨尔瓦托雷·桑菲利波(Salvatore Sanfilippo,网名 antirez)的创业公司 LLOOGG 做实时网站分析:访客点了哪些页面、停留多久、从哪里进来,统计要在线刷新。这类负载的形状是小而密——每个访客的每次点击都是一次计数、一条列表追加、一个待更新的数字,操作本身微不足道,操作的次数却无穷无尽。既有数据库为这些小操作付出的开销远大于操作本身:每条指令都要穿过连接管理、查询解析、事务包装、磁盘落盘的全套流程,穿一趟的成本是操作本身的上百倍;访问高峰时,数据库忙的几乎全是流程,不是数据。他没有去调优数据库,而是退一步问了一个仓库管理员式的问题:这些热得发烫的小数据,为什么要住在为冷数据设计的房子里?答案是给它们单独盖一间内存里的房子——他动手写了 Redis(Remote Dictionary Server),一个把全部数据结构放进内存、用单线程伺服的服务器。这个缘起于小作坊的项目,此后六年与另外三件工具一起,拼出了数据基础设施的一座新大厦:

                     ┌──────────────────────────────┐  
                     │        应用与业务系统          │  
                     └──┬────────┬────────┬────────┬─┘  
            热数据      │日志/埋点 │ 迭代训练 │  交易   │  
                ┌───────▼──┐ ┌───▼────┐ ┌▼──────┐ ┌▼─────────┐  
                │  Redis   │ │ Kafka  │ │ Spark │ │TiDB 等   │  
                │ 内存字典  │ │顺序写管道│ │内存迭代│ │Raft NewSQL│  
                └───────┬──┘ └───┬────┘ └▲──────┘ └┬─────────┘  
                        │ 热点穿透 │  离线管道 │         │  
                        ▼        │        │          │  
                ┌──────────────▼──┐   │   ┌──────▼──────────┐  
                │  磁盘数据库(冷数据)│───┘   │ TiKV 等分布式存储 │  
                └─────────────────┘       └─────────────────┘  

本章拆开这四件兵器,再走进一座用同样思路却烂尾的工程——把公有云整套搬进企业机房的 OpenStack 运动。四件兵器的出场顺序本身就是一张时间表:2009 年 Redis 在个人作坊里诞生;2009 年底 Kafka 在 LinkedIn 机房里立项;约 2010 年 Spark 从伯克利的实验室起步;NewSQL 在这十年末段成型——六年里,数据基础设施的重心从“一种数据库管一切”滑向“一种负载配一件兵器”,滑动的每一步都有各自的账单。

内存里的字典

Redis 的全部速度秘密写在它的选址上:数据放内存,读写不碰磁盘。内存的访问以纳秒与微秒计,磁盘以毫秒计,两者之间的鸿沟是物理性的——把最热的操作搬进内存,等于把一次查询的成本砍掉几个数量级。选址之外,第二个决定同样关键:单线程。在多核与多线程是标配的年代,这个决定逆着潮流:主流观点认为要吞吐就得并发,要并发就得多线程,多线程自然要锁,锁的开销与正确性风险随线程数上涨。Redis 的算式从负载出发:它的操作是内存里的短小数据结构操作,单次以微秒计,CPU 根本跑不满一条线程;瓶颈在网络 I/O,而网络 I/O 的并发不必靠业务线程堆。单线程因此不是妥协,是算账后的选择——没有锁竞争,没有死锁排查,没有上下文切换,每条命令的执行时间可预测;复杂的并发问题被整块删除,而不是被小心地管理。它的并发能力收在事件循环里:一条线程轮着处理到达的网络事件,收一条、执行一条、回一条,执行本身快到肉眼看不见排队。此后多年,这种“单线程内存操作”的模型被反复验证:只要单次操作足够短小,一条线程就能喂饱网卡的吞吐。

单线程与内存也画出了它的边界。内存容量是硬天花板:数据放不进内存,Redis 就不是选项——它因此天然是“热数据”的居所,与磁盘数据库各管一段。两条访问路径的对比在架构图上一目了然:没有 Redis 时,用户每刷新一次商品页,请求直奔磁盘数据库,连接、解析、锁、磁盘一路走完,高峰期数据库在几百次随机 I/O 的物理上限前排队;有了 Redis,热点数据预先住进内存,刷新请求先问内存——绝大多数请求在这里就拿到答案掉头返回,只有缓存里没有的那一小部分才穿透到磁盘数据库。磁盘数据库的工作量从“全部请求”降到“零星穿透”,它的容量第一次可以按“冷数据的规模”而不是“热流量的峰值”来规划。内存断电即失,持久化成了绕不开的矛盾:把数据落盘,落得越勤,磁盘开销越大、单线程被拖得越重;落得越懒,宕机丢的越多。这对矛盾没有两全解,只有参数上的取舍,Redis 把取舍做成选项交给使用者。名字里的 Dictionary 也值得一看:它对外提供的直接就是字典、列表、集合这些数据结构本身,命令即操作——往列表尾巴追加、给计数器加一,一条指令直达结构,没有查询语言、没有解析优化这些中间流程;LLOOGG 需要的每个动作,在这里都是原生的。边界之内,它的角色多到超出“缓存”二字:作数据库(接受丢一点数据的场景)、作缓存(挡在磁盘数据库前面消化热点)、作消息件(轻量的队列与发布订阅)——一件工具在这三个岗位之间轮换,全看使用者的胆量与场景的容错度。工具的岗位由数据的价钱决定:丢得起的放内存,丢不起的放磁盘,这条分界线此后成了整个行业的常识。

顺序写与零拷贝

Kafka 出场要晚几个月,出身也不是车库,而是 LinkedIn 的机房。2009 年底,LinkedIn 为日志流水线自研了这套系统,直接原因写在需求书里:既有 ActiveMQ 一类消息中间件,扛不住站点操作与运维日志的海量高吞吐——日志流的形状是持续不断的巨额写入、顺序消费、几乎不修改,传统消息队列为“业务消息”设计的随机访问、事务与确认机制在这条流水线上全是白付的代价。把两类负载的形状摆在一起,取舍就不难理解:业务消息一条一条价值不同,要逐条确认、失败重投、优先级插队,管理成本花在“每一条”上;日志流成千上万条同质,逐条管理的成本花不起也不必花,要的是总量吞吐与先后有序。Kafka 按后一种形状设计,把日志流的本性推到极致,快的原因是五个机制的叠加:磁盘顺序写、操作系统页缓存(PageCache)、零拷贝、批量处理与压缩、分区并行。逐个拆开,每个都是对硬件账单的一次重新结算。

顺序写是第一个结算。机械磁盘的随机读写与顺序读写之间存在数量级的鸿沟:随机访问要磁头寻道旋转,每秒只能做百次量级;顺序写则让磁头沿轨道一路推过去,吞吐逼近磁盘的物理带宽。传统消息队列把消息当数据库记录管理,插入、索引、删除,随机 I/O 不断;Kafka 把消息当日志管理——只追加、不修改,每条消息按到达顺序排在文件末尾,磁盘最擅长的动作被用到了极限。第二个结算是页缓存:写入先落操作系统的页缓存就返回,真正的磁盘落盘由操作系统异步批量完成;消费者读消息时,数据大概率还热在页缓存里,一次磁盘都不用碰——整条链路里,磁盘退化成了最终的兜底,日常流量在内存与网卡之间直达。第三个结算是零拷贝:传统的发送路径里,一份数据要从磁盘进页缓存,再拷进用户态缓冲,再拷进套接字缓冲,最后交给网卡,四次搬运三次多余;零拷贝让数据从页缓存直接推到网卡,内核一手包办,用户态全程不经手。消费者从磁盘读、经 socket 发回的整条路径,搬运次数被压到物理允许的下限。剩下的两项是放大器:批量与压缩把小消息攒成大块处理,摊薄每条的固定成本;分区把一个主题的水平切成多份,写入与消费在分区之间并行,扩容就是加分区、加机器。分区还顺手解决了一个顺序性难题:全管道只有一个总顺序时,并发必然互相踩脚;按消息的键路由到固定分区,同一键的消息永远落在同一分区、保持先后,全局无序换成了分区内有序——需要顺序的业务按键分组,不需要的均匀散开,两种需求各得其所。五项叠在一起的效果可以用一条链概括:生产者把消息交给页缓存即返回,消费者要读时数据多半还在页缓存,要发网络时零拷贝直送网卡——磁盘只在策略性的时刻被批量兑现,全程没有任何一步在等随机 I/O。

五个机制里没有一个发明了新东西——顺序写是文件系统的老常识,页缓存与零拷贝是操作系统的老功能;Kafka 的功绩在于选对负载、把五件旧工具用在同一份账单上。单机每秒百万级消息的量级,让“消息系统”从运维的配角长成了数据大厦的主干管道。拿一条日志流的日常走一遍:用户在页面上的每次点击,被埋点代码打成一条小消息发往集群;消息按到达顺序落进所属分区的日志文件末尾,先住页缓存,等待批量落盘。下游的多个系统各取所需——实时统计的消费组从管道里读出流量曲线,数据仓库的装载任务定时把同一串消息整段归档,风控系统盯着其中特殊的几类事件;三方各记各的读取位置,互不相扰,同一条消息被三路消费而毫发无损。配套的消费模型同样反传统:消息写入后并不在消费后删除——文件按保留策略(到期或超量)整段清理,消费者自己记着读到了哪个位置;同一条日志可以先后被统计、归档、监控多路消费,谁也不用为谁让路。一个主题的水平还可以切成多个分区,分摊到多台机器上并行写入与消费——管道的吞吐随分区与机器数横向生长。此后的年份里,日志采集、用户行为埋点、系统间解耦、流式计算的入口,都从这条顺序写的管道里流过;数据大厦的各楼层,第一次由一条管道统一供水。

把迭代搬进内存

Spark 解决的是另一份账单:计算的账。MapReduce 在第 080 章出场时是海量离线计算的答案——它的历史功绩需要先摆正:在机器频繁损坏的廉价集群上,它把“运算到一半机器没了怎么办”变成了一个有标准答案的问题,海量数据处理的门槛因此从超算降到了机架。它的执行模型有一个内置的节奏——每个作业的中间结果都要落到磁盘,下一个作业再从磁盘读回来。对一次成型的统计任务,这份落盘是容错的合理代价:任何节点挂掉,从上一站的磁盘输出重新算即可,数据永不丢失。可当任务从“一次统计”变成“多轮迭代”——机器学习的训练动辄几十轮、每一轮都对同一份数据反复加工——MapReduce 的节奏就成了灾难:每一轮之间都要把数据写出去再读回来,磁盘 I/O 的开销反复收取,计算时间反而成了零头。伯克利的实验室里,这个节奏被重新审视:约 2010 年,加州大学伯克利分校 AMPLab 的马泰·扎哈里亚(Matei Zaharia)及其合作者提出 RDD(Resilient Distributed Dataset,弹性分布式数据集),随后长成 Spark。

RDD 的改动直击要害:让中间数据留在内存里,多轮迭代直接在内存中的数据集上接力,不再每轮落盘。想法能落地,也要谢谢时代:这一程内存的容量与价格曲线正好走到“给集群节点配上大内存”不再是奢侈决定的节点,早五年,同样的想法会被内存报价单直接否决——技术方案的对错之外,还有一张元件报价单在暗中投票。账可以粗算:一个跑五十轮的训练任务,MapReduce 每轮进出磁盘各一次,一百次全量数据的磁盘往返里,真正的计算可能占不到零头;RDD 把同一份数据装进集群各节点的内存,五十轮在内存里直接接力,磁盘只在任务开始与结束时各碰一次。迭代任务的典型例子在本章之前已经露过面——第 083 章的 PageRank 就是一轮一轮把分数沿链接图分发直到收敛的迭代算法,网页库一大,MapReduce 形态的每轮落盘就是它最痛的地方;换到 RDD 上,全图的分数驻在内存里反复迭代,同样的算法跑完的时间缩到原先的零头。迭代类任务因此获得数量级的提速——“取代臃肿迟缓的传统 MapReduce 离线任务”这句后来广为流传的评语,指的就是这笔账。这里的取舍同样诚实:内存驻留比磁盘落盘贵,机器学习的场景付得起,因为它对同一份数据的反复使用摊薄了内存成本;一次成型的简单统计,落盘的 MapReduce 依旧够用且更皮实。Spark 没有宣布谁被淘汰,它把“计算模型要匹配计算形状”这条原则再次坐实——批处理与迭代计算形状不同,就该有各自匹配的引擎。两派在纸面上各说各话,机房的报表替 Spark 说了硬话:同类迭代任务换到 RDD 上跑,等待的时间缩到原先的零头,数据团队用脚投票——机器学习的负载陆续搬家,Spark 自己则沿着同一条思路继续生长,从批处理延伸到流式与交互式查询,成了大数据计算侧的公共底座。

用共识重造数据库

第四件兵器回到数据库本身,回答的是第 083 章失败案例留下的那道题:规模、SQL 与强一致,能不能都要?NoSQL 浪潮的答案是不能——为了规模,那一页让渡出去的清单越拉越长:抛弃 SQL 的表达力,应用自己在代码里拼查询;抛弃跨行事务,一致性靠应用自己兜;抛弃强一致,读到旧值成了“最终会一致”的一部分。MongoDB 的默认值窟窿(第 083 章的失败案例)是这份清单最疼的一行价签。2009 年之后,另一批人重新翻出 Google 的论文开始作答:规模要,其余的也要赎回来。答案的原料来自两章之前:Spanner 未曾开源,但它的论文摆在那里,模型人人可读——用共识协议管理多副本、用分布式的键值存储承载数据、在其上架回 SQL 与事务。TiDB 与 CockroachDB 各自沿着这张蓝图施工,前者出自 PingCAP,模型明确受 Spanner 与 F1 论文启发。

以 TiDB 为例,结构上的第一刀是存储与计算分离:TiDB Server 是无状态的 SQL 层,解析查询、优化执行,本身不存数据;TiKV 是分布式键值存储,数据按范围切成一片一片,每一片的多副本由 Raft 管理一致性——上一章那个“把状态机复制拆成三段”的算法,在这里成了每一片数据的日常。值得体会一下规模感:一张大表被切成成百上千个片,每个片都是一个独立运转的 Raft 小组,有自己的领导者、自己的日志、自己的选举计时——整个集群里,成千上万个小组同时选举、同时复制、同时各自容忍着各自的三分之一故障。上一章还在纸上推演的协议,在这里被放大成集群的日常背景活动。分离的好处随结构而来:SQL 层无状态,查询压力涨了就加机器,加的机器不带数据、随起随用;存储层独立扩容,按数据的增长节奏走——两层各按各的峰值伸缩,互不拖累,这在存算一体的旧架构里是不可想象的两笔独立账。Raft 组内多数派确认,写入才算数;领导者在哪个副本,服务就在哪个机房就近提供;副本挂掉,组内自动补选。这一层之上,分布式事务把跨片的修改原子化,强一致由此兑现;水平伸缩则退回了分片的加法——数据满了就加片、加机器,容量与吞吐随机器数横向增长。SQL、事务、强一致、水平伸缩,四个曾经被认为两两互斥的词,在 Raft 的地基上拼进同一座数据库。CockroachDB 走的是同一条路线,同样以 Raft 为副本一致性内核。这一代系统后来有了一个集合名字:NewSQL——名称里的“新”不是对旧关系的否定,是把第 081 章 Dynamo 让渡出去的东西,用第 091 章的算法一件件赎回来。蓝图的故事也值得记一笔:Spanner 的代码从未开源,可那篇论文把模型写得足够清楚——论文本身成了公开的施工图,证明思想的可复制性不依赖于代码的可复制性;读论文起家的团队不止一家,这条传播路径后来被称为“论文驱动的开源”。

全家桶进机房

四件兵器的成功各自都有一个“负载匹配”的前提,本节的失败案例要讲的是把前提忘掉的下场。同一个年代,OpenStack 运动在企业机房里铺开,规模不小,结局成片搁浅——时间上它与本章四件兵器同期,同样开源、同样应对互联网规模的数据浪潮,结局却一树一荒,对照由此完整。这一节值得单独成节:它的每一步动机都站得住,每一步执行都有当时的道理,搁浅的原因值得后来所有平台运动引为镜子——请把它读成教训而非笑谈,当事人都在各自的时刻做了当时信息下合理的选择。

先把动机写足。企业看着公有云:弹性伸缩、按量计费、自助开通,效率令人眼红;可企业的数据与业务流程也有自己的硬约束——监管与合规要求某些数据不出机房,多年的既有系统改造成本高,公有云账单的长期不可控与被锁定的风险同样真实。两头一合计,“自己造一个云”的念头顺理成章地长了出来。此时 OpenStack 出现:开源、免费、模块齐全、社区活跃,几乎就是“AWS 的能力、自家机房的价格”的现货答案。中国私有云市场一度把它当作主流选择,企业 IT 部门的期望合情合理:把公有云验证过的全家桶搬进自家机房,弹性的红利自己收,数据的边界自己守。

搬进来的第一天,问题就开始积累,机制值得逐步拆解。第一层是系统的本性:OpenStack 是一堆组件的集合,计算、存储、网络、身份、镜像各归各的模块,模块数量众多、边界交错,模块之间经消息队列与远程调用耦合——这套耦合在生产环境里相当脆弱,一个存储组件的抖动会顺着消息队列传导到别处,故障的边界难以圈住。第二层是定制的引力:企业买私有云图的是贴合自家流程,而贴合的最直接方式就是改源码——认证接自家的账号体系,调度按自家的机房规则改,存储配自家的阵列,监控挂自家的告警。每一次定制在当时都是合理的局部决策;把整条链连起来看,灾难的机制开始运转:定制过的代码在上游发新版本时回迁困难,于是各家跑着各家的私有分叉;分叉越积越多,版本碎片化形成,社区的新版本与自己机房的老版本之间隔着越来越宽的鸿沟;升级的风险随鸿沟加宽而上涨,涨到没有人敢签字升级——于是整套系统停在某个老版本上,安全补丁、新特性、社区支持一并远去,维护成本却在逐年上涨:老版本要有人懂,定制要有人守,故障要有人修,而懂、守、修的人越来越少。组件的版本依赖层层相扣,牵一发而动全身,动全身的勇气没有哪个部门真有——这就是后来被反复引用的“版本依赖地狱”。第三层是运维账本的结算:公有云的弹性背后是厂商成建制的运维团队,随叫随到;企业机房里,这套全家桶的维护落在本就紧张的 IT 部门头上,人力对不上系统的复杂度,账本长期赤字——省下的许可费与云账单,被工资单上的运维编制悄悄吃回。大面积的结局因此可以预料:众多 IT 部门的私有云项目停在半途——能跑,但不敢动;能用,但不敢扩;不散伙,但也不再投入,直到被更轻的方案替换。后来的替代趋势印证了问题所在:轻运维的私有云平台、乃至干脆退回纯虚拟化方案——企业重新采购的不是“公有云的全部能力”,而是“自己养得起的那部分”,采购清单本身就是那次失败留下的刻度。教训有两个面。留给企业的面:评估平台,最该估的是后续五年的运维人力曲线,而非上线当天的功能清单——功能静止,人力复利。留给开源社区的面:模块化让贡献者各自为战、上车容易,可模块越多,整车的耦合面越大——模块的丰富与产品的连贯是两种美德,前者利于生长,后者利于使用,OpenStack 证明了前者并不自动带来后者。这一课与本章前四节同源:Redis、Kafka、Spark、NewSQL 活下来,是因为每一种都钉死在一种负载上;OpenStack 搁浅,是因为它试图一次性满足所有负载,却在企业机房里没有养得起它的运维纵深。失败的性质要说准:烂掉的不是某一处代码,是一个假设——假设企业 IT 部门拥有与公有云厂商同量级的运维纵深;假设错在前提,代码再好也救不回来。工具无罪,负载错配有价,维护的账单最后总会寄到。

拼接的账单

回头看 2009 到 2015 这六年,四件兵器各钉死在一种负载的物理本性上:Redis 认准热数据与内存的鸿沟,单线程的简单换来了可预测;Kafka 认准日志流与顺序写的姻缘,把操作系统的旧机制用成了新管道;Spark 认准迭代计算对落盘节奏的过敏,把中间结果搬进内存;NewSQL 认准交易负载对一致与规模的共同要求,用 Raft 把让渡的东西赎回。没有一件试图通吃,通吃的欲望被留给了 OpenStack,结果是那片成片的烂尾。拼起来的大厦还要交最后一笔账:接缝的账。缓存与磁盘数据库之间永远隔着一个不一致的窗口——Redis 里的数改了,数据库的落盘还没跟上,或者反过来,谁先谁后的仲裁要业务自己设计;管道与下游计算之间有背压的问题——Kafka 里堆积的消息涨到消费跟不上,堵住的不只是管道;离线计算与在线服务共用一个集群时,一轮大作业能把在线查询的延迟挤翻倍。这些接缝没有一件兵器替你守,胶水代码、对账脚本、限流阈值,全要使用者的工程师亲手写、亲手调。专用化把每件工具内部做简单了,代价是工具之间多了接缝——n 种兵器,n 减一条缝,缝上是故障的高发区。入门费也不止一种语言:Redis 的命令、Kafka 的主题与分区、Spark 的转换与动作、NewSQL 的方言 SQL,四套语法学下来,还有四套监控、四套备份、四套升级窗口等着排期——大厦的宏伟与大厦的物业费,从来一起增长。增长的还不只是费用,是一门新的手艺:把四件兵器粘在一起的胶水层——后来的数据基础设施团队,一半的工时花在接缝上,一半的架构图画在接缝上;工具可以买,接缝只能自己长。把五个名字并排放着看,成败的判据自动浮现:前四者回答的是“一种负载的最优形态是什么”,OpenStack 回答的是“能不能把别人的全部形态都搬回家”——前者是工程问题,有解;后者是组织问题,解在企业自己身上。主导约束在这一程也换了表述:磁盘的随机 I/O、作业落盘的节奏、副本一致性的成本,这些旧约束没有消失,而是各自被一款专用工具标出价格——选择工具,就是选择为哪种物理本性付钱、付多少。这条分化的路线同时改写了人的版图:原本统管一切的数据库管理员发现,自己的领地被切成缓存、消息、计算、分布式存储四块,每一块都有自己的专家、自己的证书、自己的故障手册;新的岗位随新工具诞生,旧的无所不包的角色在分化中变薄——工具的专用化与人的专业化,是同一件事的两面。

本章的断言是:数据基础设施的进步在 2009—2015 年间走的既非大一统路线,也非越多越好路线,而是专用化的路线——每一种负载的物理本性各自长出最贴合的工具,而系统真正的复杂度并没有消失,只是从工具内部转移到了工具之间的拼接处,由使用者承担;拼图的收益归工具,拼图的账单归用户。这个断言可以被反驳:如果多模数据库或某个统一计算框架真的以可接受的性能与运维代价同时覆盖缓存、消息、迭代与交易四类负载,让拼接的账单被整合的收益覆盖,那么“拼接是常态”就只是一个技术过渡期的临时判词,专用化的宿命会被通用化打破。反驳的力度取决于通用化的代价曲线:物理鸿沟(内存与磁盘、顺序与随机)不会因抽象而消失,通用系统只能在鸿沟之上加转换层,转换层自身的开销与故障面就是它的报价——报价降到位,判词翻篇;降不到,拼盘继续。判词的生命期还有另一种缩短法:若负载本身融合——比如流批一体的计算模型让迭代与批处理的形状归于一致——专用化的依据也会随之消解。这两条路哪条先通,判定权属于下一个十年的机房。


「计算机百年史」系列第 8 篇(共 10 篇)。全系列统一标签:计算机百年史。