原标题：人工智能导致哪些风险？控制论之父在70年前就预言了
近日，谷歌公司在《Nature》杂志宣布实现了“量子霸权”，宣称200秒的量子计算实现了最强超算1万年的结果。超级计算机终有一天会取代人类吗？自动化与人工智能存在风险吗？人工智能的先驱、“控制论之父”维纳在七十年前的预言仍有很强的现实意义。
作者丨塞思·劳埃德
摘编丨李永博
人工智能是今天的神话，它既可能是未来的开始，也可能成为末世的毁灭。在技术狂飙突进的时代，即使是圈内的从业者也很难获得一致的意见。被誉为“人工智能之父”的尤尔根·施米德胡贝认为人工智能终有一天会比人类更聪明，而人类也没有丝毫理由为此感到担忧。与此同时，特斯拉CEO埃隆·马斯克却在多个场合上表示要警惕人工智能。他甚至认为，人工智能的危险远远超过核弹头。
现在我们把时间稍微拉远一点。在“人工智能”这个概念出现以前，控制论正大行其道。“控制论之父”、诺伯特·维纳在1948年发表的名著《控制论》中已经对“机器能不能拥有智能”这一问题给予了正面的回答。维纳认为不仅在人类和人类社会中，在其他生物群体乃至无生命的机械世界中，都存在着同样的信息、通信、控制和反馈机制，智能行为是这套机制的外在表现，因此不仅人类，其他生物甚至是机器也同样能做出智能行为。维纳和他的控制论思想如今也被视为人工智能“行为主义学派”的奠基者。
诺伯特·维纳（Norbert Wiener）（1894—1964），美国应用数学家，控制论的创始人。
很多人不知道的是，维纳在70年前为人工智能勾画蓝图之时，也提出了自己对机器统治的担忧和警告。亲历二战岁月的维纳在《人有人的用处》中预言，依赖机器统治可能成为一种“新法西斯威胁”。这种“唱反调“让维纳在冯·诺伊曼、克劳德·香农等同事之间遭到了冷遇，他们更急于把新科技转化为商业利润。
维纳的预言在如今看来是否仍然有价值？2016年9月，来自人工智能领域内外的几十位思想家在美国华盛顿展开了一场对话，在此基础之上结集成一本书《AI的25种可能》。与会者达成的一个共识是，重新审视先驱的思想永远都有价值，很多人没有意识到自己正在执行维纳的路线图。维纳对于自动化和人工智能有着怎样的顾虑？他在70年前的预言还有现实意义吗？
下文由麻省理工学院量子科技专家塞思·劳埃德（Seth Lloyd）撰写，经授权摘自Edge网站创始人约翰·布罗克曼与多位思想家共同编著的《AI的25种可能》，有删节。
《AI的25种可能》，约翰·布罗克曼编著，王佳音译，湛庐文化丨浙江人民出版社2019年10月版
维纳虽然有谬误，却比以往更靠谱
诺伯特·维纳1950年出版的《人有人的用处》，是他两年前出版的那本影响深远的《控制论》的通俗版本。在《人有人的用处》中，维纳对在一个机械的运算能力变得愈发强大的世界中，人类与机械之间的相互作用进行了探讨。这是一本充满先见之明的书，同时也充满了谬误。这本书写于冷战正如火如荼之时，其中的内容让人胆战心惊，它让我们意识到极权主义组织和社会的危害，提醒我们当民主试图用极权主义的武器对抗极权主义时会对民主极为不利。
维纳在《控制论》中，以非常翔实的科学细节描写了经由反馈实现的控制过程。“控制论”（cybernetics）一词来源于古希腊语中意为“舵手”的单词，是现代词汇“管理者”（governor）的词源基础。詹姆斯·瓦特将他那开创性的反馈控制装置命名为“管理者”，这一装置改进了蒸汽机的使用方式。因为维纳沉溺于研究控制带来的各种问题，所以他将世界视为一组复杂的、互锁的反馈回路，其中传感器、信号和发动机之类的驱动器通过复杂的信号和信息交换而相互作用。控制论在工程领域的应用影响力极大且非常有效，使我们有了火箭、机器人、自动装配线，以及一系列精密工程技术，换句话说，它构成了现代工业社会的基础。
不过，维纳对控制论的理念有更大的雄心。在《人有人的用处》中，他认为这一理念可以应用到麦克斯韦妖、人类语言、大脑、昆虫新陈代谢、法律体系、技术创新对统治的作用，以及宗教之中。控制论的这些广泛应用，几乎是彻底的失败。20世纪40年代末到60年代初，人们对控制论大肆吹捧，在某种程度上就像对计算机和通信技术的过度渲染一样，而后者导致了2000年至2001年的互联网泡沫破灭。控制论确实带来了卫星和电话交换系统，但它对社会结构及整个社会没有促成什么有用的发展。
《人有人的用处》，维纳著，陈步译，北京大学出版社 2010年版
然而近70年后，《人有人的用处》这本书教给我们人类的却远比它刚刚出版时要多得多。也许这本书最大的特点就是它引入了大量关于人类与机器相互作用的主题，这些主题至今仍然非常重要。这本基调灰暗的书预测了在20世纪后半叶即将发生的几种灾难，其中许多与今天人们对21世纪后半叶的预测非常相似。
例如，维纳预见到在距离1950年不远的将来，人类会将社会的控制权交给一种控制论的人工智能，这将导致对人类的严重破坏。维纳预言，生产自动化会带来产量的大幅增长，但同时也将使大批工人下岗——在接下来的几十年里，这些确实发生了。维纳警告说，除非社会能合理安置这些失去工作的工人们，否则叛乱将随之而来。
但是维纳没有预见到技术的重大发展。就像20世纪50年代的许多技术专家一样，他没有预见到计算机革命。他以为，计算机的价格会从50年代的几十万美元降到几万美元。无论是他还是那个时代的其他人，都没有预料到随着晶体管和集成电路的发展，计算机的能力会有爆发式的提高。最后，由于维纳过度强调控制，他没有预见一个技术世界的到来，在这个技术世界里，创新和自组织是从底部一点点发展而来而不是从顶部强加下来的。
维纳关注极权主义的罪恶，无论这罪恶是政治的、科学的还是宗教的，所以他以极其悲观的眼光看待世界。在书中他警告说，如果我们不尽快修好我们的道路，灾难就在等着我们。《人有人的用处》这本书出版半个多世纪以后，当前的人类和机器世界远比维纳能预见到的复杂、多样得多，这样的世界有着广泛得多的政治、社会和科学体系。但是如果我们弄错的话，如果全球的极权主义政权控制整个互联网的话，今天的灾难预警就像1950年的灾难预警一样迫在眉睫。
塞思·劳埃德（Seth Lloyd），麻省理工学院量子科技教授，圣塔菲研究所外聘研究员
维纳之英明
维纳在最著名的数学著作中，探讨的是信号分析和噪声的影响。第二次世界大战期间，他构建了一种模型，可以通过推算飞机以前的飞行行为，预测它未来的飞行轨迹，由此他开发了一种防空火力的瞄准技术。在《控制论》和《人有人的用处》两书中，维纳指出，根据飞机以往的飞行行为，甚至包括人类飞行员的怪癖和习惯，一个机械化装置可以预测人类行为。像艾伦·图灵（他在图灵测试中预言计算机对问题做出的回应，将与人类没有什么差别）一样，维纳也痴迷于用数学描述来捕捉人类行为。20世纪40年代，他把控制和反馈回路方面的知识应用到生物系统中的神经肌肉反馈中，还把沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）介绍到麻省理工学院，在那里，他们两人在人工神经网络方面做出了开创性的工作。
维纳思想的核心是从信息角度来理解这个世界。复杂系统，如生物体、大脑和人类社会，是由互锁反馈回路组成的，其中子系统之间的信号交换导致了复杂但稳定的行为。当反馈回路发生故障时，系统会变得不稳定。他构建出一幅引人注目的图景，说明了生物系统的运行机制是多么复杂。目前，世人已普遍接受了这一图景。
维纳把信息看成掌控复杂系统行为的核心，这一观点在当时相当令人瞩目。现今，当汽车和冰箱中挤满了微处理器，而人类社会的大部分都围绕着与互联网相连的计算机和手机时，强调信息、计算和通信的中心性似乎毫无新意。然而在维纳时代，第一台数字计算机才刚刚诞生，技术专家们还根本不知道互联网为何物。
维纳不仅把工程的复杂系统，还把所有的复杂系统都看成是围绕信号和计算循环来运作的，这为复杂人工系统的发展做出了巨大贡献。例如，他和其他人开发的用于控制导弹的方法，后来被应用于建造土星5号月球火箭，这是20世纪最伟大的一项工程成就。特别需要指出的是，维纳的控制论理论在大脑和计算机感知领域的应用，是当今基于神经网络的深度学习和人工智能的前身、雏形。不过，这些领域目前的发展与维纳的预见不同，它们的未来发展很可能会影响人类对人类和机器的使用。
维纳之谬误
维纳的错误就在于他把控制论的理念用到了人类身上。暂时撇开他对语言、法律和人类社会的思考，看看他认为1950年后不久将会产生的一项不起眼却非常有潜力的创新。维纳认为，如果使用假肢的人能够通过他们自己的神经信号直接与假肢沟通，从肢体接收压力和位置信息并指导其随后的运动，假肢将更有效。事实证明，这比维纳设想的要困难得多：70年后，合并神经反馈的假肢仍然处于早期阶段。维纳的理念不错，只是神经信号与机械电子设备的接口问题很难解决。
更重要的是，维纳和几乎所有生活在那个时代的其他人一样，极大地低估了数字计算的潜力。正如前面指出的那样，维纳的数学成就在于对信号和噪声的分析，他的分析方法适用于连续变化的或者说模拟的信号。虽然他参与了战时数字计算的开发，但他从未预见到半导体电路的引入和逐步小型化所带来的计算能力的爆炸性发展。我们很难将其归咎于维纳：毕竟当时晶体管还没有发明出来，他熟悉的数字计算机的真空管技术笨拙、不可靠，而且无法扩展应用到越来越大的设备中。在1948年版《控制论》的附录中，他预测了会下棋的计算机的问世，还预测到它们能够算出两到三步。然而，半个世纪后，一台计算机在国际象棋比赛中击败了世界冠军，这将会令他大为惊讶。
维纳(前排左起第4位)与清华大学电机系师生合影(1936年)
高估技术的发展和奇点的毁灭性风险
当维纳创作《控制论》《人有人的用处》这两本书时，一件著名的高估了技术的事情即将发生。在20世纪50年代，人们首次尝试开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研究人员开始设计计算机程序来完成简单任务，并建造了机器人雏形。这些最初的努力获得了成功，西蒙备受鼓舞，宣称：“20年内，机器将有能力完成一个人所能做的任何工作。”结果这一预言大错特错。随着计算机变得更强大，它们变得越来越擅长下棋，因为计算机系统可以生成许多可能的棋步，并估算这些棋步。但人们对人工智能的多数预测，例如机器人女佣，却是不切实际的。1997年的国际象棋大赛上超级计算机“深蓝”击败加里·卡斯帕罗夫（Garry Kasparov）时，最强大的清扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走灰尘，当它被困在沙发下面时会发出吱吱的叫声。
预测技术进步充满了不确定性，因为技术进步是一系列的改进过程，困难会阻碍进步，而创新则会克服困难，取得进步。许多困难以及一些创新可以被预见到，但更多的困难及创新则很难预料。我自己和实验专家合作建造量子计算机时，我常常发现，一些我以为很容易实现的技术步骤，结果却是不可能完成的；而一些我想象中不可能完成的任务却变得很容易。你不试试就永远不会知道。
20世纪50年代，冯·诺伊曼从与维纳的谈话中受到启发，引入了“技术奇点”这一概念。技术常以指数式速度不断提高，每隔一段时间其性能或灵敏度就会增加一倍。例如，自1950年以来，几乎每隔两年，计算机性能便会提升一倍，这种现象便是“摩尔定律”。冯·诺伊曼根据观察到的技术进步的指数率，断言“技术进步将变得异常迅速、复杂”，在不远的将来就会超越人类能力。事实上，如果按照现在的速度推断未来计算机的原始计算能力增长，也就是按比特率和位翻转计算，计算机应该在未来的20到40年内发展到可与人类大脑匹敌的程度，具体时间取决于如何估算人类大脑的信息处理能力。
人们最初对人工智能过于乐观的失败预测，使得在之后的几十年很少有人讨论技术奇点的话题，但是自从雷·库兹韦尔（Ray Kurzweil）2005年出版《奇点临近》（The Singularity Is Near）后，技术进步带来超级智能的想法再次回归。包括库兹韦尔在内的一些人坚信，奇点就是机遇：人类可以将他们的大脑与超级智能融合，从而永生。但还有一些人，如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的，担心它会对人类文明构成最大威胁。不过有一些人，包括本书的一些撰稿人却认为这样的说法太过夸张。
《奇点临近》，雷·库兹韦尔著，董振华、李庆成译，机械工业出版社2011年10月版
维纳毕生的事业以及他预测的失败，都与技术奇点密切相关。他在神经科学方面的研究，以及他对麦卡洛克和皮茨最初的支持，勾勒出当今极其有效的深度学习方法的轮廓。在过去的几十年里，尤其是在过去的5年，这种深度学习的技巧最终发展出维纳所称的“格式塔”能力，例如，你知道圆就是圆，即使当它倾斜看起来像一个椭圆时，你仍旧知道它就是一个圆。他对控制论的研究，以及他在神经肌肉反馈方面的研究，对于机器人的发展意义非凡，也启发了以神经为基础的人机接口研究。然而，他对技术发展的误判也表明，我们不应该完全相信技术奇点一说。预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕，不要高估信息处理的力量和效能。
如果维纳来到今天
维纳指出，科技的指数式进步是一个相对现代的现象，并不都是好的。他认为原子武器和带有核弹头的导弹是人类杀死自己的最好方法。他把对这颗星球资源的疯狂开采与《爱丽丝漫游奇境记》（Alice in Wonderland）中的疯狂茶会进行对比：我们把废物丢在身边的环境中，为了继续取得进步，只需换一个地方丢弃废物即可。维纳对计算机和神经-机械系统的发展持乐观态度，但对独裁政府对这些技术的使用却很悲观，一些国家在面临独裁主义威胁时也变得越来越独裁，这也让他无法乐观起来。
对于目前人对人的用法，维纳将有何高见？计算机和互联网的力量可能会让他大吃一惊。他参与的早期神经网络研究现已形成强大的深度学习系统，并展现出他所希冀的感知能力，这可能会让他很高兴。不过，对于计算机化格式塔的一个最突出例子，即机器能在万维网上认出小猫的照片，他可能并不感兴趣。我猜测，维纳不会认为机器智能是威胁，而会把它当作一种独立的现象，这种智能不同于我们人类的智能，而且会与人类智能共同进化。
维纳对全球变暖不会感到惊讶，这是我们这个时代的疯狂茶会。他会对替代能源技术的指数式提高表示赞赏，并将运用自己的控制论专业知识开发一套复杂的反馈回路，将这些技术整合到即将到来的智能电网中。尽管如此，当他意识到解决气候变化的问题不仅是技术问题，也是政治问题时，他无疑会对我们能否及时解决这个威胁人类文明的难题持怀疑态度。维纳讨厌骗子，尤其是政治骗子，但他也知道，骗子永远都在。
我们很容易就会忘记维纳所处的时代有多么可怕。美国和苏联展开全面军备竞赛，争相建造安装有氢弹的核弹头，将其装在洲际弹道导弹上。导弹上有导航系统，令维纳难过的是，这个导航系统就有他的功劳。1964年维纳去世时，我4岁。那时候我在上幼儿园，班里的小朋友正在练习猛然躲在课桌下以求在核武器袭击时得到掩护。想到在他的时代人对人的用法，如果他能看到我们目前的状态，他的第一反应将是放心，因为我们还活着。
作者丨塞思·劳埃德
摘编丨李永博
编辑丨张进
校对丨薛京宁
