传感器之父 人工智能导致哪些风险？控制论之父在70年前就预言了

人工智能导致哪些风险？控制论之父在70年前就预言了

作者丨塞思·劳埃德

摘编丨李永博

人工智能是今天的神话，它既可能是未来的开始，也可能成为末世的毁灭。在技术狂飙突进的时代，即使是圈内的从业者也很难获得一致的意见。被誉为“人工智能之父”的尤尔根·施米德胡贝认为人工智能终有一天会比人类更聪明，而人类也没有丝毫理由为此感到担忧。与此同时，特斯拉CEO埃隆·马斯克却在多个场合上表示要警惕人工智能。他甚至认为，人工智能的危险远远超过核弹头。

现在我们把时间稍微拉远一点。在“人工智能”这个概念出现以前，控制论正大行其道。“控制论之父”、诺伯特·维纳在1948年发表的名著《控制论》中已经对“机器能不能拥有智能”这一问题给予了正面的回答。维纳认为不仅在人类和人类社会中，在其他生物群体乃至无生命的机械世界中，都存在着同样的信息、通信、控制和反馈机制，智能行为是这套机制的外在表现，因此不仅人类，其他生物甚至是机器也同样能做出智能行为。维纳和他的控制论思想如今也被视为人工智能“行为主义学派”的奠基者。

诺伯特·维纳（Norbert Wiener）（1894—1964），美国应用数学家，控制论的创始人。

很多人不知道的是，维纳在70年前为人工智能勾画蓝图之时，也提出了自己对机器统治的担忧和警告。亲历二战岁月的维纳在《人有人的用处》中预言，依赖机器统治可能成为一种“新法西斯威胁”。这种“唱反调“让维纳在冯·诺伊曼、克劳德·香农等同事之间遭到了冷遇，他们更急于把新科技转化为商业利润。

维纳的预言在如今看来是否仍然有价值？2016年9月，来自人工智能领域内外的几十位思想家在美国华盛顿展开了一场对话，在此基础之上结集成一本书《AI的25种可能》。与会者达成的一个共识是，重新审视先驱的思想永远都有价值，很多人没有意识到自己正在执行维纳的路线图。维纳对于自动化和人工智能有着怎样的顾虑？他在70年前的预言还有现实意义吗？

下文由麻省理工学院量子科技专家塞思·劳埃德（Seth Lloyd）撰写，经授权摘自Edge网站创始人约翰·布罗克曼与多位思想家共同编著的《AI的25种可能》，有删节。

《AI的25种可能》，约翰·布罗克曼 编著，王佳音 译，湛庐文化丨浙江人民出版社2019年10月版

维纳虽然有谬误，却比以往更靠谱

诺伯特·维纳1950年出版的《人有人的用处》，是他两年前出版的那本影响深远的《控制论》的通俗版本。在《人有人的用处》中，维纳对在一个机械的运算能力变得愈发强大的世界中，人类与机械之间的相互作用进行了探讨。这是一本充满先见之明的书，同时也充满了谬误。这本书写于冷战正如火如荼之时，其中的内容让人胆战心惊，它让我们意识到极权主义组织和社会的危害，提醒我们当民主试图用极权主义的武器对抗极权主义时会对民主极为不利。

维纳在《控制论》中，以非常翔实的科学细节描写了经由反馈实现的控制过程。“控制论”（cybernetics）一词来源于古希腊语中意为“舵手”的单词，是现代词汇“管理者”（governor）的词源基础。詹姆斯·瓦特将他那开创性的反馈控制装置命名为“管理者”，这一装置改进了蒸汽机的使用方式。因为维纳沉溺于研究控制带来的各种问题，所以他将世界视为一组复杂的、互锁的反馈回路，其中传感器、信号和发动机之类的驱动器通过复杂的信号和信息交换而相互作用。控制论在工程领域的应用影响力极大且非常有效，使我们有了火箭、机器人、自动装配线，以及一系列精密工程技术，换句话说，它构成了现代工业社会的基础。

不过，维纳对控制论的理念有更大的雄心。在《人有人的用处》中，他认为这一理念可以应用到麦克斯韦妖、人类语言、大脑、昆虫新陈代谢、法律体系、技术创新对统治的作用，以及宗教之中。控制论的这些广泛应用，几乎是彻底的失败。20世纪40年代末到60年代初，人们对控制论大肆吹捧，在某种程度上就像对计算机和通信技术的过度渲染一样，而后者导致了2000年至2001年的互联网泡沫破灭。控制论确实带来了卫星和电话交换系统，但它对社会结构及整个社会没有促成什么有用的发展。

《人有人的用处》，维纳 著，陈步 译，北京大学出版社 2010年版

然而近70年后，《人有人的用处》这本书教给我们人类的却远比它刚刚出版时要多得多。也许这本书最大的特点就是它引入了大量关于人类与机器相互作用的主题，这些主题至今仍然非常重要。这本基调灰暗的书预测了在20世纪后半叶即将发生的几种灾难，其中许多与今天人们对21世纪后半叶的预测非常相似。

例如，维纳预见到在距离1950年不远的将来，人类会将社会的控制权交给一种控制论的人工智能，这将导致对人类的严重破坏。维纳预言，生产自动化会带来产量的大幅增长，但同时也将使大批工人下岗——在接下来的几十年里，这些确实发生了。维纳警告说，除非社会能合理安置这些失去工作的工人们，否则叛乱将随之而来。

但是维纳没有预见到技术的重大发展。就像20世纪50年代的许多技术专家一样，他没有预见到计算机革命。他以为，计算机的价格会从50年代的几十万美元降到几万美元。无论是他还是那个时代的其他人，都没有预料到随着晶体管和集成电路的发展，计算机的能力会有爆发式的提高。最后，由于维纳过度强调控制，他没有预见一个技术世界的到来，在这个技术世界里，创新和自组织是从底部一点点发展而来而不是从顶部强加下来的。

维纳关注极权主义的罪恶，无论这罪恶是政治的、科学的还是宗教的，所以他以极其悲观的眼光看待世界。在书中他警告说，如果我们不尽快修好我们的道路，灾难就在等着我们。《人有人的用处》这本书出版半个多世纪以后，当前的人类和机器世界远比维纳能预见到的复杂、多样得多，这样的世界有着广泛得多的政治、社会和科学体系。但是如果我们弄错的话，如果全球的极权主义政权控制整个互联网的话，今天的灾难预警就像1950年的灾难预警一样迫在眉睫。

塞思·劳埃德（Seth Lloyd），麻省理工学院量子科技教授，圣塔菲研究所外聘研究员

维纳之英明

维纳在最著名的数学著作中，探讨的是信号分析和噪声的影响。第二次世界大战期间，他构建了一种模型，可以通过推算飞机以前的飞行行为，预测它未来的飞行轨迹，由此他开发了一种防空火力的瞄准技术。在《控制论》和《人有人的用处》两书中，维纳指出，根据飞机以往的飞行行为，甚至包括人类飞行员的怪癖和习惯，一个机械化装置可以预测人类行为。像艾伦·图灵（他在图灵测试中预言计算机对问题做出的回应，将与人类没有什么差别）一样，维纳也痴迷于用数学描述来捕捉人类行为。20世纪40年代，他把控制和反馈回路方面的知识应用到生物系统中的神经肌肉反馈中，还把沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）介绍到麻省理工学院，在那里，他们两人在人工神经网络方面做出了开创性的工作。

维纳思想的核心是从信息角度来理解这个世界。复杂系统，如生物体、大脑和人类社会，是由互锁反馈回路组成的，其中子系统之间的信号交换导致了复杂但稳定的行为。当反馈回路发生故障时，系统会变得不稳定。他构建出一幅引人注目的图景，说明了生物系统的运行机制是多么复杂。目前，世人已普遍接受了这一图景。

维纳把信息看成掌控复杂系统行为的核心，这一观点在当时相当令人瞩目。现今，当汽车和冰箱中挤满了微处理器，而人类社会的大部分都围绕着与互联网相连的计算机和手机时，强调信息、计算和通信的中心性似乎毫无新意。然而在维纳时代，第一台数字计算机才刚刚诞生，技术专家们还根本不知道互联网为何物。

维纳不仅把工程的复杂系统，还把所有的复杂系统都看成是围绕信号和计算循环来运作的，这为复杂人工系统的发展做出了巨大贡献。例如，他和其他人开发的用于控制导弹的方法，后来被应用于建造土星5号月球火箭，这是20世纪最伟大的一项工程成就。特别需要指出的是，维纳的控制论理论在大脑和计算机感知领域的应用，是当今基于神经网络的深度学习和人工智能的前身、雏形。不过，这些领域目前的发展与维纳的预见不同，它们的未来发展很可能会影响人类对人类和机器的使用。

维纳之谬误

维纳的错误就在于他把控制论的理念用到了人类身上。暂时撇开他对语言、法律和人类社会的思考，看看他认为1950年后不久将会产生的一项不起眼却非常有潜力的创新。维纳认为，如果使用假肢的人能够通过他们自己的神经信号直接与假肢沟通，从肢体接收压力和位置信息并指导其随后的运动，假肢将更有效。事实证明，这比维纳设想的要困难得多：70年后，合并神经反馈的假肢仍然处于早期阶段。维纳的理念不错，只是神经信号与机械电子设备的接口问题很难解决。

更重要的是，维纳和几乎所有生活在那个时代的其他人一样，极大地低估了数字计算的潜力。正如前面指出的那样，维纳的数学成就在于对信号和噪声的分析，他的分析方法适用于连续变化的或者说模拟的信号。虽然他参与了战时数字计算的开发，但他从未预见到半导体电路的引入和逐步小型化所带来的计算能力的爆炸性发展。我们很难将其归咎于维纳：毕竟当时晶体管还没有发明出来，他熟悉的数字计算机的真空管技术笨拙、不可靠，而且无法扩展应用到越来越大的设备中。在1948年版《控制论》的附录中，他预测了会下棋的计算机的问世，还预测到它们能够算出两到三步。然而，半个世纪后，一台计算机在国际象棋比赛中击败了世界冠军，这将会令他大为惊讶。

维纳(前排左起第4位)与清华大学电机系师生合影(1936年)

高估技术的发展和奇点的毁灭性风险

当维纳创作《控制论》《人有人的用处》这两本书时，一件著名的高估了技术的事情即将发生。在20世纪50年代，人们首次尝试开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研究人员开始设计计算机程序来完成简单任务，并建造了机器人雏形。这些最初的努力获得了成功，西蒙备受鼓舞，宣称：“20年内，机器将有能力完成一个人所能做的任何工作。”结果这一预言大错特错。随着计算机变得更强大，它们变得越来越擅长下棋，因为计算机系统可以生成许多可能的棋步，并估算这些棋步。但人们对人工智能的多数预测，例如机器人女佣，却是不切实际的。1997年的国际象棋大赛上超级计算机“深蓝”击败加里·卡斯帕罗夫（Garry Kasparov）时，最强大的清扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走灰尘，当它被困在沙发下面时会发出吱吱的叫声。

预测技术进步充满了不确定性，因为技术进步是一系列的改进过程，困难会阻碍进步，而创新则会克服困难，取得进步。许多困难以及一些创新可以被预见到，但更多的困难及创新则很难预料。我自己和实验专家合作建造量子计算机时，我常常发现，一些我以为很容易实现的技术步骤，结果却是不可能完成的；而一些我想象中不可能完成的任务却变得很容易。你不试试就永远不会知道。

20世纪50年代，冯·诺伊曼从与维纳的谈话中受到启发，引入了“技术奇点”这一概念。技术常以指数式速度不断提高，每隔一段时间其性能或灵敏度就会增加一倍。例如，自1950年以来，几乎每隔两年，计算机性能便会提升一倍，这种现象便是“摩尔定律”。冯·诺伊曼根据观察到的技术进步的指数率，断言“技术进步将变得异常迅速、复杂”，在不远的将来就会超越人类能力。事实上，如果按照现在的速度推断未来计算机的原始计算能力增长，也就是按比特率和位翻转计算，计算机应该在未来的20到40年内发展到可与人类大脑匹敌的程度，具体时间取决于如何估算人类大脑的信息处理能力。

人们最初对人工智能过于乐观的失败预测，使得在之后的几十年很少有人讨论技术奇点的话题，但是自从雷·库兹韦尔（Ray Kurzweil）2005年出版《奇点临近》（The Singularity Is Near）后，技术进步带来超级智能的想法再次回归。包括库兹韦尔在内的一些人坚信，奇点就是机遇：人类可以将他们的大脑与超级智能融合，从而永生。但还有一些人，如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的，担心它会对人类文明构成最大威胁。不过有一些人，包括本书的一些撰稿人却认为这样的说法太过夸张。

《奇点临近》，雷·库兹韦尔 著，董振华、李庆成 译，机械工业出版社2011年10月版

维纳毕生的事业以及他预测的失败，都与技术奇点密切相关。他在神经科学方面的研究，以及他对麦卡洛克和皮茨最初的支持，勾勒出当今极其有效的深度学习方法的轮廓。在过去的几十年里，尤其是在过去的5年，这种深度学习的技巧最终发展出维纳所称的“格式塔”能力，例如，你知道圆就是圆，即使当它倾斜看起来像一个椭圆时，你仍旧知道它就是一个圆。他对控制论的研究，以及他在神经肌肉反馈方面的研究，对于机器人的发展意义非凡，也启发了以神经为基础的人机接口研究。然而，他对技术发展的误判也表明，我们不应该完全相信技术奇点一说。预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕，不要高估信息处理的力量和效能。

如果维纳来到今天

维纳指出，科技的指数式进步是一个相对现代的现象，并不都是好的。他认为原子武器和带有核弹头的导弹是人类杀死自己的最好方法。他把对这颗星球资源的疯狂开采与《爱丽丝漫游奇境记》（Alice in Wonderland）中的疯狂茶会进行对比：我们把废物丢在身边的环境中，为了继续取得进步，只需换一个地方丢弃废物即可。维纳对计算机和神经-机械系统的发展持乐观态度，但对独裁政府对这些技术的使用却很悲观，一些国家在面临独裁主义威胁时也变得越来越独裁，这也让他无法乐观起来。

对于目前人对人的用法，维纳将有何高见？计算机和互联网的力量可能会让他大吃一惊。他参与的早期神经网络研究现已形成强大的深度学习系统，并展现出他所希冀的感知能力，这可能会让他很高兴。不过，对于计算机化格式塔的一个最突出例子，即机器能在万维网上认出小猫的照片，他可能并不感兴趣。我猜测，维纳不会认为机器智能是威胁，而会把它当作一种独立的现象，这种智能不同于我们人类的智能，而且会与人类智能共同进化。

维纳对全球变暖不会感到惊讶，这是我们这个时代的疯狂茶会。他会对替代能源技术的指数式提高表示赞赏，并将运用自己的控制论专业知识开发一套复杂的反馈回路，将这些技术整合到即将到来的智能电网中。尽管如此，当他意识到解决气候变化的问题不仅是技术问题，也是政治问题时，他无疑会对我们能否及时解决这个威胁人类文明的难题持怀疑态度。维纳讨厌骗子，尤其是政治骗子，但他也知道，骗子永远都在。

我们很容易就会忘记维纳所处的时代有多么可怕。美国和苏联展开全面军备竞赛，争相建造安装有氢弹的核弹头，将其装在洲际弹道导弹上。导弹上有导航系统，令维纳难过的是，这个导航系统就有他的功劳。1964年维纳去世时，我4岁。那时候我在上幼儿园，班里的小朋友正在练习猛然躲在课桌下以求在核武器袭击时得到掩护。想到在他的时代人对人的用法，如果他能看到我们目前的状态，他的第一反应将是放心，因为我们还活着。

编辑丨张进

校对丨薛京宁

“大数据之父”谈智慧城市：无直接数据如何找到适当替代数据

澎湃新闻记者 张静

7月8日，2021世界人工智能大会在上海开幕。“大数据之父”、牛津大学网络学院互联网治理与监管专业教授舍恩伯格(Viktor Mayer-Schönberger) 通过视频表示，智慧城市的核心不在于某一项具体技术或数据基础设施，虽然智慧城市需要这些，但智慧城市的核心在于做出更好的决策，其基础就在于有丰富多样的数据，它需要的远不止技术上的进步，更需要组织和机制上的创新和进步。如果没有直接数据，挑战就是要找到适当的替代数据，以间接方式来收集数据，并且进行复杂的数据分析，根据这些替代数据进行推论。

舍恩伯格介绍了数据驱动智慧城市发展的两个前沿洞察。

截至2020年，全球半数以上人口居住在城市或城镇区域，这是人类发展史上重要的里程碑。不过城市化在发展中也面临压力，人们不仅希望城市是宜居的，同时也希望城市能发展得更好，他们希望城市有良好的管理和治理体系，不仅要对居民的要求有所回应为，而且要未雨绸缪。这正是智慧城市概念所给出的承诺。

城市管理者的决策要基于事实，基于不断发展的城市生活的真实情况。但收集相关数据非常困难，而分析这些丰富的数据，以便从中总结出可以付诸实践的选项也同样困难。

不过，得益于数字技术的进步，现在可以使用廉价的传感器和大量数字设备，从智能手机到耳机、从汽车到行车记录仪、从无人机到智能电表不一而足。它们每天都在收集丰富多样的数字数据，通过汇总和使用部分像这样的数据，城市管理者有机会把决策建立在远胜于从前经验分析的基础上。

舍恩伯格表示，智慧城市的核心不在于某一项具体技术或数据基础设施，虽然智慧城市需要这些，但智慧城市的核心在于做出更好的决策，其基础就在于有丰富多样的数据，它需要的远不止技术上的进步，更需要组织和机制上的创新和进步。

以谷歌为例，谷歌试图把它最新的智慧城市理念应用到加拿大多伦多，但在投入了多年精力和大量资金后以惨败告终。所有参与这一计划的人出发点都是好的，谷歌想要展示它的技术应用经验，这些经验可以扩展到城市数据基础设施中，多伦多市政府希望启动一个一流的城市更新计划。

但最终参与的组织和机构却没有办法合作制定出一个所有人都能相信并为之努力的目标，这一计划集合的硬实力和软实力也全部都不够，各方的妥协和劝说也有所欠缺，参与各方无法达成足够的共识，为共同的未来制定和维持共同的目标。

这次失败也让人认识到，智慧城市的发展要想成功，需要的不仅仅是优秀的理念和适合的技术。即使一座城市拥有数据基础设施，如果数据不能够驱动决策，参与方普遍犹豫不决、互不信任，那么智能化的发展不会成功。

舍恩伯格认为，想要成功，就要管理好人员参与流程，尽可能让相关人员尽早参与进来，并让他们参与整个过程，以便智慧城市的概念得到公众信任，只有这样智慧城市的社会可持续性才能够有所保障。

智慧城市的发展还有另一个难题，虽然现在全球人口有一半以上居住在城镇区域，但更多人是住在人口不足50万的城市中。大城市的发展速度比小城市要快，但小城市的数量却远远超过了大城市，而且居住在小城市中的居民更多。

这就意味着，智慧城市的概念不能只适用于大城市、一线城市。要真正产生影响，智慧城市的概念必须而且尤其要适用于小城市。但由于小城市资源有限，执行经验也不多，这就成了一个挑战。

“我们需要一批有意愿的小城市的管理者在做决策时是基于事实。”舍恩伯格说，而不是根深蒂固的直觉。困惑决策者和专家的不是哪种技术能够帮助小城市发展为成功的智慧城市，而是哪些组织和体制上的创新是必要的，以及什么才是最佳的执行方案。

舍恩伯格的第二个前沿洞察是，我们到底需要哪些数据才能使得智慧城市的概念行之有效，同时知道怎样妥善使用间接的方法来收集这些数据。

以公共交通为例，在一个成功的智慧城市中，决策者需要知道居民使用各条轨道交通和公交车线路的频次和时间。但在全球城市中，像这样的数据其实是无法获得的。人们可能会留下一些数据线索，比如什么时候进入地铁站，什么时候出地铁站，但不知道他们具体坐了哪条线路。同样，人们从轨道交通系统转到公交车时，数据就会丢失，出现数据盲区，导致不良决策。

所以如果没有直接数据，我们所面临的挑战就是要找到适当的替代数据，以间接方式来收集数据，并且进行复杂的数据分析，根据这些替代数据进行推论。

比如，地铁轨道和其他火车铁轨一样，用了一段时间后会变得高低不平，需要重新平整。但要找到最需要重新平整的轨道点，就需要在夜间缓慢驾驶一辆专用轨道车，通过感应磁场测量高度变化。

欧洲一家公共交通企业的工程师发现，普通智能手机中的振动传感器所收集的数据，在经过了复杂的图形分析后，就可以当作代理数据来使用。

于是他们编写了一款免费的智能手机游戏软件，游戏后台会收集震动数据和位置数据，鼓励乘客在乘坐地铁时玩这款游戏。这个方法奏效了，他们不再需要使用昂贵、费时的特别磁场加载过程，这就是间接数据。

舍恩伯格表示，复杂应用的最前沿是依靠通常而言复杂的模式识别和深度学习的方法来找到可能有用的代理数据，这通常不太需要特别新颖的技术，而是更加依靠创新理念和突破性的思考，它的线性工程属性较少，更多依赖的是创意思考，因此它的执行难度会更大。

“随着全球各地试点智慧城市，人们开始更好理解我们所面临的真正的挑战，需要的硬件和软件在减少，但需要更多的组织和思维创新。”

舍恩伯格并不认为全球城市发展需要基于草率决策的智障的城市，“我们需要的是发展智能城市的概念，使其不再局限于数据基础设施这样一个狭隘的观点中，只有这样才能够获得成功。”

责任编辑：李跃群

校对：栾梦

相关问答

有“传感器之父”称号的是布里泽克。创立了7家传感器企业的布里泽克正在进行一项雄心勃勃的计划,打造一个打造一个一万亿传感器的社会。这相当于全世界平均每...

[回答]《电子课程设计》课程简介课程名称电子课程设计课程编号03s009课程英文名称:课程性质必修学时/学分1周/1适用专业自、电、通...

中国第一个发明机械人的是中国人古代机器人机器人一词的出现和世界上第一台工业机器人的问世都是近几十年的事。然而人们对机器人的幻想与追求却已有3000多...

大多数人都会认为是乔布斯,其实不然,是他将触屏手机重新定义,发扬光大。其实触屏手机是山姆.赫斯特(SamuelHurst)发明的。1971年,在美国一所大学...三年后,19...

随着计算机技术尤其是计算机图形技术的发展,这种模拟器又发展为大屏幕显示器和全景式情景产生器。1965年,IvanSutherland(被称为计算机图形学之父)发表论文...

第一台工业机器人诞生于1959年,那是一台用于压铸的五轴液压驱动机器人,手臂的控制由一台计算机完成。它采用了分离式固体数控元件,并装有存储信息的磁鼓,能够...

第一个发明制造机器人的是谁?发明第一台机器人的正是享有“机器人之父”美誉的恩格尔伯格先生。恩格尔伯格是世界上最著名的机器人专家之一,1958年他建立了Un...

爱特梅尔半导体成立于1984年,总部位于美国。是世界上高级半导体产品设计、制造和行销的领先者,产品包括了微处理器、可编程逻辑器件、非易失性存储器、安全芯...

在首款智能机上市几年后,Android之父的智能手机初创企业Essential最终还是关门大吉。尽管所有未来项目都已被砍,但一位名叫KevinHoffman的设计师,还是...

1969年人类就登上了月球,证明登月是一个可以实现的目标。但是五十年过去了,为什么不能用今天的先进技术轻易地重复50年前的成功呢。简而言之,孕育阿波罗登月...