我们是如何被代码所统治的

本文来自微信公众号：底层设计师（ID：Bottom-upDesigner），作者：胡泳（北京大学新闻与传播学院教授），题图来自：《监视资本主义：智能陷阱》

代码：当今世界的神奇渊源

有关艾伦·图灵（Alan Turing）的历史剧情片《模仿游戏》（The Imitation Game）中，看到那台名叫克里斯托弗的机器破解Enigma那一瞬，忍不住热泪盈眶。有时候，被世界所遗弃的人，才能成就意想不到的大事。

影片最后在一段画外音中结束：“他的机器从来没有臻于完美，但它导致了一整套有关‘图灵机’的研究。今天我们把这样的机器叫做‘电脑’。”

从镰刀到蒸汽机，人类总是企图利用技术控制我们周边的世界。然而，要说到对环境的塑造，恐怕没有哪一种机器比电脑更有力。而令电脑如此强有力的东西是代码。

代码，简单地说，是一套由单词和数字组成的规则或者指令。把这些单词或者数字按照合适的顺序排列，就可以命令电脑为人类做事情。可编程的代码千变万化、极其灵活，无论是游戏还是太空飞船都能指挥自如。个体的天才创造力、被需要所驱使的发明以及人类了不起的想象，共同造就了代码。

从远古时代，人类就开始把玩代码。但里程碑是德国数学家莱布尼茨（Leibniz）用简单的0和1造就的“具有世界普遍性的、最完美的逻辑语言”。目前在德国图林根，著名的郭塔王宫图书馆（Schlossbibliothek zu Gotha）内仍保存一份莱氏的手稿，标题写着：“1与0，一切数字的神奇渊源。”今天所有计算的基础都来自二进制。

在莱布尼茨发明二进制一个世纪之后，法国织机工匠约瑟夫·雅卡尔（Joseph Jacquard）在他发明的自动蒸汽动力织布机上，考虑一种由一组卡片控制的装置来机械地织出任何纹样。该控制装置由硬打孔卡和吊钩组成。每个孔的位置对应一根经线，根据打孔或不打孔决定提起或不提起经线，并交织一次。不同的打孔卡会令织机织出不同的花纹，因而，卡片构成了对织机的指令——这和现代计算机程序的工作方式完全一致。

英国数学家查尔斯·巴贝奇（Charles Babbage）认为同样的打孔卡可以用来输入数字，以及有关如何处理这些数字的指令，因而创造了世界上第一台通用的计算机器。

他的工作成就了世界上第一位程序员，她是位女性，而且是拜伦（Lord Byron）之女。埃达·洛夫雷斯（Ada Lovelace）是位数学家，也是穿孔机程序创始人。她建立了循环和子程序概念，为计算程序拟定“算法”，写作了第一份“程序设计流程图”。在1843年发表的一篇论文里，埃达认为机器今后有可能编曲、制图和实现各种更复杂的用途，这是十分大胆的预见。

19世纪末，美国的人口普查造成了一个管理上的噩梦：不得不用8年时间手工输入每个公民的资料。人口普查部门的一位职员赫曼·霍勒瑞斯（Herman Hollerith）想出了一个解决办法：把每个人的资料以编码方式输入穿孔卡中，利用新的电力技术把一排排针压入卡片，将形成的电路予以记录。

霍勒瑞斯将自己的发明商业化，日后发展为赫赫有名的电脑公司IBM。如果说图灵生后享有“计算机科学之父”和“人工智能之父”的美誉，可以说，霍勒瑞斯就是“大数据之父”。

1971年，英特尔公司发布世界上第一枚商用芯片；加州硅谷的家酿电脑俱乐部（Homebrew Computer Club）里那些狂热的爱好者们很快围绕芯片开始开发软件和打造个人计算机。

史蒂夫·沃兹尼亚克（Steve Wozniak）开发了第一代苹果电脑，而同时代的比尔·盖茨（Bill Gates）则开创了软件产业。

随后，电脑在创意产业、金融产业、制造业和科研领域等一路攻城略地。直到1990年代，人们又把个人电脑联结成网，电脑终于不仅仅被视为完成指定任务的工具，也成为分享和协作的利器。再往下的故事，搜索引擎、社交媒体、移动互联等，我们毋需多言了。

就像17世纪的农民、18~19世纪工业革命时期的工人、二战以后崛起的办公室白领一样，程序员渐渐成为下一个大规模职业。

编程的终结与机器学习的兴起

由于计算机的飞速发展，编程的要求和种类也日趋多样，由此产生了不同种类的程序设计员，每一种都有更细致的分工和任务。现今，程序设计员可以指某一领域的编程专家，也可以泛指软件公司里编写一个复杂软件系统里某一块的一般程序员。

与此同时，程序自身也在变化。

在计算机发明之前，大多数实验心理学家认为大脑是一个不可知的黑匣子。不错，我们可以分析对象的行为——打铃，狗就会分泌唾液，但是思想、记忆、情感？这些东西晦涩难懂，超出了科学的范围。

因此，这些自称的行为主义者，将他们的工作局限于对刺激和反应、反馈和强化、铃声和唾液的研究。他们放弃了去尝试了解大脑的内部运作，统治了这个领域四十年。

然后，在1950年代中期，一群叛逆的心理学家、语言学家、信息理论家和早期的人工智能研究者对大脑提出了不同的理解。他们认为，人不仅仅是条件反应的集合。

他们吸收信息，对其进行处理，然后据其采取行动。他们拥有一个用于写入、存储和调动记忆的系统。他们通过逻辑形式语法进行操作。一言以蔽之，大脑根本不是黑匣子，而更像是一台计算机。

所谓的认知革命起步甚微，但是随着计算机成为心理学实验室的标准设备，上述想法获得了更广泛的接受。到1970年代后期，认知心理学已经推翻了行为主义，随着新范式的出现，我们拥有了一种谈论心智生活的全新语言。

心理学家开始将思想描述为程序，普通人谈论将事实存储在他们的记忆库中，而管理专家则对现代工作场所中的心智带宽和处理能力的局限感到担忧。

这个故事不过是上一次心智革命的重复。随着数字革命席卷我们生活的各个方面，它也渗入了我们的语言，以及我们关于事物运作方式的更深的、更基础的理论。技术总是这样做的。

在启蒙运动中，牛顿（Isaac Newton）和笛卡尔（René Descartes）启发了人们将宇宙视为一架精致的时钟。在工业时代，宇宙成了带有活塞的机器——就连弗洛伊德（Sigmund Freud）的心理动力学思想也是从蒸汽机的热力学中借来的。而到了今天，宇宙变成了一台计算机。

仔细考虑这一点，会发现它是一个从根本上让我们变得更强大的想法。因为，假如世界是一台计算机，那么人就可以对世界进行编码。

代码是合乎逻辑的。代码是可以入侵的。代码即命运。这些构成了数字时代生活的核心原则，也是自我实现的预言。

随着软件吞噬了世界（风险资本家马克·安迪森语），我们已经让机器环绕我们自身，这些机器将我们的行为、思想和情感转换为数据，汇聚的原材料可供大量使用代码的工程师操纵。

我们已经将生命本身看作是由一系列可以被发现、利用、优化甚至重写的指令所控制的东西。

公司使用代码来了解我们最亲密的关系；Facebook的马克·扎克伯格（Mark Zuckerberg）甚至暗示可能存在“一种基本的数学法则，它决定着人与人之间的关系，而这些人与人的关系又支配着我们所有人挂念谁和关心什么”。

2013年，克雷格·文特（Craig Venter）宣布，在对人类基因组进行解码的十年后，他开始编写允许他创建合成生物的代码。

文特说：“越来越明显，我们在这个星球上知道的所有活细胞都是由DNA软件驱动的生物机器。蛋白质机器人执行着经过数十亿年的进化软件的变化而发展出来的精确生化功能。”

甚至连励志书都坚持说你可以破解自己的源代码，对爱情生活、睡眠常态和消费习惯进行重新编码。

在这个世界上，编写代码的能力已不仅成为一种必不可少的技能，而且还成为一种授予内部人身份的语言。他们可以使用在更机械的时代被称为力量杠杆的东西。

未来学家马克·古德曼（Marc Goodman）写道：“如果你控制了代码，就可以控制整个世界。这就是等待我们的未来。”在《彭博商业周刊》上，保罗·福特（Paul Ford）说得稍微谨慎一些：“就算程序员不控制世界，那他们也运行着运行世界的东西。”

你不是编程精英，可能连手机设置也搞不好，那么，是不是就只有被统治的份了？切莫慌张。我们的机器现在开始说另一种语言，即使是最好的程序员也无法完全理解。

在过去几年中，最大的科技公司都在积极推行一种被称为“机器学习”的计算方法。在传统编程里，工程师编写明确的分步说明供计算机遵循。

而到了机器学习阶段，程序员无需使用指令对计算机进行编码，而是训练计算机。比如，如果你想教一个神经网络来识别猫，不是告诉它寻找腮须、耳朵、毛皮和眼睛，而是向它展示成千上万张猫的照片，最终它就能解决问题。万一它将狐狸错误地归类为猫了，怎么办？要是过去，程序员就需要重写代码。而现在，你坚持继续训练。

这种方法并非刚刚开始，只是最近变得更加强大，这在一定程度上要归功于深度神经网络的兴起，大规模分布的计算系统模仿了大脑中神经元的多层连接。

也许你还没有意识到，机器学习已经在为我们的在线活动提供各种强大的支持。Facebook用它来确定新闻中出现哪些故事，Uber用它来实现拼车，而Google Photos用它来识别面孔。机器学习运行微软的Skype翻译器，可将语音实时转换为不同的语言。自动驾驶汽车利用机器学习来避免发生事故。甚至连Google的搜索引擎（多年来一直是人工编写规则的重镇）也开始依赖于这样的深度神经网络。

2016年2月，该公司起用机器学习专家约翰·詹南德雷亚（John Giannandrea）出任搜索主管，并启动了一项重大计划，对其工程师进行新技术的再培训。秋天，他告诉记者：“通过建立学习系统，我们不再需要编写这些规则了。”

然而这正是问题：依靠机器学习，工程师永远无法确切地知道计算机是如何完成任务的。神经网络的操作在很大程度上是不透明和难以理解的。

换句话说——你猜对了——它是一只黑匣子（就像行为主义心理学家眼中的大脑）。随着这些黑匣子承担着越来越多的日常数字任务的责任，它们不仅将改变我们与技术的关系，还将改变我们对自己、我们的世界以及我们在其中的位置的看法。

从上帝到训狗师

《连线》杂志网站总监杰森·坦兹（Jason Tanz）写道：“从旧的角度看，程序员就像上帝，制定着着控制计算机系统的法律。而现在，他们就像父母或驯狗师。正如任何父母或者狗的主人可以告诉你的那样，他们由此就陷入了一种神秘得多的关系。”

不仅训练的性质是神秘的，连结果也是神秘的。

这意味着编程的结束、AI的开始。当工程师探究深度神经网络时，他们窥见的是数学的海洋：大量的多层微积分问题，通过不断推导数十亿个数据点之间的关系，可以得出有关世界的猜测。

神经网络没有符号或规则，只有数字。这让很多人感到疏离。然而，不可解析的机器语言的含义不只是哲学上的。

在过去的二十年中，学习编码一直是获得可靠就业的最确定途径之一。对于所有将孩子在课后赶到编程班的父母来说，他们是在为孩子的未来打算。

现在，由擅长深度学习的神经网络运行的世界将需要不同的劳动力。由于机器使旧技能变得无关紧要，分析师早就开始担心AI对就业市场的影响，预计程序员用不了多久就会体会到睡不着觉的感觉。由此，工程师的定义也将被改写。

当然，仍然必须有人训练这些系统。但至少现在，这还是一项稀缺的技能。它既需要对数学的高度理解，也需要对教学的输入输出具备直觉。

谷歌的DeepMind AI团队负责人德米斯·哈萨比斯（Demis Hassabis）说：“它几乎像一种艺术形式，即怎么把这些系统最大程度地动用起来。世界上只有数百人可以做到这一点。”然而就是这么少的一些人，已足以在短短几年内改变技术行业。

无论这种转变的专业意义如何，其文化后果将会更大。如果人工编写软件的兴起引发了我们对工程师的热爱，并且人们最终可以将人类经验简化为一系列可理解的指令，那么，机器学习将朝着相反的方向发展。运行宇宙的代码可能逃脱人类的了解。

举一个小小的例子：当Google在欧洲面临一项反托拉斯调查、指控该公司对其搜索结果施加不当影响时，这样的指控将很难被坐实，因为就连公司自己的工程师也无法确切说明其搜索算法的工作方式。

将会产生一种不确定性的大爆炸。事实证明，哪怕简单的算法也可以促发不可预测的紧急行为，混沌理论正是这么认为的。

在过去几年中，随着网络越来越紧密地交织在一起，其功能也越来越复杂，代码似乎变得日益像一股外来力量，机器中的幽灵渐趋难以捉摸和不可控制。

集发明家、创业家和科学家于一身的丹尼·希利斯（Danny Hillis）在《设计与科学杂志》上写道：“随着我们的技术和制度创新变得越来越复杂，我们与它们之间的关系也发生了变化。”“我们没有成为我们的创造物的主人，而是学会了与它们讨价还价，哄骗和指导它们朝着我们目标的总体方向发展。我们建立了自己的丛林，而这丛林拥属于自身的生命。”机器学习的兴起是这一旅程的最新、也许是最后的一步。

这一切都可能令人恐惧。毕竟，编码至少是普通人可以想象的在训练营中习得的东西，而程序员至少是人类。现在，技术精英的规模甚至走向更小，而他们对自己的造物的命令已经减弱，且变得间接。那些制造这些东西的公司已然发现它们的行为方式难以治理。

2015年夏天，当Google的照片识别引擎开始将黑人的图像标记为大猩猩时，公司赶忙道歉。一开始它最直接的解决办法是防止系统将任何东西标记为大猩猩。然后，公司表示，围绕着哪些标签可能出问题，它正在着手研究长期的修复办法，希望能够做到更好地识别深色皮肤的脸部。

三年以后，Google没有取得任何进展。它完全阻止了其图像识别算法去识别大猩猩——为了不冒错误分类的风险，主动限制了自己的服务。

《连线》杂志还发现，Google也限制其他种族类别的AI识别。例如，搜索“黑人”或“黑人妇女”只会返回按性别分类的黑白照片，而不按种族分类。

另一起知名的事件是微软的聊天机器人Tay。该机器人2016年3月23日推出，面向18至24岁的青少年。微软希望能通过这款机器人更好地了解年轻人使用的随意性和戏谑性的网络交流语言。然而，发布仅24小时后，微软似乎开始编辑Tay发出的那些具有煽动性的评论。

原因是，Tay上线仅几个小时，推特用户们便开始对其算法中存在的缺陷加以利用，导致它在回答一些特定问题时带上了种族主义色彩，如使用种族侮辱用语，支持白人至上主义和种族灭绝政策等。

“人工智能聊天机器人Tay是一项机器学习计划，专为与人类交流而设计。”微软的一名发言人说。“在它学习的过程中，它发表了一些不合适的言论，能够反映出人们都和它进行了怎样的互动。我们目前正在对Tay进行一些调整。”

随后，关注者质疑为什么“她”的某些推文看上去正在被编辑，从而促成了一场#justicefortay运动，要求软件巨头让AI“为自己学习”。微软关闭了Tay，一年以后推出Zo。Zo几乎立刻就因为有意规避潜在的攻击性话题而引入的算法偏见饱受批评。

例如，Zo拒绝谈论中东、《古兰经》或《摩西五经》，无论是正面的、负面的还是中立的，但可以讨论基督教。

克洛伊·罗丝·斯图尔特-乌林（Chloe Rose Stuart-Ulin）在Quartz的一篇文章中揭露了这些偏见，她说：“Zo的政治正确走到了一个糟糕的极端；一旦触发那些可能的诱因，她就会变成一个武断的小混蛋。”作者说，政治正确的机器人比种族主义的机器人更可憎。

2019年，Zo也被微软关闭。像Google的图片识别程序和微软的聊天机器人所显示的，试图建立跨世界的算法，对硅谷的自我隔绝的文化而言，并非一出bug就寻求快速修复那样简单。

一些科技领域的顶尖思考者和实践者相信，这一切都预示着我们将迎来一个人类放弃对机器的权威的时代。史蒂芬·霍金（Stephen Hawking）写道：“人们可以想象，这样的技术将智胜金融市场，比人类研究者更具发明力，比人类领导人还多操控术，并开发出我们甚至无法理解的武器。”

埃隆·马斯克（Elon Musk）和比尔·盖茨等都对此表示赞同。霍金和其他三位科学家在《独立报》上写道：“尽管人工智能的短期影响取决于谁来控制，但长期影响取决于是否可以完全控制它。”

本文来自微信公众号：底层设计师（ID：Bottom-upDesigner），作者：胡泳（北京大学新闻与传播学院教授）