亚马逊外包平台的50万劳工：人工智能的背后，无尽数据集的建造

雷锋网按：

谷歌刚刚开源的Google Open Image Datasets中含有900万张图片，Youtube-8M中包含了800万段被标记的视频，而ImageNet作为最早的图片数据集，目前已有超过1400万张被分类的图片。这些精心标记的数据，大部分是由亚马逊劳务外包平台”Amazon Mechanical Turk“（以下简称”AMT“）上5万名人员花费2年时间完成的。

深度学习、人工智能崛起的背后，是庞大的计算设施源源不断地吞噬数据。那么是谁建造了一个个规模惊人、又按规则精心标记的数据集呢？AMT上活跃着的50万注册用户。这些分布在全球各地的工人们，昼夜交替，对数据进行手工输入、分类，区分出下一张照片中是否有“狗”，辨别语句中的“bass”到底是低音还是鲈鱼。这些任务并不具备特别的挑战，却时常需要他们时时待命。

当人类变成投喂机器的流水线工人，亚马逊AMT也顺势成为AI时代的富士康。

亚马逊的劳务众包平台”AMT“与亚马逊的云服务一样，都是应自身需求建立，之后逐步对外开放，演变成新的行业。这个平台上今天拥有50万的注册用户，其中75%来自美国。这些合同工们做着听起来高大上的工作——训练人工智能系统，但是他们的收入并不比富士康的工人高多少。

本文来自TechRepublic，作者Hope Reese&Nick Heath，雷锋网(公众号：雷锋网)编译，未经许可不得转载。

Image: Sam Santos / George Pimentel Photography

每天早上，居住在多伦多的Kristy Milland醒来第一件事就是打开她的电脑，登录AMT平台，然后等待电脑提示音响起。

亚马逊的AMT系统源于2005年，如今推出已有10年历史。它是一个在线劳务外包平台。在那里，你可以领到零星的劳务单子，并借此获得报酬。

Milland正在系统上搜寻刚刚发布的工单，或者称为“Hits”，当有工单跟她当前的评级匹配时，系统就会自动向她发出提醒。“这些提醒每隔一分钟一次，我会停下手头的事，看看这是不是一个好活，然后决定是否要接。“

“有时候，系统上的活来了，如果正好赶上午饭，或者我约了医生，或者要出去遛狗，我都会暂时放下，先做完工作。我已经离不开我的电脑了。因为我需要靠它来养活我的孩子，一步也不能走开。”Milland说。

这份工作她已经坚持了11年。

Milland只是50万名在AMT系统上领取工单的手工劳动者（他们称之为“Turker”）之一。据纽约大学教授Panos Ipeirotis的估算，在全球范围内AMT上的每月活跃的Turker在15000至20000人之间，有的人每天只工作几分钟，有的人每天则24小时不眠不休。

谁是“Turker”？2016年10月份的数据显示，在美国，大部分的Turker是女性；而在印度，大部分的Turker则是男性。全球大部分Turker都是在1980年到1990年之间出生。

Image: Erik Underwood / TechRepublic

AMT萌芽的年代

劳务的发布者享有给每个工单定价的权利。这些劳务工单的内容各异，包括但不限于：

• 数据分类（data categorization）

• 元数据标记（metadata tagging）

• 字符识别（character recognition）

• 数据输入（data entry）

• 收集邮件地址（email harvesting）

• 情感分析（sentiment analysis）

• 视频的广告展示位（ad placement on videos）

比如，Milland最近接下的一个任务就是转录收据内容（转录一份收据报酬是3美分），之后发布任务的公司会将收据的电子信息卖给像强生、宝洁这样公司的营销研究部门。

Milland称自己是数字时代的原住民。她青春期的大部分时光都是在网络上度过的，从那时候开始，她常常通过eBay之类的平台来获得一些额外的收入。2005年的一天，当她读到一篇关于AMT的文章时，一份点击鼠标就能赚钱的工作对她颇具吸引力。

不过，在早些时候，Milland仅仅是将其看成一项新鲜的尝试，而不是一份真正的工作。但一切在2008 – 2009年的时候发生了变化：Milland和她的丈夫同时失业，她开始把AMT当成全职的工作。这意味着每周7天，每天17个小时，不停地盯住屏幕。

住在洛杉矶的Rochelle Laplante自2012年开始就在AMT上全职工作。他和Milland一样，都认为这份工作存在很多不确定性：“你永远不知道下一单的任务会在什么时候发布，也许是在凌晨3点，但早上9点的时候肯定是没活的。”

“我不像一些人那么拼命，我比较注重睡眠。”LaPlante说，”有些人会给自己的手机和电脑都设置提醒。如果一份工作在凌晨3点发布，他们也会起床干活。这份工作已经完全地控制了他们。“

而Turkers的平均收入大概是多少呢？这因人而异。来自印度的Adrien Jabbour说：“如果每天工作4 – 5个小时，那么2个月大概能赚到700美元。”Milland却说最近工作8个小时才能赚25美元，这还是好的时候。根据Pew Research的一份研究报告，超过一半的Turkers的时薪都没有达到美国联邦最低7.25美元的标准。

上图是Milland的收入表。“Submitted”表示工作已经提交但是还没被确认。“Approved”表示已经支付过了。“Rejected”表示雇主对工作的结果不满，不会支付酬劳。

手工劳动者的等级制度

对那些在AMT上工作的人来说，他们不得不面对令人沮丧的现实：不是所有的Turkers都是平等的。

亚马逊的系统会给一些特定的人员评级：“大师级（Master's Level）”。当雇主发布劳务需求时，系统会自动将工作优先分给“大师级”的这类人。对于任务的发布者来说，成本更高，劳务者的收入也因此更高。而如果你没有这个等级，那么被分配到任务的机会将少很多。

Milland说，三月有一个工作日，在AMT上有4911个需求，但是她只有资格接触到其中的393个，只占其中的8%。那么，要怎样才能获得“大师”这个等级呢？没人知道。

Milland观察发现，有的人完成的任务不多，任务完成后的通过率也较低，但是他们也获得了“大师级”这个评级。“这个评级似乎没有任何逻辑可言”，她说。

除了大师这个评级，有时候你的居住地也会导致接到任务的机会变少。比如很多任务的发布者要求你必须在美国境内。据雷锋网了解，亚马逊一直不愿意公开他们的评级标准。

领取卑微的报酬

“Turker和Turker之间也不一样。”LaPlante说，“有些人是以此为生，而有些人只不过是想赚点零花钱。”

William Little是加拿大安大略省在线论坛TurkerNation的版主，他通过AMT赚些小钱。他的目标是每天花3个小时的时间挣15美元。他说大部分的时间能够达到这个目标。

不过，怎样拿到报酬对很多Turkers来说是一个大问题。

目前，只有美国和印度的Turkers可以拿到用现金支付的薪水。而其他的国家则只能通过亚马逊的礼品卡来获取报酬。

对于那些需要现金的人来说，也有变通的方法，不过这通常意味着收入要打点折扣。有些网站，比如purse.io可以把亚马逊的礼品卡兑换成比特币。

“有的人会将自己的愿望清单发布在purse.io上，你看到后，可以把他想要的买了后给她寄过去。”Little说，“而那些比特币暂时由第三方保管，当你收到物品之后，我就会收到比特币。”

然后就可以把通过PayPal把比特币卖掉换取现金，然后再转到自己的银行账号上。但是两次的交易过程中都会有损耗，因此不是很划算。

机器的奴隶

Milland和LaPlante只不过一支庞大的互联网劳工中不起眼的两个个案，但是他们在帮助训练机器智能方面的作用却越来越重要。

智能系统在日常应用中越来越普及，人工智能也在慢慢扩大应用范围。不管是语音控制的虚拟助手，比如亚马逊的Alexa和微软的Cortana，还是计算机视觉系统，比如特斯拉的Autopilot，背后都离不开人工智能的支撑。这些系统被训练去执行那些之前对计算机来说太复杂的任务：从理解语音命令到定位正在穿越马路的行人。

训练人工智能系统完成这些棘手的任务需要大量的标记数据。这些被标记的数据可能需要辨别照片中是否有狗，或者句子中的“bass”是指男低音还是指鲈鱼。这种通过实例来训练机器的方法称为监督式学习，那些被标记的数据通常就是由Turkers或者其他的在线劳动力完成的。

训练这些系统通常需要大量的数据，有的甚至需要几百万的实例训练才能达到高效执行任务的结果。现在，训练数据集的规模也越来越大。最近谷歌刚刚公布了开源的图像数据集（Open Image Datasets），其中包含了900万张图片，而视频数据集Youtube-8M中则包含了800万段被标记的视频。ImageNet，作为最早的图片数据集，目前已有超过1400万张被分类的图片。而这些大部分是由AMT上的50000名人力花费两年的时间完成的。

然而，因为数据集规模太过庞大，即使是分配给这么多人，每个人也需要成百上千次地重复同一种任务。这是一份非常消磨心智的工作。

冲向未来

通过做标记，删除重复的数据，填充空白等一系列任务，Turkers以及其他的在线工作者们将这些原本杂乱无章的数据整理成了可以用来训练机器学习系统的数据集。

随着人工智能变得无处不在，所有知名的科技公司都开始雇佣大量人力来完成这样细碎的任务以支撑机器学习。亚马逊、苹果、Facebook、谷歌、IBM、微软等等，要么有自己的劳务众包平台，要么会使用第三方的服务，其中两个最大平台的就是AMT以及CrowdFlower。

有的公司会通过内部的微型任务发布系统来完成大量的基础工作，比如微软的UHRS（Universal Human Relevance System），谷歌的EWOK。5年前，当UHRS发布的时候，主要是用来为微软的必应搜索（Bing）以及其他产品服务的。UHRS每个月需要统筹750万项任务。

据微软高级研究员Mary Gray描述，微软的UHRS和AMT非常相似。当需要众包的工作不在AMT覆盖的范围，或者任务内容比较敏感需要保密时，他们会选用UHRS。

微软剑桥研究实验室的主管Chris Bishop说，对比第三方平台AMT，UHRS让微软更具灵活性。微软会利用人工智能自动识别众包人群的优势和弱点，比如专业知识的水平，这反过来可以帮助微软判定哪个工人的结果更可靠。

除了帮助训练人工智能，像AMT这样平台还帮助eBay、Autodesk这样的知名公司，减轻了重复、枯燥乏味的工作负担。多年以来，它们一直是AMT上的大型雇主。

这种低技术水平、单调的劳动包含了各式各样的任务：比如筛选用户生产的图片和其他内容，完成市场和学术调查，删除重复的输入，检查在线零售商的产品说明和图片。亚马逊最初创办AMT系统就是为了帮助其管理库存，将图片和产品分类，撰写网站描述，从邮件中提取人名，翻译文本，将语音或者图片转录成文本，检查拼写错误，验证地理位置，为网页设计提供反馈，对产品进行评论，选择视频的缩略图，以及让公司能够追踪你查看的是广告的哪一部分。

众包平台的历史和今天

人类帮助机器执行它们不能胜任的工作并不是什么新鲜事。

近年人工智能产业的爆发，需要大量的人力来对数据进行分类和标记。Gray说，对这种细碎工作任务需求可以追溯至20年前，那时微软需要提高Microsoft Word的拼写和语法检查的能力。其实，这种点击式的互联网劳务更远可以追溯至90年代末和20世纪初互联网泡沫的年代。

2001年的时候，亚马逊希望寻求更高效的方式来管理商店里快速增长的产品数量，解决库存难题，然而这些都超出计算机的能力，为此亚马逊申请了人机混合系统的专利。4年之后，亚马逊正式发布了AMT数字平台，通过这个平台，亚马逊可以对接到巨大的在线人力资源。

亚马逊的这个平台吸引了很多公司，从在线零售商到色情网站，它们都希望利用AMT的廉价劳动力来对执行类似产品分类这样的细碎任务。2015年，平均每天有1278个雇主在AMT平台上发布任务。与此同时，平台上完成提交的工作量也在持续上涨。

虽然目前已经有50万人在AMT上注册，但是亚马逊公布的数据中并不包含其中全职人员和兼职人员的比例。

牛津互联网研究所（Oxford Internet Institute）的数据显示，AMT和CrowdFlower两大众包平台2013年的收入总额大约为1亿2千万美元。研究所的Vili Lehdonvirta教授估计，这两者占据了在线众包劳务市场大约5%到10%的份额。不过，由于非英语市场的数据难以统计，所以很难得到最终的准确数字。

不断点击的代价

这种”点击、点击、点击“的工作不仅沉闷，而且很可能对劳工们的造成身心的双重伤害。

“每天早上醒来，我就会忽略一切。”Milland说，“我的家人会为我准备食物，让我可以边工作边进食。我的手腕之前得过腱鞘囊肿，而且非常严重，我的胳膊也有重复性劳损。但，这就是工作。”

来自南印度的一名Turker，Manish Bhatia，是MTurk论坛的志愿版主。他接到过最奇怪的任务是：拍摄自己躺在撒满玫瑰花瓣的浴缸里的视频。而在标记图片时候，经常会看到一些令人不舒服的内容，因为事先并不知道图片内容，而且也不能中途退出，如果你不能完成任务的话就拿不到报酬。

Milland说自己也有类似的经历：“人们常羡慕在家工作的人，但是你不能告诉他们今天看了一天的ISIS的图片，到处都是人头。”而Little则说，他自己常常需要标记含有色情内容的图片或者视频。

但是当任务一旦完成之后，你不会知道是否会有人检查了你的工作成果，也不会知道你的工作成果最终被用来做了什么。因为工作的发布者用的是假名，没人知道到底是谁在发布这些任务。此外，只有发布者能够评价Turker，Turker却不能为雇主打分。

尽管工作条件恶劣，但是像Milland这样的人却不得不依靠AMT来获得收入。因为残疾，她申请麦当劳的工作的时候被拒绝了。

人类与AI的协作

微软的Gray预测，由于发展人工智能，这种对碎片化的、灵活性的工作需求一直在增加，而类似AMT这样的平台则帮助人类和机器建立起了共生关系。

她说，目前类似Facebook M这样的虚拟助手，或者IPsoft's Amelia这样的客服聊天机器人，还需要人工和算法的相互配合。当机器不能够解决问题的时候，就需要人类接手。不过随着时间的推移，这些智能系统可以从人类的反馈中不断学习，慢慢胜任更高难度的问题。

利用狭义上的人工智能处理简单的任务，以及利用人类来处理复杂任务的服务需求一直在上升。CrowdFlower最近刚刚发布了一个机器学习平台来自动处理一些之前需要人力的任务，而人类工作者将专注于更难的问题，并帮助机器学习模型改进学习。虽然很多手工劳动将会被自动化取代，但未来更多的会是对人类和人工智能共同合作的需求，因此工作机会并不会减少。

机器会一直需要人类吗？

当智能系统能够执行目前这些需要由人类来完成的任务的时候，那么AMT平台上分配给人类的工作性质自然就会改变。

2006年，AMT刚刚诞生一年，亚马逊CEO杰夫·贝佐斯（Jeff Bezos）说需要人类来判别图片中是否有人物，但是现在这种工作已经可以通过百度、Facebook、谷歌、微软的深度学习和神经网络来执行了。这是否意味着今天的这种微型任务未来会慢慢被机器所取代呢？

牛津互联网研究所的Lehdonvirta对此抱乐观的态度。他预测，随着机器学习应用到越来越多的领域，将会有越来越多的数据将需要被标记。

微软的Bishop认为，在不久的将来，人工智能系统将会使用人工主导、监督学习和无监督学习的混合训练方法。微软的Gray相信，在这个环节中，对人力的需求将是长期存在的。“我们预测，未来对这种人力的需求将是上升的，因为我们尝试自动化的东西也在增长。”她说。

南安普顿大学的Ramchum用那些图片识别的例子说明，仍然有大量的数据需要标记。“我们还远未到达极限。对图片标注仍然需要依靠人力。”他说，”由于图片包含的特性太多，比如在亮光下拍摄，在暗光下拍摄，模糊，清晰等等。即便在对5000万张图片进行归类之后，也只有几种特性被准确的标注出来了。”

“当我们把那些需要标记的数据扩展到语音、自然语言理解、情感识别等其他机器学习的领域时，就没有必要担心这类工作会消失，特别是当社会发现机器学习的新用途的时候。”

“这类会持续上升。我们会看到越来越多的系统通过人工和机器智能的结合来解决现实生活中的问题。”

工作即服务的新时代

未来无论是否需要人力来帮助训练人工智能，像AMT这样的平台的崛起都反应了工作实践在持续地变迁。

90年代末，随着更快、更广泛的网络在全球范围内覆盖，使工作大范围的众包变得可能。在线劳务众包平台以及人们能够大量在家使用宽带和电脑将重塑世界上的工作，微软的Gray说。

”不管是好是坏，我们都将能够把原来的全职工作分解成可以由不同时区、不同地点的人可以全天候完成的任务”，她说。

Gray认为未来这种微型的任务将成为一种常见的工作，也必将重塑广大人群的工作方式。在过去的十年中，客服服务从呼叫中心到实时在线聊天。而软件管理也在零售、营销行业被广泛应用。由于这些在线平台能够快速对接雇主和特定任务所需要的技能，这对今天的公司来说非常重要的，因此对微型工作的需求也将增长。

”这种众包的方式就像是通过API（Application Programming Interface）来连接、安排、管理工作，并支付薪水。”Gray说，“这个行业就在我们的眼皮底下爆发。”

牛津互联网研究所的Lehdonvirta和微软Gray的观点类似，都认为未来通过计算机系统来协调劳动资源会变得越来越普遍。

”随着在线连接以及劳动众包平台的持续增长，使得越来越多的全职工作被拆分成更小了合同工作包。政府必须开始关注这种工作形式的转变对人类产生的影响“，Gray说。

”这种转变已经持续了30年了，然而我们却丝毫没有注意，坦率地讲，这是因为这种转变还没有对那些拥有权利的人和他们的孩子的工作造成冲击。“

via TechRepublic

【招聘】雷锋网坚持在人工智能、无人驾驶、VR/AR、Fintech、未来医疗等领域第一时间提供海外科技动态与资讯。我们需要若干关注国际新闻、具有一定的科技新闻选题能力，翻译及写作能力优良的外翻编辑加入。 

简历投递至 wudexin@leiphone.com，工作地 北京。

雷锋网版权文章，未经授权禁止转载。详情见。