莫让“爬虫”变“害虫” 如何规制恶意爬取数据？

包括2016年“车来了”App爬取“酷米客”App公交车行驶实时数据案、2017年脉脉非法抓取使用新浪微博用户信息案、2017年今日头条未经授权移植新浪微博大V账号内容数据案、2019年刷宝App爬取抖音App短视频及用户评论数据案、2021年“极致了”网站爬取微信公众号文章数据案等。

除了民事案件，因爬取个人信息数据涉及的刑事案件也呈增多趋势，其中不乏数亿级别的数据被爬取案件。比如，2021年6月，河南省商丘市睢阳区人民法院公布的刑事判决书显示，逯某和黎某两男子通过自己开发的爬虫软件，对淘宝实施了长达8个月的数据爬取，非法获取近12亿条用户消息。

原本技术中立的“网络爬虫”却因应用于数据爬取，有变成“害虫”的威胁。恶意爬虫在轻易爬取数据时，未经授权抓取、突破Robots协议、同行业间数据爬取，往往是典型情形。网络爬虫的法律边界在哪里？数据企业如何保护自身合法权益？如何规制恶意爬虫抓取数据乱象，引导行业合规健康发展？这是已经进入大数据时代后，行业参与者亟待解答的问题。

未经授权爬取数据涉嫌不正当竞争

政策加持让数据迎来高光时刻。2020年4月9日，《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布，将数据作为一种新型生产要素。

然而，涉及数据权利的配套制度法规还未出台，非法数据爬虫已经袭来。2014年，因认为脉脉未经用户允许和微博平台授权，非法抓取、使用新浪微博用户信息，非法获取并使用脉脉注册用户手机通讯录联系人与微博用户的对应关系，新浪微博将脉脉诉至法院。该案也被称为首例大数据不正当竞争纠纷案。

2016年，北京市海淀区人民法院（下称“北京海淀法院”）一审认为，网络平台可以就他人未经许可擅自使用其经过用户同意收集并使用的用户数据信息主张权利。2017年，北京知识产权法院终审认定，脉脉未经用户允许和微博平台授权，非法抓取、使用新浪微博用户信息，构成不正当竞争。

未经授权和超出授权范围使用成为上述案件判决的重要考量因素。北京知识产权法院认为，作为第三方开发者通过Open API获得用户信息时必须遵循“用户授权+平台授权+用户授权”，即用户同意平台向第三方提供信息，平台授权第三方获取信息，用户再次授权第三方使用信息，而且用户的同意必须是具体的、清晰的，是用户在充分知情的前提下自由作出的决定。这也被行业称为“三重授权原则”。

“三重授权原则”对后续案件影响重大，并成为第三方爬取、使用数据的大前提。然而，恶意爬虫往往越过红线。现实中，数据爬取多发生在电商领域和内容平台，以内容平台为例，2021年9月，杭州互联网法院审理斯氏(杭州)新媒体科技有限公司（下称“斯氏公司”）爬取微信公众号平台数据案时认为，斯氏公司运营的“极致了”网站违背诚实信用原则，擅自使用其他经营者征得用户同意、依法汇集且具有商业价值的数据，构成不正当竞争。

尤其在数字内容领域，数据是内容产业的核心竞争资源，内容平台经过汇总分析处理后的数据往往具有极高的经济价值。如果要求内容平台经营者将其核心竞争资源向竞争对手无限开放，不仅损害创作者的创作环境，使得社会整体内容生产萎靡，消费者对优质内容的需求也就无从保障，而且有违“互联互通”的精神实质，不利于优质内容的不断更迭和互联网产业的持续发展。

突破Robots协议违背商业道德

在涉及网络爬虫的案件中，Robots协议是绕不开的话题。Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取，类似于行业的“君子协定”。

按照Robots协议规则，搜索引擎会按照每个网站主给予自己的权限来抓取。实践中可以发现，通过百度搜索引擎无法搜索到淘宝网的信息，可以搜索到京东商城的商品信息，原因是2008年淘宝禁止百度爬虫，而京东商城则没有对百度爬虫说“不”。这其中的原因，和淘宝、京东的流量入口选择和商业利益考量密切有关。

淘宝网禁止百度爬虫Baiduspider访问自己网站

但Robots协议并非强制性规定，在商业利益驱动下，网络爬虫与反爬取方之间更像是一场攻防战，一些网络平台的恶意爬虫不惜冒着风险主动出击，突破Robots协议，而被爬取方只能在技术上被动防守，并通过求助司法诉讼主动维权。

在这场攻防战中，也不乏互联网领域知名企业的身影，其中，新浪微博和今日头条间的矛盾冲突就不止一次出现。

2017年，因认为今日头条未经授权抓取新浪微博账号内容，新浪微博将今日头条诉至法院。2021年5月17日，该不正当竞争纠纷案落槌，北京海淀法院一审判定，未获平台授权第三方不得抓取用户内容，今日头条的母公司字节跳动通过类似“复制粘贴”的方式对新浪微博内容进行大规模移植，有针对性地将新浪微博的内容移植至今日头条，构成不正当竞争，赔偿新浪微博2000万元。

字节跳动转而起诉新浪微博通过Robots协议禁止头条搜索的爬虫，构成不正当竞争。该案经历一审败诉，二审反转的剧情。2021年10月8日，北京市高级人民法院终审认为，网络平台通过Robots协议对网络爬虫进行限制是网络经营者经营自主权的一种体现。Robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段，应当允许网站经营者通过Robots协议对其他网络机器人的抓取进行限制。

值得一提的是，通过Robots协议对网络爬虫进行限制并不违背互联网行业的商业道德。在互联网行业中，除了新浪微博通过Robots协议限制爬虫抓取，包括字节跳动在内的互联网公司均会通过Robots协议来明示禁止抓取的内容。

司法裁判指导数据合规

非法爬取数据案件背后，恶意爬虫所建立的数据服务往往与被爬取方形成直接的竞争关系，甚至形成某种替代关系。

法院在案件裁判中也明确，互联网领域中消费者福利的增加，不是通过数据爬取对数据进行明显替代性或同质化地利用。非法爬虫不劳而获地爬取数据，获得竞争权益等行为，显然具有“搭便车”的不正当性。比如，在“极致了”网站爬取微信公众号数据案中，法院认定，“极致了”网站违背诚实信用原则，擅自使用其他经营者征得用户同意、依法汇集且具有商业价值的数据，并实质性替代其他经营者提供的部分产品或服务，损害公平竞争的市场秩序。

同时，法院在认定数据企业享有数据竞争权益时，也把数据企业对收集、整理时付出的人力物力财力等经营成本作为重要考虑因素。比如，在抖音起诉刷宝爬取数据案件中，法院认为，微播公司（抖音App的开发者和运营者）投入相应的人力、财力成本，通过正当合法的经营积累用户和短视频内容。刷宝App在未投入相应成本的情况下，直接获取视频资源、评论内容，掠夺微播公司的经营成果，损害了抖音的合法权益，构成不正当竞争。

研读案件裁判思路不难发现，当数据企业面临未经授权的恶意爬取时，司法机关也在不断探索数据权益保护路径，定纷止争。在已有的司法判决中，法院对数据企业所享有的正当权益持肯定态度。数据企业的数据权利在遭受他人侵害时有权要求侵权人承担侵权责任，包括在他人未经许可而窃取数据时，有权要求侵权人停止侵害、删除非法窃取的数据；在侵权人因故意或过失造成损害时，有权要求侵权人承担侵权赔偿责任。

此外，从市场经济发展的角度来看，如果数据从业者尤其是数据企业对于自己收集、存储的数据无法合理有效地控制，爬虫可以任由抓取，来去自如，数据企业显然就没有动力投入成本去收集、存储以及利用海量数据，进而挖掘数据中蕴涵的巨大价值，更不可能研发更多的数据产品，数据产业的发展与大数据时代也就无从谈起。

当前，虽然法律尚未对数据权利进行界定，但司法实践中日渐增多的行业案例，其中，数据“权利”或“权益”并非完全无法界定，“用权”的合法事实和情景，“授权”链条相对清晰，且已经得到相当程度认可，尤其是司法审判对于数据权利部分的探索和认定，将对指导数据企业开展数据合规提供诸多参考和借鉴。

文/王琼飞

编辑/鲁伟