涉非搜索引擎robots协议不正当竞争纠纷案

一审案号：（2017）京73民初2020号

二审案号：（2021）京民终281号

裁判要旨

随着搜索技术和网络应用的发展，网络机器人的适用场景从通用搜索引擎领域扩展到非搜索引擎的其他各种场景。由于非搜索引擎场景应用下的网络机器人，已经不像在搜索引擎场景下那样当然地对公众利益以及互联网的互联、互通、共享、开放的精神产生影响，因此，在对此类网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。

案情介绍

上诉人（原审被告）：北京微梦创科网络技术有限公司（简称微梦公司）

被上诉人（原审原告）：北京字节跳动科技有限公司（简称字节公司）

字节公司主要从事互联网信息服务等，其主要产品为“头条网”“今日头条”等。微梦公司主要从事互联网信息服务等，是微博平台（weibo.com、weibo.cn）的主办单位。字节公司将其“Toutiaospider”网络机器人抓取的结果用于“微头条”等产品。字节公司主张，微梦公司在m.weibo.cn网站的robots.txt文件中将字节公司的网络机器人“Toutiaospider”宣示为不受欢迎者，遂将微梦公司诉至法院。

北京知识产权法院一审判决微梦公司的行为构成不正当竞争。微梦公司不服一审判决，向北京市高级人民法院提起上诉。

北京高院二审认为，随着搜索技术和网络应用的发展，网络机器人的适用场景从通用搜索引擎领域扩展到非搜索引擎的其他各种场景。搜索引擎给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不给被搜网站带来流量，反而可能带走被搜网站的流量。由于非搜索引擎场景下应用的网络机器人，已经不像搜索引擎那样当然地对公众利益以及互联网的互联、互通、共享、开放的精神产生影响，因此，在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。

在判断robots协议对于网络机器人限制行为的正当性时，其核心在于保护网站经营者的自主经营权与维护其他经营者利益、维护消费者利益、维护竞争秩序之间的平衡。因此，对本案被诉行为是否具有正当性，应从以下方面进行分析：

首先，robots协议已经成为维系企业核心竞争力、维系市场有序竞争的一种手段，在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。

其次，在非搜索引擎的应用场景，特别是在类似本案字节公司的“Toutiaospider”网络机器人将抓取后的内容直接“移植”到“微头条”、实现对微博内容实质性替代的应用场景，没有实质上增加消费者的消费体验。

再次，字节公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认可的，被诉行为与字节公司的经营意愿并不违背。

最后，反不正当竞争法对互联网行业的竞争行为进行规制时，不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断。

综上，二审法院认定被诉行为不构成不正当竞争，遂改判撤销一审判决，驳回字节公司的诉讼请求。

典型意义

首先，本案是国内首次对非搜索引擎应用场景下robots协议限制网络机器人的行为正当性进行评价，首次区分了搜索引擎应用场景和非搜索引擎应用场景的评价规则，以更加全面、充分的角度对robots协议进行法律评价。二审判决指出不同应用场景下的网络机器人对于网站合法权益、公众利益、互联网互联互通精神的不同影响，同时结合搜索引擎和非搜索引擎两个侧面，补充和完善了前案对于网站设置robots协议的评价标准，体现和响应了互联网行业新技术发展带来的规制需求。

其次，本案明确了网站设置robots协议的法律性质与定位，确立了robots协议限制网络机器人行为正当性的评价标准，为互联网企业提供了行为指南。二审判决指出，在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，对于网络机器人的限制即使在客观上会造成对某个或某些经营者的“歧视”，也应当得到允许。这一标准以更为宏观的视角平衡了互联网企业合法权益、公众利益以及互联、互通、共享、开放的互联网精神等多种法益之间的关系。

最后，本案为robots协议在数字经济时代赋予了新的意义。二审判决指出，互联网行业中信息的自由流动应控制在合理范围内，符合互联网行业的商业道德。robots协议正是对于网站信息和数据如何流通和配置的重要表示，关系到网站的核心权益，“在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段”。