公开数据爬取行为的正当性判断

2021年6月，杭州市市场监督管理局处理了国内首例“盗图抄店”案，涉及获取使用公开数据行为的正当性评价。这一问题因在国内学术界和司法实践中均存一定争议，现以该“盗图抄店”案为例对相关问题提出一己之见，以就教于业内同仁。

案情简介

自2020年开始，A公司利用他人的数据爬虫接口，开发了“搬家助手”软件，将相关爬虫接口内嵌入软件内，并在某社交电商平台（以下简称“某平台”）服务市场内上线，向某平台内经营者定向销售“搬家助手”应用服务。某平台内经营者使用该“搬家助手”软件时，可在某平台后台通过提交的第三方平台商品链接，直接爬取第三方平台内相关店铺及其销售商品的详细数据，再按某平台的数据格式要求重新整合，并上传至“某平台”商家后台，形成与被爬取店铺及商品完全相同的店铺及商品预上架的审核状态，待某平台内经营者确认后即可最终在其某平台店铺内上线并开展线上销售。该“数据搬家”过程中没有设置第三方平台经营者或平台内经营者授权同意的环节，实际操作中也未取得第三方平台经营者或平台内经营者的授权同意。

自2020年起至案发时，A公司开发的“搬家助手”应用共爬取第三方平台的18159125条商品详情数据，并将上述商品详情数据上传至某平台的后台，并通过销售“搬家助手”会员服务收取服务费用共计2222763.27元。

执法机关认为，当事人利用网络爬虫程序等技术手段，未经允许，通过爬取其他平台及店铺经营者数据，为他人复制运营店铺提供技术支持，造成对其他经营者店铺及平台服务的实质性替代。该行为妨碍和破坏了其他经营者合法提供的网络产品或服务正常运行，扰乱了互联网市场秩序，违反了《反不正当竞争法》（以下简称《反法》）第二条“经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德”和第十二条第二款第（四）项 “经营者不得利用技术手段，通过影响用户选择或者其他方式，实施下列妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为”的规定，属于其他妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的不正当竞争行为。

本案中，A公司经营的“搬家助手”应用，未经授权非法爬取第三方平台数据达一千八百万余条，并将上述数据上传至某平台后台，供其会员开设与第三方平台内经营者同样的店铺，属于情节严重的违法行为。根据《反法》第二十四条“经营者违反本法第十二条规定妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的，由监督检查部门责令停止违法行为，处十万元以上五十万元以下的罚款；情节严重的，处五十万元以上三百万元以下的罚款”之规定，杭州市市场监督管理局对A公司责令改正，并处罚款人民币110万元。

“盗图抄店行为”的正当性判断

该案中，A公司的“盗图抄店”行为实质上属于获取公开数据的行为，《反法》对此没有明确划定行为边界，故行政机关只能以《反法》第十二条第二款第（四）项作为法律依据对其进行评价。[1]在法律适用的过程中，“盗图抄店”行为的正当性判断主要涉及如下问题 ：第一，如何确定行为的实施主体，某电商平台是否应当承当相应的法律责任？第二，软件开发商与第三方平台及平台内经营者之间是否存在竞争关系？如何看待《反法》中的“竞争关系”？第三，“盗图抄店”行为是否违反商业道德，构成不正当竞争行为？第四，软件开发商主张技术中立抗辩和公开数据抗辩，能否成立？本节主要分析前三个问题，下一节侧重对第四个问题进行分析。

本案的主体问题

本案中，执法人员通过调取某平台、第三方平台对应商品及相关页面进行比对，结合当事人保存的爬取记录的方式，还原了数据爬取过程：软件开发商利用数据爬取技术开发“搬家助手”软件，并在某平台服务市场内上架，定向提供给某平台内经营者；某平台内经营者利用该软件擅自爬取第三方平台的商品展示页面中的商品详情数据后，予以整合，将这些数据上传某平台服务器，再由该平台内经营者确认上架使用，从而完成整个“盗图抄店”的过程。

在上述行为实施的过程中，涉案主体包括：“搬家助手”软件开发商、某社交电商平台内经营者、爬虫端口提供商及某社交电商平台。其中，“搬家助手”软件开发商、某社交电商平台内经营者、爬虫端口提供商三方属于不正当竞争行为的共同行为人。关于某平台是否应当承担相应法律责任的问题，由于“数据搬家”应用销售页面中包含了要求获取对方店铺授权的提醒，目前还无法认定某平台对相关不正当竞争行为明知或应知。在这种情况下，对某平台施加过高的审查责任，进而要求其承担相应法律责任的做法是不合理的，因此，本案中相关部门没有追究某平台的法律责任。

本案的竞争关系

在不正当竞争的认定中，竞争关系的地位经历了一个从淡化到虚置到不必要的过程。反不正当竞争法发源于19世纪后半期的欧洲，当时，商业竞争还不发达，行业之间界限清晰，市场竞争主要是同业竞争，反不正当竞争的关注点只是同业竞争。而现代市场竞争犬牙交错，学术界逐渐认识到反不正当竞争法的行为规制特征，认识到竞争关系不应作为不正当竞争认定的构成要件，比较法（如德国）由此开始褪下竞争关系的色彩，以“商业行为”代之。

我国司法实践也开始进行相应调整，有些判决（如“猎豹浏览器案”）虽然还在形式上坚持竞争关系的要件性，但实质上突破了竞争关系的传统含义，以竞争利益是否受损作为评判标准，使竞争关系的要件虚置，从而将审查重心集中于“竞争行为”。[2]《最高人民法院关于适用<中华人民共和国反不正当竞争法>若干问题的解释》第二条也采取了相同立场 ：“与经营者在生产经营活动中存在可能的争夺交易机会、损害竞争优势等关系的市场主体，人民法院可以认定为反不正当竞争法第二条规定的‘其他经营者’。”最高人民法院在最新判决中更直接指出：竞争关系不再作为不正当竞争认定的构成要件。[3]

本案中，当事人作为软件开发商，看似与第三方平台及其平台内经营者并无直接竞争关系，但是从广义的竞争角度来看，当事人的行为造成了第三方平台及其平台内经营者利益的损害，且其爬取的数据使得案件中的共同行为人具备了对第三方平台及其平台内经营者构成实质性替代的可能，二者构成此消彼长的关系，应当认定当事人与第三方平台及其平台内经营者具有竞争关系。

涉案行为是否违反了商业道德

《反法》第二条规定：“经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。”我国反不正当竞争的司法实践长期以来对“诚实信用”和“商业道德”不做刻意区分，主流裁判意见一直以“诚实信用”作为判断不正当竞争行为的标杆，依赖市民社会中的道德感或公平感进行判断，如“禁止榨取劳动成果”（又被概括为“禁止搭便车”或“禁止盗用劳动成果”）的裁判模式即为典型体现，经营者被认为负有不得借用他人商誉谋取利益的义务；一旦违反该义务，即被认为违反诚实信用原则和公认的商业道德。

2010年，最高人民法院在“马达庆案”中[4]首次确立“商业道德”的新内涵，试图降低法律适用过程中的道德色彩。该案判决通过指出“商业道德”是“诚实信用”原则在反不正当竞争法中的体现，认为应当以“经济人的伦理标准”来衡量“商业道德”。之后，最高人民法院在腾讯诉奇虎案中[5]强调“行业公认的商业道德”，评判标准的客观性得到了进一步提升。但由于互联网竞争态势日新月异，一些细分领域中尚未形成公认的商业道德，何谓“公认的商业道德”往往歧见纷纭。2022年，最高人民法院在《不正当竞争案件司法解释》第三条中强调了多元利益综合评价的判断思路。

本案中，当事人作为第三方平台的前员工及专业技术人员，明知其软件用户使用其软件是为了爬取他人平台及店铺数据，用于复制抄袭他人店铺及商品内容以获取不正当的竞争优势，仍开发软件并对外销售；同时，其不顾相关平台《法律声明》《Robots协议》中禁止未经授权的、爬取平台数据的要求，违反《Robots协议》等相关互联网领域普遍认可和遵循的行为规范，在自己的技术能力无法绕过平台技术反爬措施的情况下，主动通过购买他人爬虫接口，绕过平台反爬措施爬取并使用他人数据，违背了互联网商业道德，扰乱了互联网市场秩序。

此外，本案还可以根据《不正当竞争案件司法解释》相关规定，采取如下三叠利益评估模式进行逐次分析。

首先，损害了其他平台内经营者的合法权益。

网店经营需要投入大量成本，包含并不仅限于行业定位、品牌选择、渠道和供应链沟通，组建运营团队，进行商品拍摄、美工、宣传，组织运营促销活动，针对交易需要进行仓储配置及库存管理、物流管理，售后服务、客户管理等。当事人的“搬家助手”软件帮助其软件用户利用技术手段、未经授权爬取他人精心拍摄的商品图片及商品数据，在其他平台内开设相同的店铺，销售同样品类的商品，造成原网店被实质性替代，使其竞争优势受到减损，损害了原网店的合法权益。替代性店铺开店并获得订单后，当事人软件用户甚至可通过“查看源”功能获取原链接，继而通过原链接下单并由原网店经营者（被替代网店）发货给最终消费者，形成“无货源店铺”模式。在该种模式下，搬家软件使用者可以避免高成本的选品、库存、供应链管理、摄影成本、运营成本及商品损耗风险，不承担任何经营风险，获取了不正当的竞争优势，造成原网店经营者被实质性替代，竞争优势受到减损，损害了其合法权益。

其次，损害了其他平台经营者的合法权益。

本案中，商品详情数据主要包括第三方平台内经营者自身店铺及商品信息（含商品名称、价格、尺码、颜色分类、商品详情属性、商品展示图片等）。流量经济下，用户流量和数据是衡量互联网平台运营质量的重要因素，丰富的商品品类数据和稳定的用户群体决定了平台竞争地位的优劣。第三方平台作为电子商务平台，经多年技术、招商、运营的高成本投入，累积而成了丰富的商品品类和数量众多的商家，已经具备了较高的知名度并因此吸引了广大消费者，从而获得竞争优势。同时，第三方平台作为平台的经营者和数据的收集者、控制者，已通过《平台服务协议》获得了平台内经营者的授权与同意。当事人作为某平台服务市场内入驻服务商，通过“搬家助手”软件未经授权大规模爬取第三方平台内大量优质、原创的商品数据并上架至其横向竞争者平台，增加了其横向竞争者平台商品品类，直接削弱、分化了第三方平台应有的市场关注度、直接交易机会和间接交易机会，导致第三方平台服务被实质性替代，减损了第三方平台的竞争优势，损害了其合法权益。

第三方平台在运营中采取了一系列措施对收集、控制的数据予以保护，这也体现了平台对数据的控制利益，如通过《法律声明》《平台robots协议》等声明禁止机器人爬取等。此外，第三方平台还采取了一系列技术防御措施，包括但不限于登陆机制、IP频率限制、验证机制、违规账号处置等。但当事人软件仍通过爬虫接口等爬虫程序接口自动、批量爬取平台商品数据。根据后台统计，仅某一个爬虫接口每天的调用量就达到2万余条。同时，根据当事人陈述，“搬家助手”软件共搬运1800万余件商品数据至其他平台，每天上传至其他平台约3万条。当事人如此高频率、大规模的数据爬取行为，会挤占第三方平台的服务器访问通道，消耗服务器性能。该平台为了防御这种不正当的爬取，需要不断叠加新的技术保护措施，这进一步导致了服务器消耗及成本的大量提升。

最后，扰乱正常的互联网市场竞争秩序，损害消费者权益。

在互联网经济领域，网络平台间的公平竞争应以自主技术创新、优化产品服务、降低经营成本等方式实现。当事人的“搬家助手”软件通过技术手段随意爬取他人数据，不仅造成恶性竞争、损害相关经营者的权益，也不利于鼓励电商平台及平台内经营者在供应链管理、选品管理、运营管理、售后管理等各个阶段提升产品和服务质量。从长远来看，这一行为损害了终端消费者的合法权益，严重破坏了市场公平竞争秩序，降低了经济运行的效率，不利于社会主义市场经济秩序的健康发展。

技术中立抗辩和公开数据抗辩的审查

技术中立抗辩的审查

本案涉及网络爬虫技术的应用。网络爬虫又称网页蜘蛛、网络机器人，是一种按照一定的规则，自动爬取互联网信息的程序或者脚本，本质在于高效、自动地进行网络信息的读取、收集等行为。在大多数情况下，爬虫技术的本质是通过代码实现对人工访问操作的自动化操作。但是，由于爬虫系通过解析代码的方式工作，其还有可能访问到人工不会访问或无法访问的内容。在办理案件的过程中，有一种意见认为，“爬虫技术”属于一种互联网技术手段，并不存在善恶之分；当事人作为软件开发者，为某平台商户提供满足相应需求的技术解决方案，其并不发出爬取数据的需求，在其爬取的数据上传某平台后，当事人并不保留数据，因此，根据技术中立原则，当事人的行为不构成不正当竞争行为。

技术中立原则滥觞于美国专利法中的通用商品规则和版权法中的实质非侵权抗辩。1952年，美国国会修订《专利法》第271条，规定专利权人有权控制在专用产品上的共同侵权行为，专利权的效力不能延及通用商品。[6]1984年，美国最高法院在“索尼案”中借鉴通用商品规则首次提出实质非侵权用途抗辩，如果“产品可能被广泛用于合法的、不受争议的用途”，即“能够具有实质性的非侵权用途”，则不能认定设备销售商构成“帮助侵权”。[7]通用商品规则和“实质非侵权抗辩”的出发点都是避免权利人滥用知识产权、促进技术创新。但是，这两项规则在适用过程中受到了共同侵权规则的制约。“索尼案”之后，信息技术迅猛发展，版权侵权的成本越来越低，美国法院对实质非侵权用途抗辩提出了诸多质疑。美国最高法院在2005年的“米高梅案”中指出，“索尼案”不宜被过于宽泛地解读，错误的解读将导致间接侵权责任的范围被限缩；“索尼案”中，法院只是认为不能仅仅因为设计或销售了“能够具有实质合法用途的设备”而推定设备设计者或销售商具有侵权故意（presuming or imputing intent to cause infringement），但从来没有要求法院忽略查明故意的证据，也绝不意味着拒绝适用普通法中的过错责任。[8]显然，美国最高法院试图通过“米高梅案”矫正“索尼案”的立场，澄清关于“实质非侵权用途抗辩”的误读。

同样，在网络不正当竞争案件中，要重点审查技术开发者和使用者的主观目的或意思联络。技术本身可能具有实质非侵权用途，但如果技术开发者明知或应知他人正在使用该技术从事侵权行为，却依然积极地提供该技术，甚至教唆引诱他人使用该技术并从该技术的使用中获取利益，则技术开发者应就该技术的使用承担相应法律责任。司法实践中，我国法院在很多案件中对技术中立原则的适用都有精彩论述。如上海知识产权法院在“大众点评网案”中指出：“垂直搜索技术作为一种工具手段在价值上具有中立性，但这并不意味着技术本身可以作为豁免当事人法律责任的依据。无论是垂直搜索技术还是一般的搜索技术，都应当遵循搜索引擎服务的基本准则，即不应通过提供网络搜索服务而实质性替代被搜索方的内容提供服务，本案中百度公司使用涉案信息的方式和范围已明显超出了提供网络搜索服务的范围，其以垂直搜索技术决定了信息使用方式而可免责的抗辩意见，本院不予采纳。”[9]基于同样的道理，软件开发商在本案中不能主张技术中立抗辩。

公开数据抗辩的审查

由于本案涉及公开数据，当事人可否主张“公开数据的自由利用”（公开数据抗辩）也存在一定争议。如我国学术界有观点认为，应当维护数据的自由流通，保护数据的自由流通性是评价公开数据获取的最重要因素，对此类数据的爬取不应受到限制。[10]再如，北京知识产权法院在“微博诉蚁坊案”中倾向于不保护公开数据，认为浏览公开数据和获取公开数据具有相同本质：“对于未采取保护措施的公开数据，无论是通过用户浏览或网络爬虫获取，其行为本质均相同。微梦公司在无合理理由的情形下，不应对通过用户浏览和网络爬虫等自动化程序获取数据的行为进行区别性对待。”[11]

对此，需要剖析“公开数据”的定义和“数据获取行为”的特征，才能进一步评析公开数据抗辩。

第一，公开数据的界定。

现有各网络交易平台在其法律声明、规则中通常包含相应格式条款，明确平台享有商家等在平台产生的数据的所有权，且任何人不得在没有开放数据接口权限的情况下，通过爬虫等行为搜集平台相关数据。在电商领域之外的其他数据集中行业，如社交软件、视频网站、本地生活网站、游戏、手机应用等行业中，均有类似格式条款。此外，有些平台针对相关数据在采取Robots协议、法律声明等通用手段之外，还采取了一系列技术防御措施，包括但不限于登陆机制、IP频率限制、验证机制、违规账号处置等。

以上声明或措施究竟是否改变上述被保护数据的法律性质（使原本公开的数据变为不公开的数据），需要视不同情形作出判断，判断标准并不在于平台是否采取了措施，而在于这种措施是否使公众访问数据的成本明显增高。“数据公开与否”旨在判断不特定之人访问数据的成本高低，需要考虑保护措施的有效性和他人访问获取的成本。如免费登录措施只是施加诸如快速注册账号、通过验证码验证等形式性限制条件，不妨碍不特定之人低成本地访问App数据，难以构成保密措施，此类数据应属于公开数据。再如，各国对本国政府官网中的数据可能采取一定技术措施，使他国公民无法正常访问上述数据，但不能因此否认这些数据的公开性。

第二，公开数据获取行为的情景特征。

公开数据承载着更高的自由流通价值，数据持有者对其数据的被利用更有预期，但这不意味着公开数据必然处于自由流通的范畴，也不意味着公开数据必然就能以任何方式被利用。公开数据可能凝结了数据业者的投资成本，甚至构成数据业者的核心资产。数据业者可能对公开数据采取了一定的管理或技术措施，只是希望这些公开数据被以特定方式被他人利用。如果他人违背数据业者的意志、突破这些技术或管理措施，大规模获取公开数据且通过数据使用行为产生了实质替代的后果，则这种获取行为可能构成不正当竞争。

司法实践中，案情不同可能导致公开数据获取行为的正当性判断存在不同结论，公开数据获取行为的正当性判断具有典型的情景特征。《反法》第二条及第十二条第二款第（四）项对数据获取行为的评价采取利益平衡机制，这符合数据获取的情景特征。只是，公开数据承载着更浓厚的自由竞争和数据流通价值，对获取公开数据行为的正当性评价更需要尊重自由竞争和数据流通，但不可因此得出“获取公开数据一定合法”的结论。数据合规的基本逻辑也是要平衡个体利益与公共利益，但必须在具体场景中才能对数据的价值、公共利益的内涵以及两者之间的权重作出判断，这进一步印证了公开数据获取行为正当性判断的情景性。总体来说，影响公开数据获取行为正当性判断的因素主要有：公开数据以何种方式被获取，是否尊重了数据持有者的声明，是否突破了数据持有者采取的技术或管理措施等；获取公开数据后的使用方式、使用规模和使用效果；公开数据对原告的价值；公开数据中是否包含了个人信息等。

注释：

[1]截至2021年2月13日，笔者在“北大法宝”“威科先行”和“知产宝”数据库，以“数据+爬取+不正当竞争”为关键词对“本院认为”部分进行检索，分别获得35份、43份和53份裁判文书，去除重复的文书、三个数据库共同收录的文书、仅提及关键词但实质无关的文书后，剩余30份文书。在上述30个涉及数据获取不正当竞争的案例中，去除无关的案例，适用《反法》第2条作为判决依据的案例有16个，包括2017年修法前的7个和修法后的9个；适用《犯法》第十二条第二款第（四）项作为判决依据的案例有5个。

[2]北京市第一中级人民法院（2014）一中民终字第3283号民事判决书。

[3]最高人民法院（2021）最高法民再337号民事判决书。

[4]最高人民法院（2009）民申字第 1065 号民事裁定书。

[5]最高人民法院（2013）民三终字第5号民事判决书。

[6]北京高院在《专利侵权判定指南》第119条第1款和第2款吸收了这一规则 ：“行为人明知有关产品系专门用于实施涉案专利技术方案的原材料、中间产品、零部件或设备等专用产品，未经专利权人许可，为生产经营目的向他人提供该专用产品，且他人实施了侵犯专利权行为的，行为人提供该专用产品的行为构成本指南第118条规定的帮助他人实施侵犯专利权行为，但该他人属于本指南第130条或专利法第六十九条第（三）、（四）、（五）项规定之情形的，由该行为人承担民事责任。前款所称‘专用’产品，应当以原料、产品等是否对实现涉案专利所请求保护技术方案具备实质性意义且具有‘实质性非侵权用途’为判断标准，即，若相应的原料、产品等为实现涉案专利技术方案所不可或缺且除用于涉案专利所保护技术方案而无其他‘实质性非侵权用途’，一般应当认定该原料或产品等为‘专用’”。

[7] Universal City Studios, Inc. v. Sony Corporation of America, 464 U.S. 417 (1984). the sale of copying equipment, like the sale of other articles of commerce, does not constitute contributory

infringement if the product is widely used for legitimate, unobjectionable purposes. Indeed, it need merely be capable of substantial noninfringing uses.

[8] MGM Studios Inc. v. Grokster, Ltd., 545 U.S. 913 (2005). Nothing in Sony requires courts to ignore evidence of intent if there is such evidence, and the case was never meant to foreclose rules of fault-based liability derived from the common law.

[9] 上海知识产权法院(2016)沪73民终242号民事判决书。

[10] 刘继峰、张雅 ：《反不正当竞争法视角下数据爬取行为违法性的认定》，西北工业大学学报（社会科学版），2021年第4期，第104、107页。

[11] 新浪微博诉蚁坊，北京知识产权法院(2019)京73民终3789号民事判决书。