人工智能和算法合规应用指引

导读

本文系著名知识产权法学者郑友德教授对FTC （美国联邦贸易委员会）关于人工智能和算法合规领域的前沿成果所作的编译，旨在开张国际视野，撷取域外精华，以启我国相关领域从业者、理论界人士。

人工智能技术和算法的进步，有望彻底改变人类在医学、金融、商业运营、刑事司法、媒体等方面的方法，借此对上述领域自动进行预测、建议或决策，从而彰显出提高社会福利和生产力的巨大潜力，但风险也随之相伴。加之现有个别研究过份强调所谓的技术“中立”，显然会产生潜在的不公平或歧视性结果或者固化现有的社会经济差距。医疗卫生领域人工智能的应用提供了表现这种紧张关系的典型示例：例如，新冠病毒预测模型可以通过有效分配 ICU 床位、呼吸机和其他资源来帮助卫生系统对抗病毒。但正如《美国医学信息学协会杂志》最近的一项研究表明，如果这些模型使用反映医疗保健服务中现有种族偏见的数据，那么旨在使所有患者受益的人工智能可能会加剧有色人种的医疗保健差异。近期《科学》杂志上的一项研究表明，一种出于善意使用的算法——针对病情最严重的患者进行医疗干预——最终将资源集中到更健康的白人人群中，损害了病情更严重的黑人患者。

虽然人工智能和机器学习技术既复杂又更新快，但自动决策并非如此。作为美国反垄断法执法和促进消费者保护机构，联邦贸易委员会 ( FTC )在应对使用数据和算法对消费者做出决策所带来的挑战方面，特别是在对人工智能开发人员和用户非常重要的以下三项法律的执法上，积累了数十年的丰富经验：

《联邦贸易委员会法》( FTC Act )第 5 条。禁止不公平或欺诈行为。其中包括出售或使用带有种族偏见的算法的行为。

《公平信用报告法》(FCRA) 。使用某种算法拒绝人们就业、住房、信贷、保险或其他福利的行为是违法的。

根据《平等信用机会法》(ECOA)，公司使用基于种族、肤色、宗教、国籍、性别、婚姻状况、年龄或因为某人获得公共援助而导致信用歧视的有偏见的算法是违法的。

此外，FTC 利用其在这些法律方面的专业知识来报告大数据分析和机器学习；举行关于算法、人工智能和预测分析的听证会；发布关于人工智能和算法的业务指南。

前不久[1]，当FTC发现 WW International未经父母许可，通过其应用程序收集幼儿个人信息构建了人工智能模型时，对该公司处以150万美元罚款，责令其删除这些数据，并令该公司必须销毁用这些数据构建或训练的任何算法或人工智能模型。从而在惩罚网络公司实施欺诈、违反数据规则的行为方面，开创了全球采取此类严厉处罚措施的先河。

FTC 的执法行动、研究和指导强调，人工智能工具的使用应该是透明的、可解释的、公平和公正的，同时能促进问责制。FTC相信，其经验及现行法律可以为公司如何管控人工智能和算法对消费者的保护风险提供重要的经验教训。

一、保持人工智能和算法公开透明

不要在如何使用自动化工具方面欺骗消费者。通常，人工智能在后台运行，某种程度上脱离了消费者体验。但是，在使用人工智能工具与消费者互动时（比如用聊天机器人），请勿误导消费者对互动的性质。Ashley Madison投诉称，一家交友网站利用漂亮伴侣虚假的“交友资料”，诱使潜在客户注册交友服务，欺骗了消费者。Devumi投诉称，该公司向希望提升其社交媒体影响力的公司和个人出售假粉丝、伪订阅者和假“点赞”，误导消费者，最终可能面临 FTC处罚。

收集敏感数据时应保持公开透明。获取数据集应格外小心。秘密收集音频或视频数据——或任何敏感数据——以提供算法，也可能导致FTC采取行动。就在2019年，FTC指控Facebook 在告知消费者可以选择启用面部识别时误导了消费者——即使该设置默认开启。正如 Facebook 案例所示，如何获取数据可能非常重要。

如果根据第三方供应商的信息做出自动决策，则要向消费者提供“不利行动”通知。根据《公平信用报告法》，收集消费者信息自动做出有关信贷、就业、保险、住房或类似福利和交易资格的决策的供应商，可能是“消费者报告机构”。因此他们将对这些信息的消费者承但责任。具体而言，企业必须依据《公平信用报告法》向消费者发出某些通知。人工智能模型会使用消费者关于公共记录信息、犯罪记录、信用记录，甚至可能涉及社交媒体使用、购物史或公开照片和视频等数据的广泛输入。如果使用报告或分数作为拒绝某人租房或向其收取更高租金的依据，则必须向该消费者提供不利行动通知。后者得告诉消费者有权查看报告中有关他们的信息并更正不准确的信息。

二、向消费者解释算法决策

请解释根据算法决策拒绝向消费者提供某些有价值物品的原因。有人可能会说，很难解释可能影响算法决策的众多因素。但是，在信贷发放领域，公司必须向消费者披露其被拒绝信贷的主要原因，仅仅说“你的评分太低”或“你不符合我们的信贷标准”还不够，需要明确说明之，例如，“你未尽到信用义务”或者“你的信用证明数量不足”。这意味着你必须知道模型中使用了哪些数据，以及如何使用这些数据来做出决策。你必须能够向消费者解释这一点。如果你在任何情况下都使用人工智能来决定消费者，那么考虑一下你会如何向客户解释你的决定。

如果用算法为消费者分配风险评分，则应按重要性排序披露影响评分的关键因素。与其他算法决策类似，评分基于无数因素，其中一些可能难以向消费者解释。例如，如果信用评分被用来拒绝向某人授信，或向其提供不太优惠的条款，则法律要求向消费者发出通知、说明评分的来源、该信用模型下的评分范围和至少四个对信用评分产生不利影响的关键因素，并根据它们对信用评分的影响按重要性排序。

如果用自动化工具更改交易条款，请务必通知消费者。十多年前，FTC 声称次级信贷营销商 CompuCredit 违反了《联邦贸易委员会法》，欺骗性地未能披露其使用行为评分模型来降低消费者的信用额度。例如，如果持卡人使用信用卡预支现金或在某些场所（如酒吧、夜总会和按摩院）付款，他们的信用额度可能会降低。该公司从未告诉消费者这类消费行为可能会降低其信用额度——无论是在他们签约时，还是在他们降低信用额度时。十年前的事情在今天同样重要。如果你要用算法来更改交易条款，务请告诉消费者。

三、确保算法决策公平公正

不要歧视受保护的不同阶层。随意使用人工智能可能会导致歧视受保护的阶层。许多联邦平等机会法，例如《平等信用机会法》和 1964 年《民权法》( Civil Rights Act )第七章，可能与此类行为有关。FTC 根据《平等信用机会法》禁止基于种族、肤色、宗教、国籍、性别、婚姻状况、年龄或因为个人接受公共援助的信用歧视。例如，如果一家公司根据消费者的邮政编码做出信贷决策，导致对特定种族群体产生“差别影响”，FTC 则可依《平等信用机会法》质疑这种做法。公司若通过使用前后定期对算法进行严格测试，即可避免很多问题，进而确保算法决策不会对受保护的阶层产生差别影响。

重视输入与输出。当FTC 评估算法或其他人工智能工具是否存在非法歧视时，总会查看模型的输入——例如该模型是否包含基于种族的因素，或者类似人口普查区等因素的替代物。但是，无论输入如何，FTC都会审查人工智能工具的输出。例如，一个模型事实上是否禁止歧视？表面中立的模型是否会对受保护的阶层产生非法的差别影响？以消费者为信贷支付的价格为例，FTC的经济分析着眼于通过输出来确定一种模式是否对受保护阶层产生差别影响。若是如此，FTC将审查该公司使用该模型的正当性，并考虑用一个较少歧视的替代模型是否会达到相同结果。使用人工智能和算法工具的公司应考虑是否要对人工智能输出进行自我测试，以管控使用此类模型导致的内在的消费者保护风险。

为消费者提供决策信息访问权和信息纠错机会。《公平信用报告法》监管用于消费者决策的数据——例如他们是否找到工作、获得信贷、得到保险或是否可以租房。根据《公平信用报告法》，消费者有权获取有关他们的文档信息，如果他们认为该信息不准确，则有权对该信息提出异议。此外，当使用该信息做出不利于消费者利益的决定时，要求向消费者发出不利行动通知。该通知必须包括用于做出决定的信息来源，须告知消费者享有访问权和异议权。如果使用的数据来自他人——甚至直接从消费者处获得——而做出关于消费者的重要决策，则应该考虑向消费者提供该信息的副本，并允许消费者质疑该信息的准确性。

四、保证数据和模型准确完整

如果企业向其他人提供消费者的数据，以决定消费者能否获得信贷、就业、保险、住房、政府福利、兑现支票或类似交易，则该企业必须是《公平信用报告法》规定的消费者报告机构，同时确保所提供的消费者数据准确且最新。如果你编译和出售用于或预期用于信贷、就业、保险、住房或其他类似关于消费者是否获得某些福利和交易的决定的消费者信息，你可能受到《公平信用报告法》的约束或限制。此外，你有义务实施合理的程序，以确保消费者报告的最大可能准确性，并为消费者提供信息访问权和纠错能力。RealPage公司是一家通过软件工具以实时或近乎实时方式将住房申请人与犯罪记录相匹配的公司。该公司最终因未能采取合理措施确保他们提供给房东和物业经理的信息的准确性而违反了《公平信用报告法》，因此被罚款300万美元。

如果企业将消费者数据提供他人用于自动决策，即使该企业不是消费者报告机构，也有义务确保数据准确无误。向消费者报告机构提供消费者数据的企业在《公平信用报告法》中被称为“供应商”。他们可能无法提供有合理理由被认为可能不准确的数据。此外，他们必须制定书面政策和程序，以确保他们提供的数据准确完整。供应商还须调查来自消费者和消费者报告机构的纠纷。这些要求重在确保人工智能模型中使用的信息尽可能准确和最新。FTC 已对向消费者报告机构提供信息但未能遵守必要的书面政策和程序以确保其报告信息准确无误的公司提起诉讼，并处以巨额罚款。

确保人工智能模型经过反复验证，能按照预期运行，不会导致非法歧视。同样，消费者贷款领域也有更多的经验教训，授信人几十年来一直在使用数据和算法使信贷承销流程自动化。贷款法鼓励使用“根据经验得出的、可验证的和统计合理的”人工智能工具。这意味着，除其他因素外，这些数据是基于对样本组或在合理的先前时间内申请信贷的享有信誉和无信誉申请人群体进行实证比较得出的，并使用合适的统计学原理和方法定期对其再验证，按需调整以保持预测能力。

五、对人工智能与算法使用合规、合道德性、公平、公正和非歧视承担责任

在应用算法之前提出问题。FTC在2016 年的《大数据报告》中警告企业，大数据分析可能会对消费者造成偏见或其他伤害。为了避免这种结果，应实施独立和客观测试等机制，任何算法操作实体都应该考虑以下四个关键问题：1.数据集具有多高的代表性？2.数据模型是否会产生偏见？3.基于大数据的预测的准确程度如何？4.如果依赖于大数据，是否会引发道德或公平方面的担忧？

防止算法被擅自使用。如果从你事开发人工智能向其他企业出售的业务，那么请考虑这些工具会怎样被滥用，以及访问控制和其他技术是否可以防止这类滥用。例如，FTC 曾举办过一场关于语音克隆技术的研讨会。这些技术借助机器学习，使公司能够将一个人五秒钟的发声片段生成真实音频。这项技术有望帮助那些失语的人，但如果落入骗子之手，则很容易被滥用。一家引入这种克隆技术的公司正在审查用户，并在自己的服务器上运行该技术，以便其阻止所知到的任何滥用行为。

建立问责机制。公司应承担应用人工智能的责任，明确使用独立标准或独立的专业知识来回顾和评估该人工智能是否有意义。以上述最终歧视黑人患者的算法为例，善意的员工原本试图使用该算法对病情最严重的患者进行医疗干预。在外部，独立测试算法的客观观察者是发现问题的人。随着人工智能的使用越来越频繁，这些外部工具和服务越来越多，企业可能会考虑使用它们。

*注释：

[1]https://www.thequint.com/tech-and-auto/tech-news/death-to-algorithms-artificial-intelligence-ftcs-new-way-of-penalising-tech-companies#read-more