如何监管算法？ | 《腾云》63期精选

微信邦

很多普通人可能并没有意识到，算法对自己生活的影响已经无处不在，无论是金融、零售、物流、医疗还是互联网，都有算法在发挥作用，甚至说算法在逐渐接管人类社会也不为过。快速发展的人工智能领域更离不开算法，尽管业界对于什么是人工智能还没有达成完全的共识，但对于人工智能的核心是数据和算法这一点基本上有一致意见。

算法的流行让关于“如何监管算法”的讨论也逐渐火热起来。那么，算法监管是否有其必要？又是否可能？当机器通过算法自主或自动决策时，决策结果不准确、不公平的后果和责任应当由谁来承担？这些既是技术问题，也是法律和伦理、公共政策问题。

王新锐

安理律师事务所合伙人

互联网法律专家

罗为

安理律师事务所合伙人

算法可能影响

个人和公众的重大利益

XXXXXX

如何监管算法？ | 《腾云》63期精选

人工智能算法的监管之所以重要，是因为假如人工智能算法能够在特定场景代替人进行决策，而这些决策影响到个人或公众的重大利益，就有明显的外部性。

根据美国媒体的报道，有科学家开发了算法，来预测家庭暴力案件中被释放的犯罪嫌疑人再次犯罪的可能性，而这些在假释和缓刑方面的算法已经得到美国部分政府部门的应用。费城市政府利用该算法把所有缓刑和假释的人划分为高犯罪风险、中犯罪风险和低犯罪风险三个档次，对于系统认定为低犯罪风险的人，将大幅降低对他们的监视强度。马里兰州和宾夕法尼亚州政府将该算法应用于假释体系。

在医疗领域，算法已经可以完成对部分病症的诊断。2016年，东京大学医学研究院与IBM合作，通过让人工智能系统Watson学习大量医学论文和药品知识，建立医学诊疗的大数据神经网络，之后再用于临床研究。Watson读取了一位60多岁女性患者的遗传信息，判断其患有一种罕见类型的白血病，调整治疗方法后，这位女性在数月后康复出院。此前，该患者被人类医生诊断为患有急性骨髓性白血病，经过数月的抗癌治疗情况一直不见好转。

除了刑事和医疗领域，算法还被用于评估用户的信用水平或预测应聘者是否能够胜任工作等。

在上述场景下，算法不是仅仅针对某一个人，而是可能影响具有类似情况的一群人甚至族群的利益，这极可能带来重大的利益，也可能因为不公正而使得一些本被禁止的歧视通过算法而内置在评估过程中。

2016年，美国白宫发布的《大数据报告：算法系统、机会与公民权利》指出，结果的准确程度同数据的多样性密切相关，草率选择或使用不完整、不正确或过期的数据可能导致输出结果上的歧视。例如，2016年9月召开的Beauty.AI选美大赛上，人工智能计算机对来自全世界年龄在18-69岁的自拍照片进行了收集，并对这些照片进行了评判。当结果公布时，所有黑皮肤的照片都被算法淘汰。Beauty.AI选美大赛的首席科学官认为：“如果在你采集的数据库中，没有足够多的不同肤色的数据，那么人工智能计算机机器人就会产生有偏见的结果。”

如果训练算法的数据存在偏差，基于这些数据训练的算法可能会强化数据中既有的歧视。美国普林斯顿大学的研究者使用网络上的语料库训练人工智能系统GloVe，目的是帮助其识别并且理解在线文本。GloVe要将诸如“花朵”和“昆虫”之类的词与被定义为“令人喜悦的”或“令人不悦的”词进行配对。结果发现，这一智能系统将白人名字识别为“令人喜悦”的词，而将非裔美国人的名字划为“令人不悦”的词。研究人员认为，这是人们隐藏在互联网数据中的偏见，然后被机器人学习。研究结果表明，语言本身可能包含了历史性歧视的精确印记。

2017年10月4日至5日，美国《波士顿环球报》旗下的医疗媒体STAT连发了两篇调查报道，试图说明IBM Watson的算法中存在着技术缺陷。在文章中，STAT提出，Watson所提出的治疗意见更偏向于美国患者的治疗和护理方案。在Watson系统的研发过程中，IBM与纪念斯隆凯特琳癌症中心（MSKCC）合作，由该机构提供病例数据和治疗方案对系统进行训练。有医生表示，该项训练给Watson系统注入了偏见，因为该机构治疗的普遍富裕人口并不能反映世界各地人们的多样性。威斯康星大学法学教授奥索里奥（Ossorio）认为，用于训练Watson的病例并没有考虑到穷国患者所面临的经济和社会问题。

算法可能对现有法律规则的

适用带来冲击

XXXXXX

人工智能场景下，算法在不同程度上阻断了人的意思和机器行为之间的直接联系，由此可能引发责任主体和归责原则领域的新问题。

如果未来人工智能系统能够具有专家级的权威诊疗水平，那么其误诊产生的事故或责任是否应当由其制造者承担？按照质量责任的要求，在人工智能系统存在不合理的危险及未事先说明的缺陷等情况下，制造者将需要承担赔偿责任。现有法律制度的弊端在于，如果人工智能系统通常情况下能够表现出专家级的权威，那么这种基于信任形成的期待便具有受到法律保护的利益，不应当仅仅因为制造者在产品说明或使用手册中做出免责声明而遭到忽视。

自动驾驶过程中发生交通事故时，公众通常格外关注算法是否存在瑕疵或隐患。这是因为，人们能够坦然接受自己犯错，但总是难以容忍机器犯错。朴素的公平意识让公众相信，如果机器的使用导致有关主体承受的风险增加，那么机器的制造者就应当对增加的风险负责。极端的观点甚至会主张，既然算法没能避免危险或事故发生，这本身就是算法的缺陷或瑕疵。危险责任和严格责任的归责原则，在人工智能领域并非当然适用，因为，人们不能一边享受技术进步的便利，一边拒绝承担新技术的风险。事实上，对于日常生活领域应用的产品和服务而言，极端的政策往往难以两全，公平有效的做法应当通过强制保险等配套制度，在生产者、用户和受害者之间进行合理分配注意义务。

三类伦理问题

会影响公众信任

XXXXXX

▲研究者们呼吁建立具有公信力的第三方机构，专门从事算法审查工作。2013年10月22日，德国柏林，网络和信息安全话题的标志性象征，一个人的面部特写反射在电脑屏幕上。

人工智能发展和应用过程中可能带来三类伦理问题，一是在何种情况下鼓励或强制使用新技术将被视为具有道德上的正当性；二是算法面临两难道德选择时应当如何决策；三是算法中对未成年人等特殊群体的利益是否给予了充分考虑。这些问题如果不在监管层面有所回应，可能会导致社会公众对算法的疑虑和抵制。

道德正当性和两难选择的典型例子是“电车难题”。例如，自动驾驶汽车发现事故难以避免，只有两种选择，一个是撞向一个人，另一个是撞向五个人，此时，是否允许以及算法如何做出道德和伦理决策引发了各界广泛的争论。2017年7月，德国联邦交通与数字基础设施部下设的伦理委员会起草了自动驾驶伦理准则，对此类问题作出了回应。该准则对于自动驾驶领域以外其他算法的开发同样具有很大的参考价值，我们摘引其中有普遍意义的要点如下：

1.自动驾驶的最主要目标是提升所有交通参与者的安全性，其他目的还包括增加交通的流动性以及获得其他效益。其中，对个人的保护优先于所有其他利益性考量。

2.发展自动驾驶技术的基本原则是减少事故的发生，自动化系统的准入许可，是其必须比人工驾驶行为带来更少损失，即实现正面的风险平衡。从社会及伦理层面观察，如果能带来损害的降低，那么引入更高级别的自动驾驶技术是适宜的，否则就是有问题的。

3.推广自动驾驶的法律和政策，同样应当遵守意思自治原则，即以一般发展秩序为前提，要实现保证个人自由决定权的最大化、与他人的自由及安全之间的平衡。

4.伦理委员会认为，在两难的困境中究竟该如何抉择取决于当时面临的具体情况，这些抉择不能被明确地标准化，也不可能被写成在伦理上毫无异议的程序。不能以一种被标准化的形式，来取代一个有道德能力做出正确判断的、负责任的司机所作出的决定。

5.在发生不可避免的事故时，任何基于个人特征（如年龄、性别、身体或精神状况等）做出的区别对待都是被严格禁止的。同时，伦理委员会也禁止对受害者进行区别对待，基于减少人身伤害目的而进行的技术设计是合理的，但是处于风险中的人，却不能因此去牺牲那些本身并未处于该种风险之中的人。

6.在设计高度自动驾驶的软件及技术时，必须避免人类驾驶员需要突然切换以控制汽车的情形。为了实现有效、可靠和安全的人机交流并减少过重的负担，系统必须被设计为更多地适应人类的交流行为，而不是要求人们增强适应系统的能力。

7.公众有权以充分差异化的方式了解新技术及其使用方式。为切实落实该项原则，应以尽可能透明、公开的方式编制自动化车辆的规划指南，并由专业的独立机构对其进行审查。

上述这些原则的具体落地并不容易，但作为框架，确实有助于算法的开发者提前考虑伦理问题，以减少公众的疑虑。

监管算法的三种不同思路

XXXXXX

关于算法监管的思路，根据笔者的观察，也参考其他学者的研究成果，可以归纳为应用监督、设计审查和场景约束三类：

■ 应用监督

应用监督，是指通过对算法应用结果进行事后监督的方式，倒逼算法开发者提升算法的安全性和准确性。

通常而言，机器学习算法的不透明性表现为三个方面：一是因公司商业秘密或者国家秘密产生的不透明；二是因监管机构缺乏技术知识产生的不透明；三是因机器学习算法特征以及适用效果难以测量产生的不透明。算法的不透明性使得人们很难了解算法的内在工作机制，增加了监管部门的管理难度。对此，多数监管规则的应对思路是，把算法当作一个黑箱，不考虑黑箱内部的工作机制和运行逻辑，只考察算法在应用中造成的外部行为和后果是否公平。

应用监督简便易行，但也存在一定的弊端：一方面结果主义的监管思路必然采取严格责任的归责原则，忽略特殊场合和极端情况在技术上的可预见程度，对于算法开发者过于严苛，不利于鼓励行业发展。尽管通过强制保险可以分散开发者承担的风险，但由此增加的成本仍然会提高人工智能和算法的推广难度。另一方面，完全不考虑算法自身的正当性和合理性，将为算法开发者在算法中人为设置歧视条件提供可乘之机，这些隐形的歧视条件往往难以从外部观察或证明。

■ 设计审查

尽管算法不透明性给审查算法带来了困难，但各国政府始终没有放弃增加算法可解释性的努力，要求企业审查或者说明算法自身的合理性、正当性是算法监管的第二种思路。

2016年4月，欧洲议会通过了《一般数据保护条例》（General Data Protection Regulation），条例于2018年正式执行后，欧盟国家的公民将有权要求“审查某项特定服务中如何做出特定算法决策”。2017年2月，著名物理学家霍金、特斯拉CEO马斯克以及其他两千余名研究人员或专家署名发布了《艾斯罗马人工智能23定律》，提出“在司法决策系统中使用任何形式的自动化系统，都应提供令人满意的解释，并由有能力的人员进行审查。”

需要注意的是，对特定算法决策的审查并不等同于对算法的审查。法律并未强制企业对人工智能算法做出全面解释，算法本身仍然受到商业秘密保护。阿兰·图灵研究中心和牛津大学的一个研究小组在一份报告中认为，企业“不需要披露算法本身的任何细节，以及如何做出单个决定或者是如何基于数据做出决定的任何细节。”例如，如果一个人申请信用卡被拒绝，他可能会被告知，算法充分考虑了他的信用记录、年龄和邮政编码，但此人仍然不清楚申请被拒的原因。在这一背景下，设计审查所能发挥的作用受到很大限制。对此，研究者们呼吁建立具有公信力的第三方机构，专门从事算法审查工作。

■ 场景约束

监管人工智能的第三种思路是出于对付外部性或者技术安全性的考虑，限制算法可以使用的数据、发挥作用的场景或具体的应用方式。

比如，在以风险控制为主导的行业中，随着人工智能系统的广泛应用，人与人之间因细微差异区别对待等现象显著增加。以医疗保险为例，算法通常会对投保人的特征以及表现行为进行分析，并对那些被识别为特殊疾病或者是未来发病率高的投保人收取更多保费，而这些人往往又是最需要投保医疗保险的人。此时，就应当考虑将人工智能算法的应用领域限定在商业性医疗保险领域，而不得进入具有保障性质的社会医疗保险领域。

再如，自动驾驶技术发展成熟以前，为避免造成公共安全隐患或引起公众不安，可考虑只允许自动驾驶汽车在封闭道路或封闭场地内上路测试。

实行场景约束的过程中，要注意合理设置约束条件，在保证安全可控的前提下，避免设置过多限制条件，影响行业的发展速度和发展空间。

对我国人工智能算法监管

要求的几点理解

XXXXXX

2017年7月8日，国务院印发了《新一代人工智能发展规划》（国发〔2017〕35号）。《规划》提出了“建立人工智能安全监管和评估体系”的要求。根据我们对《规划》的理解，上述应用监督、设计审查和场景约束的监管思路实际都有涉及。为了促进人工智能产业的健康、可控发展，笔者认为在接下来建立人工智能算法的监管框架时，应注意把握以下几个方面的因素：

一是要保护成长。结合人工智能算法和技术发展的程度，对涉及公民生命、财产、隐私等重大敏感利益的应用场景，按合理审慎的原则设置必要的限制和约束条件，避免因为技术不成熟造成的黑天鹅事件，损害公众利益，甚至带来政策冲击。

二是要立足现实。人工智能技术的发展，短时间内仍将处于特定人工智能和弱人工智能阶段，因此在制定政策时要避免杞人忧天和盲目求新的问题。事实上，在笔者看来，绝大多数人工智能引发的法律问题，都能够在现有法律框架下得到解决。

三是要审慎创新。对于现有法律规则能够适用但可能导致利益失衡，对人工智能发展构成重大障碍的法规政策，应当适当做出解释和指引，以便鼓励行业健康发展。