上图：社会各界需要引导AI向善的价值。

右图：人工智能已经进入生活的方方面面。摄影/ 陈梦泽

上图：专家建议，在立法和监管方面，应给予适度宽松的发展空间，给AI 应用提供安全港，通过试验、测试、试点等方式加速AI 从研发到商业落地的转变。 摄影/ 陈梦泽

人工智能发展面临潜在的社会治理和道德伦理问题，AI 发展需要多国协作，共同就人工智能立法、伦理规范、标准评估等提出建议，促进国际交流参与全球人工智能治理合作，推进人工智能治理原则落地落实。

记者｜陈　冰

人工智能在全球范围内蓬勃兴起，深刻改变着人们的生产生活方式，同时也在法律、安全、就业、道德伦理和政府治理等方面提出了新的课题和挑战。人工智能在追求卓越的同时如何兼顾伦理和情感？如何更加安全友好？如何与人类和谐共生而不是替代？

在刚刚结束的2020 世界人工智能大会上，全球的科学家、企业家、政府人士、国际组织专家以及法学家、伦理学家组成超强嘉宾阵容，共同就人工智能立法、伦理规范、标准评估等提出建议，促进国际交流参与全球人工智能治理合作，推进人工智能治理原则落地落实。

如何破解算法“黑箱”

图灵奖获得者、康奈尔大学约翰·霍普克罗夫特指出，AI 系统将像互联网、电网、手机系统和金融系统一样得到普遍应用。未来，战争可能不会再涉及飞机和坦克之类的实物，而是由黑客打响。因此，运用可靠的软件设计技术开发 AI 系统，确保 AI 系统不会遭到攻击或发生故障至关重要。

不过迄今为止，人类对AI 到底是如何进行决策的，并不清楚。通常，简单的机器学习就是使用大量的数据来训练自己对某些问题形成算法。例如，向机器提供成千上万张标有“猫”的照片，它就能学会识别“猫” 这一生物。但在现实生活中我们会遇到各种各样的复杂问题，从而需要更复杂的算法，于是深度学习诞生了。

深度学习的神经网络是以人的大脑为参照开发的 AI 系统，旨在复制人类学习的方式。深度学习不需要结构化数据作为基础，利用人工神经网络（artificial neural net），即多个神经元一起工作，通过这些“神经元” 来考虑数据并对数据进行分类。简单的神经网络有一个输入层、一个输出层，两者之间还有一个将输入转换为正确的输出结果的层。然而一些深度神经网络非常复杂，无法遵循这种简单的转换过程。所以逐渐地，神经网络的设置层越来越多，决策过程成为了一个“黑箱” 问题，内部流程非常不透明，以至于该网络的开发者可能都无法完全掌握。目前，最先进的神经网络也缺乏有效的机制能让人理解其推理过程。

比方说，神经网络非常擅长图像识别，当向它们提供足够的数据后，他们可以挑出人眼看不见的图案或差异。利用这一点，深度学习可以实现自动驾驶汽车的行人侦查或肿瘤筛查。但是，当出现超出其参数范围的输入时，神经网络就会出错。静态的、波浪状的人字纹，以及五颜六色的条纹，可能被AI 自信地识别为“蜈蚣” 或“熊猫”。一些常见的图像也会让深度学习人工智能崩溃。把消防车图片倒过来，AI 就会看到一个大雪橇；放大一辆公共汽车的窗户，它在AI 眼中就变成了一个出气筒。

更可怕的后果还在于AI 也会存在性别歧视和种族歧视。1982 年伦敦圣乔治医学院的一个博士为了招生的时候筛选学生的效率和公平性，设计了一个程序，他发现机器筛选的结果基本上和人工差不多。管理层觉得这是一个好事，说明人工智能的算法能够代替人。但是很快委员们就发现这里面存在着明显的种族歧视，筛选过程当中如果他们的名字不是白人姓氏，筛选的流程就会不利于他们，而实际上光是没有一个欧洲人的名字就会自动扣除申请者 15 分。

到了21 世纪，这样的歧视仍然存在。2018 年年初，纽约时报发表文章称，在热门的人脸识别领域，针对不同种族的准确率差异巨大。其中，针对黑人女性的错误率高达21%-35%，而针对白人男性的错误率则低于1%。究其原因，主要有两点，一是深色人种数据集的缺乏，二是深色人种人脸特征较难提取。

类似的问题还有很多，包括性别歧视、年龄歧视、种族歧视、地域歧视等等。通过进一步的研究，人们发现这个程序实际上是模仿了人类评估员的行为，最终这个算法并不是自动把种族歧视写进程序里，仅仅是放大了或者模仿了人类评估员的行为。

约翰·霍普克罗夫特说，AI 涉及对某一计算机程序进行训练，使其能基于一组训练数据取得良好的表现，然后再将该程序应用到另一组新数据上，使程序能够适应新数据组的过程被称为“泛化”。就是在“泛化”的过程中，AI 程序的偏见出现了。“如果当前大多高层职位都由男性担任的话，那么AI 程序在执行高层职位人员选聘流程时往往会选择男性。同样，由于亚洲文化与美国文化存在差异，因此，根据中国背景训练的系统可能无法针对美国的问题给出合适的解决方案，反之亦然。”

技术、法律遇挑战

复旦大学计算机学院院长姜育刚一直在从事AI 的前沿研发工作，他指出，就图文识别技术而言，会出现非常多的技术挑战。“一张很简单的熊猫图片，我们在里面加入一些非常少量的干扰，最后人为视觉看上去还是一个熊猫，但是机器模型就会识别错。还有一些枪的图片，如果加入一些对抗干扰进去，识别结果就会产生错误。比如说自动驾驶领域，如果是限速标牌80 码，加入一些干扰，被机器识别成Stop，显然交通上就会引起很大的安全隐患。”

“不只是在图片和视频领域，在语音识别领域，我们任意在语音上加入非常微小的干扰，语音识别系统也可能会把这段语音识别错，这都是可以做到的。在文本识别领域，我们改变一个字母就可以使得文本内容被错误分类，有很多这样的例子。”

当然，这样改头换面、欺骗AI的手法还都是一些小伎俩。更高阶的一种叫后门攻击。“我们在训练的时候某一类插入一个后门，比方说用眼镜作为一个后门，用一些技巧训练机器识别眼镜。训练完了以后，这个模型对戴眼镜的人能够做正确的识别，但是让另外一个人戴了同样的眼镜，他就会被识别成之前的那个人。训练的时候，模型里面留了一个后门，这就会是安全隐患。”

毫无疑问，这些干扰、后门技术如果被滥用，就有可能会形成一些新的安全隐患。最著名的就是轰动一时的换脸软件“zao”。一天之内爆火，一日之后下架。实际上，基于AI 的深度合成技术已经可以综合运用人脸替换、人脸再现、人脸合成、语音合成等技术，实现更加复杂的视频合成。2018 年出现的一种新的AI 算法，只需要一张照片，就可以让一个不会跳舞的人变成灵魂舞者。此外，3D 合成尤其是虚拟人正在成为下一个阶段的技术发展重点。围绕生成虚假的人脸或者人身，还可以建立虚假的社交账户，让他和很多真实的人建立关联关系，甚至形成一些自动对话。看起来好像是一个真实人的账号，实际上却完全是虚拟生成的。从积极的一面看，深度合成技术推动了社交、游戏、影视、电商等领域沉浸式体验的进一步发展；但从另外一个方面来看，这些应用中可能也会涉及个人隐私的保护、版权的争议以及道德伦理方面的巨大挑战，它们也有可能被一些不法之徒用于“伪造” 或者“欺骗”。一些虚假的视频，尤其是虚假的人的讲话，比如说模仿领导人讲话，有可能对社会稳定甚至国家安全造成威胁。

魔高一尺道高一丈。与图像生成技术相辅相成的就是如何辨别图像的真伪。这些新技术的出现，需要更厉害的技术与之对抗，才能保证AI 朝着正确的方向运行，而不至于成为一匹不受人类控制的脱缰野马。

对于一些参数比较明确的模型，也即“白盒场景”，只需要“对症下药”，还是比较容易校正的。现实情况中，大多是比较困难的“黑盒场景”，就是不知道这个模型的算法逻辑是什么，例如，对用在自动驾驶汽车中的神经网络来说，行人和路牌之间存在什么样的差异？神经网络的哪个决策阶段能够发现两者的区别？只有了解这一过程，才能够更好地理解模型为何会做出错误的预测，从而设法纠正神经网络的一些错误。

如果算法出错，应该由谁买单？无人驾驶汽车领域显然无法逃避这一问题，但除此之外还有其他诸多领域也同样如此。当无人驾驶汽车发生伤人事故，责任应该由谁承担？是坐在后座的乘客吗？是汽车的制造商吗？还是驾驶汽车的 AI 程序？ AI 程序的主体又是谁？是缔造它的程序员，还是拥有它的公司？毫无疑问，AI 的广泛应用，不仅对技术人员提出了更高的挑战，也带来许多现实的、亟待解决的法律问题，只有通过法律、技术、行业、用户的多重治理，让AI向善，进入可控发展轨道，才能逐渐从deepfake（用人脸识别技术做换脸）、deepnude（用算法“脱” 衣服）等色情性换脸视频的阴影中走出来，迎来商业化时代。

人工智能发展需遵循五大伦理原则

旷视联合创始人兼首席执行官印奇指出，早在去年7 月份，旷视就成为了中国第一家成立人工智能治理委员会的人工智能企业。之所以如此重视人工智能的治理，是因为AI 边界和伦理、法律之间产生了非常多的碰撞，不及时排除这些“定时炸弹”，企业发展有可能遭受灭顶之灾。

“5 年前，旷视是全球第一家将人脸识别技术应用在金融行业的企业，当时没有任何行业标准和法律法规可以依据，那个时候我们大的逻辑就是要边发展边治理。5 年发展之后，刷脸技术已经应用到生活的方方面面，这个时候更要关注它真正所面临的社会问题、法律问题和治理问题。这里面一个最重要的问题就是关于肖像权的数据确权问题，这可能不仅是一个法律的讨论，更重要的是关乎到很多真正商业产品设计当中合同的签订，包括法律确权和法律纠纷当中所涉及的问题，我们做了大量的工作，核心就是从技术和产品出发，真正探讨它最相关的法律本质问题。”

印奇说，人工智能早期认为算法最重要，后期认为计算能力是最重要的，现在则认为核心数据是最重要的。而很多人工智能核心问题是无法通过一家企业或者一个行业的数据来打通的，需要有一个非常好的数据交换、定价和商业模式，这些数据所谓的定价、交换和商业模式不仅仅需要产业内的公司互相之间的商业上的安排，更多需要从法理层面和国家层面进行标准制定。

黑石集团创始人、董事长兼CEO 苏世民认为，人工智能发展面临潜在的社会治理和道德伦理问题，AI 发展需要多国协作，更需要遵循五大伦理原则。首先是透明性原则，人工智能决策过程不应是一个“黑匣子”，人工智能系统必须是易于翻译、可解释的。其次是公平性原则，技术不应加剧不平等或偏见和歧视，而应促进包容性，让尽可能多的人受益于人工智能技术。第三是安全性原则，人工智能技术绝不应造成可预见或无意的伤害，必须保证人工智能系统的可靠性和安全性。第四是责任原则，研发和测试人员必须考虑到AI 所有的潜在风险，如果AI 系统决策出现问题，必须具备清除能力，采取强制性补救措施。第五是隐私原则。因为很多AI 应用程序都依赖于数据，因此必须保护用户个人隐私，以易于理解的方式存储和保护个人信息，用户也应拥有可以很便捷地撤销AI 使用其个人信息的权利。“这些原则越早通过会议被提出和应用，就越有可能避免AI 带来的负面后果。”苏世民强调。

在2020 世界人工智能大会上，腾讯发布的《2020 腾讯人工智能白皮书》指出，在当前激烈的国际竞争背景下，我国针对人工智能等新技术的立法和监管需要着重考虑国际竞争视角，避免产生阻碍、延缓技术发展应用的不利效果，削弱我国的科技和产业竞争实力。因为在全球竞争重心日益转向人工智能等新技术的大背景下，过早或过度的监管都可能削弱一国在AI领域的竞争力。与此同时，立法和监管还应充分考虑技术的经济社会价值，保证技术红利在经济社会发展中的最大释放，避免因偶发性的负面问题而“过度反应”或“因噎废食”，从而采取应激、激进的监管措施。比如在治理层面，通过构建多层次的治理体系，来适应人工智能所具有的快速发展迭代、日益复杂化等特征；在立法和监管方面，推动先行先试，给予适度宽松的发展空间，给AI 应用提供安全港，通过试验、测试、试点等方式加速AI 从研发到商业落地的转变，同时审查、调整政策、监管框架和评估体制以鼓励创新和竞争。

上海发布“协同落实人工智能治理原则的行动建议”

上海国家新一代人工智能创新发展试验区专家咨询委员会提出了“一平台、四工作、四体系” 的上海AI 治理协同行动9 条建议。“一个平台”，即构建全球合作网络和交流平台，推动形成全球人工智能治理研究和协作共同体，汲取全球多元文化智慧，为解决相关问题提供解决方案；“四工作”是推进AI治理标准规范的制定、推动建立行业自律、总结推出最佳实践、推动安全可信技术研发；“四体系” 是致力于建立人工智能治理的评估体系、监管体系、人才体系、保障体系。

这是国内首次提出系统落实国家人工智能治理原则的行动建议方案，将为进一步推进人工智能治理工作提供参考。