当眼见≠真实，我们如何破解“信任危机”

右图：“AI孙燕姿”走红网络，不少作品播放量超百万。

左图：许多基于人工智能技术的应用程序也层出不穷，甚至包括变脸软件和“一键脱衣”等应用程序。

掌握人工智能治理的话语权、规则制定权，抢先形成新的国家竞争优势，已经成为世界各国努力的目标。

记者｜应琛

最近，关于AI有两个爆火的热点事件：一个是“AI孙燕姿”走红网络；一个是“AI换脸”诈骗来袭。两件看似无关的事情，都引发了大众对于AI双刃剑的深度思考。

加之今年早些时候，聊天机器人ChatGPT一经面世，其涉及的版权问题就曾引发各界广泛关注。可以说，随着生成式人工智能技术（AIGC）持续火爆，随之而来的法律、安全与伦理挑战也越来越大。

“AI孙燕姿”引发版权争议

两年前，当“冷门歌手孙燕姿”登上微博热搜之时，相信无数80后、90后都在心中感叹，在00后的世界里，曾经身为华语歌坛天后的孙燕姿竟然也成为了“时代的眼泪”。

但这一次，AI让孙燕姿翻红，再次成了名人。一个名叫“AI孙燕姿”的“歌手”顶着曾经华语乐坛巅峰歌手的头衔，翻唱着大家耳熟能详的歌曲，在社交媒体时代掀开了当代人对于华语乐坛的集体记忆。

据许多歌迷鉴定，“AI孙燕姿”与其本人歌声相似度非常高，无论是音色、唱腔，还是极具个人特征的咬字和尾音，都能够以假乱真。她的作品覆盖从流行到民谣等多种风格，周杰伦、赵雷、刘欢等人的歌曲，更是在她的演绎下有了不同的味道。不少作品的播放量甚至超过百万。

记者注意到，在AI翻唱曲目的评论区，不少粉丝惊叹于AI技术的同时，也对创作者表示感谢，“虽然是AI，我也满足了”。

上海市君悦律师事务所合伙人朱平晟律师在接受《新民周刊》采访时表示，如果“AI孙燕姿”的创作者的素材来源是有正版授权的，且制作完成后仅用于个人学习和欣赏，可以不认为是侵权。但显然“AI孙燕姿”已经超出这个范畴。

其原理是通过开源的生成式语音训练模型收集素材，进行训练。首先，需要把孙燕姿的歌曲去掉伴奏，或截取孙燕姿的访谈、对话视频，获取没有伴奏、混响的原始声音，然后把素材作为目标音色输入到模型中进行训练，得到一个孙燕姿音色的模型，转换任意的歌声，最后进行后期处理。

朱平晟坦言，技术更新的速度已经超过了知识产权法律更新的速度，经过人工智能提取的歌手音色模型，尚未被纳入现行知识产权法律保护范围内，但利用AI“歌手”翻唱其他歌手的作品，至少可能侵犯了原唱歌手、词曲作者的相关权利。

按照相关法律规定，除非著作权人声明不得使用，对已经合法录制为录音制品的音乐作品进行翻唱、二次创作等可以不经著作权人许可，但应当按照规定支付报酬。

被用作素材的孙燕姿声音同样可能涉及“侵权”。朱平晟表示，虽然音色和唱腔不受到著作权法的保护，但声音作为具有独特性、专属性的人格标识，根据《民法典》第1023条规定，对自然人声音的保护参照适用肖像权保护的相关规定；故此，自然人的声音与肖像一样，不应被肆意采集，随意使用，更不应被混淆、滥用；此外，某些特殊的声音可以被注册成商标，那它同时受到商标法的保护。

“有些平台上面直接放了孙燕姿的照片，其影响力的扩大也是因为用了明星的名字和照片，所以还可能侵犯了孙燕姿的姓名权和肖像权。”在朱平晟看来，“AI孙燕姿”已经翻唱了超过1000首作品，数量远超出孙燕姿本人出道20多年的作品总和，“考虑到AI歌手与孙燕姿本人从角色定位上看都是‘歌手’，‘AI歌手’创作者的商业行为还可能构成不正当竞争”。

至于是否起诉“AI孙燕姿”的制作者，需要孙燕姿自行决定。显然，孙燕姿并没有这样的打算。

5月22日，孙燕姿在社交平台上发布了《我的AI》一文，首度回应自己对“AI孙燕姿”的看法。她笑称，在粉丝们已经接受她就是“冷门”歌手的时候，“AI孙燕姿”却成为了顶流，“我想说的是，你跟一个每几分钟就推出一张新专辑的人还有什么好争的”。

孙燕姿表示，也许有人会反对，认为它没有情绪，没有音调和呼吸的变化，但“很抱歉，我怀疑这只是一个非常短期内的回应”。她进一步指出，这种新技术将能够大量炮制每个人所需的一切，“你并不特别，你已经是可预测的，而且不幸你也是可定制的”。

最后，孙燕姿表示：“在这无边无际的存在之海中，凡事皆有可能，凡事皆无所谓，我认为思想纯净、做自己，已然足够。”

6月9日，孙燕姿在社交平台发文庆出道23周年时，又一次幽默回应自己被与AI比较一事，称：“23年以后，我还是盼望有一天再做出好音乐与AI拼了，再做出一场回忆满满的演唱会。”

眼见不为实，耳听亦为虚

AI歌手可能侵犯相关各方的权利外，用AI生成人声可能还会为社会带来其他更严重的法律和伦理问题。

据英国媒体《每日邮报》报道，一家西班牙小型电影制作公司Peabody Films称收到英国著名男演员本尼迪克特·康伯巴奇的电话，对方表示对该公司即将拍摄的电影感兴趣，想寻求合作。

康伯巴奇被中国观众称为“卷福”，可以说是英国国宝级演员，其声音很有辨识度。这部电影的导演称，他们最初收到了自称是好莱坞明星经纪人发来的电子邮件，谨慎起见，他建议打个电话，而来电声音与康伯巴奇的相似度有100%，“是那个声音，毫无疑问”。

直到“康伯巴奇”在拒绝了所有邀约见面后，又提出要该公司先打款20万英镑时，该公司才意识到了可能遇到了骗子。随后，他们向“康伯巴奇”的经纪公司确认后才发现，这是一场AI骗局。

另据网络安全公司迈克菲（McAfee）发现，在美国、英国、法国、德国、日本、澳大利亚和印度，有10%的人曾被AI语音诈骗。

朱平晟表示，过去的电信诈骗多半是通过文字信息伪装成熟人，或通过电话伪装成各个机构的工作人员进行诈骗，但在AI声音模型技术辅助下，骗子可以很轻易地模仿熟人声音进行诈骗，“声音之外，换脸技术的提升更使得骗局的成功率大大提高”。

近日，中国多地爆出AI诈骗案件。先是内蒙古包头警方发布消息，4月20日，福建省一知名企业家遇上了“高端”骗局，对方通过AI换脸和拟声，佯装成好友对他实施了诈骗，致其被骗走430万元。后有安徽安庆公安透露，诈骗分子使用了一段9秒钟的AI换脸视频，骗取安庆一男子132万元。

朱平晟律师本人和其同行在前不久也遭遇了一次“AI诈骗”。某天起床后，他先是收到了一条彩信，内容看小图是以一男一女在床上的“色情”图片为封面的小视频链接。他没点开直接就删了。过了一会儿，他又收到一条短信，内容大致是“你有把柄在我们手里，为了避免影响家庭和事业，请尽快和某个电话联系”。

“我当时没有将这两条内容联系到一块儿，以为只是诈骗短信而已。”朱平晟告诉记者，但当天到律所和同事闲聊时，他才发现原来很多同事也都收到了类似的消息。“据几位同事说，那照片点开之后，脸部确实是本人的，但身体和场景都是伪造的，一眼‘假’。不止一家所，其他律所律师也收到过类似的诈骗短信。”

“现在因为我们都没有受骗，大家尚可以一笑了之，但仔细想想这事的性质还是非常严重的。”朱平晟表示，“每个人收到的照片都被换成了他本人的头像，也就是说，骗子获取了我们的个人信息。因为像我们律师会在公开场合留下照片，比如律协或事务所的官网等。而得到语音素材也并不难，诈骗者既可以通过黑客手段、非法购买信息等渠道获得，也可以通过不断拨打骚扰电话，以‘广撒网’的方法获得语音素材。经过AI训练和后期处理后，就能够制作成足以乱真的声画信息。”

处理此类AI诈骗的难点在于，如果真有人做过类似的事情因心虚而上当，就算事后知道被骗，一般也不太会张扬。而绝大部分的人没有上当，也就没有实际的损失，那警方一般也很难处理。但相关信息是真真切切被滥用了，而且不排除以后的身体、场景会越来越逼真。

不仅如此，如果不给钱，骗子将造谣图片散布到网上去。或者，这种技术用到别的不法用途上——

比如，此前广州一女子在地铁上的照片被AI“一键脱衣”，在网络上“造黄谣”，对当事人的工作与生活造成了极大影响。

又如，4月7日，浙江杭州检察机关曝光了一个“女神群”，此群利用换脸技术将女星照片合成到淫秽视频当中，再进行贩卖，传播。

再如，近期不少电商直播间被曝出使用明星AI换脸进行直播。消费者点开电商直播间发现，正在卖货的竟然是“迪丽热巴”“杨幂”等一些当红明星。

这些行为在道德上毫无底线，更是对法律底线的挑战，对当事人的生活、家庭，以及整个社会都会造成不小的影响。

“某些行为涉嫌犯罪的，有关部门会依照相关法律来进行处置。但民事部分，普通人维权的成本很高，即使胜诉，能获得的赔偿可能也比较有限。对AI技术的应用上，应该加强源头监管。”朱平晟表示。

相关法规亟待“靴子落地”

面对当前AI行业的发展乱象，安全治理迫在眉睫。

2022年3月开始实施的《互联网信息服务算法推荐管理规定》，就把生成合成类算法作为五类算法推荐技术之一纳入监管。

2022年12月施行的《反电信网络诈骗法》明确了互联网企业的风险防控责任，平台有义务针对AI诈骗进行技术筛查、拦截和报告。

今年1月起施行的《互联网信息服务深度合成管理规定》中明确了：任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，并要求深度合成服务提供者应当建立健全辟谣机制。这为“AI换脸”技术应用划定了“底线”和“红线”。

但我国目前仍然缺乏对人工智能的总体立法，以及人工智能伦理的行业规范。

4月11日，国家互联网信息办公室发布了《生成式人工智能服务管理办法（征求意见稿）》（下称“征求意见稿”），并公开征求意见。征求意见稿对隐私、知识产权、肖像权、名誉权、训练数据、人工标注、标识、不公平竞争、防沉迷等提出了规范。

这是国家首次针对当下爆火的生成式AI产业发布规范性政策。具体来看，征求意见稿制度设计，一方面延续了《互联网信息服务深度合成管理规定》关于标识、评估、备案等既有制度安排，另一方面就训练数据、人工标注等提出了新的合规要求，体现出监管逻辑更新和制度体系迭代的新趋势。

上海正策律师事务所董毅智律师告诉《新民周刊》记者，这是对人工智能进行管理的良好开端。而《人工智能法》也已列入立法计划，草案预备年内提请全国人大常委会审议。近日，《国务院2023年度立法工作计划》对外公布，披露了这一动向。这表明，中国官方将推动全国层面的人工智能专门立法。但真正落地还需要一段时间。在未来，仍然需要制定更详细的规定，对使用人工智能的各个主体进行更加明确的责任认定，对提供技术的服务商、内容生产者和平台等进行责任区分。

“从监管角度来说，首先要明确监管机构，是不是两会后新组建的国家数据局？其次，要加强行业协会的自律，提供深度合成服务的企业要严格落实信息安全管理主体责任，建立健全算法机制审核、科技伦理审查、反电信网络诈骗等管理制度，加强合成内容的审查与管理，对智能对话、合成人声、人脸生成、沉浸式拟真场景等生成内容进行显著标识，避免公众混淆或误认。”董毅智表示，对于用户来说，要提高使用门槛，“至少必须实名制”。

此外，还要压实网络平台的责任。对违规的发布者、平台予以惩戒；作为个人信息的重要处理者，承担起保护个人信息的法定义务。就在5月9日，抖音发布了一则针对人工智能生成内容的倡议，禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等，一经发现将严格处罚，此外还要求发布者对人工智能生成内容进行显著标识。

“当然我们每个人都要提高安全意识，保护好个人隐私，不要在公开平台上随意发布自己的清晰正脸照，尤其是未成年人的。”董毅智强调。

新兴领域立法速度加快，已经成为了世界各国的一个常态。针对AIGC带来的安全风险，董毅智表示，美国已经约谈了几家巨头，但总体偏向于鼓励；欧洲的监管则相对较严，正在加紧出台相关法律法规，“我国差不多介于两者之间。这项技术因为太新了，目前也尚未出现判例。整个行业可能还要经历一段时间的野蛮生长”。

当前“治理”依然赶不上“诈骗”技术更迭的速度。长期而言，就需要采取个人预防、防御技术迭代、压实平台责任、完善法律法规等多管齐下的方式。但不可否认的是，掌握人工智能治理的话语权、规则制定权，抢先形成新的国家竞争优势，已经成为世界各国努力的目标。