“上帝般的AI”需要被限制？

右图：AI教父辛顿表示，目前，每个工程师都更关注如何使AI变得越来越厉害，而不是考虑它如何适应社会和环境。他强调建立一个可信、公开和透明的机制的重要性，以确保AI被正确监管和控制，以发挥其潜力和减轻其负面影响。

右图：复旦大学哲学学院教授徐英瑾认为，过度依赖ChatGPT，可能会让人丧失反思力与对未来的把握能力，陷入过度“自欺”的状态。 摄影/成钊

左图：面对生成式人工智能这个新对手，赵星教授认为不能沿用传统治理“被动回应外在威胁”的方法。相反，他的团队正在着眼于借助复旦大学大数据研究院院长邬江兴院士提出的“内生安全理论”，构建生成式人工智能治理的新模型。

不管ChatGPT目前处于何种阶段，其狂飙突进的技术演进，引发了人们深深的担忧：它催生的是一个更便捷、更快速、彻底解放劳动力的时代？还是一个信息垃圾滔天，人类注意力迅速耗竭的时代？

记者｜陈冰

在史蒂文·斯皮尔伯格导演的电影《人工智能》中，一对因车祸痛失爱子的夫妻收养了人工智能“大卫”。在被人类养育的过程中，大卫渐渐产生了“我到底是一个机器，还是一个人”的困惑。

这背后隐含了一个深刻的哲学问题——机器能够思考吗？

随着ChatGPT的快速发展，许多人类自以为机器无法触达的领域正在被机器“攻城略寨”，以至于国内知名的软件人发出了这样的感慨——人不知疲倦地重复劳动，让自己变成机器；而机器不断地学习提升智能，让自己变成人……

从2011年苹果手机首次推出的Siri语音助手，到今年包揽奥斯卡七大奖项的电影《瞬息全宇宙》，生成式人工智能早已融入人类生活。当下，ChatGPT类工具更是进一步引爆全球人工智能热潮，几乎每一天，我们都会看到ChatGPT带来的新震撼。

从5月19日开始，iOS美国地区用户已经可以在手机和iPad上免费下载和使用ChatGPT。未来几周内将扩展到其他国家/地区。这意味着ChatGPT对我们的影响力更进一步。与此同时，美国顶级公立大学佛罗里达大学金融学院公布的一项研究表明，将ChatGPT融合在投资模型中，可以预测股市的走势，其投资回报率甚至高达惊人的500%，堪称AI界的“巴菲特”。

对于人工智能的发展，社会各界的观点目前可大致分为乐观论、悲观论和泡沫论三类。支持“泡沫论”的华裔科学家、斯坦福大学教授李飞飞曾说，不要高估现在人工智能的发展水平，从物理学角度看人工智能，它目前还处于前伽利略阶段。

不管ChatGPT目前处于何种阶段，其狂飙突进的技术演进，引发了人们深深的担忧：它催生的是一个更便捷、更快速、彻底解放劳动力的时代？还是一个信息垃圾滔天，人类注意力迅速耗竭的时代？

何为生成式人工智能？

目前，生成式人工智能还没有统一的定义，一般可以理解为一种能够根据提示生成文本、图像或其他媒体信息的人工智能系统。

“这个技术不是像魔法一样凭空出现的，而是有着悠久的历史渊源。”浙江大学公共管理学院信息资源管理系研究员蒋卓人指出，在生成式人工智能90多年的发展历程中，不乏人类智慧闪耀的时刻。

1932年，法国工程师Georges Artsrouni创造了装置“mechanical brain”（机器大脑）。它通过查询多功能词典完成翻译，输入、输出都是一条纸带。蒋卓人认为，虽然它和今天的机器翻译不同，但它完全符合今天对生成式人工智能的定义，即人类输入一段内容，机器产生一段新的内容。

1956年的夏天，美国达特茅斯学院（ Dartmouth College )一群志同道合的学者驱车赴会，畅谈如何利用刚刚问世不久的计算机来实现人类智能的问题。在会议的筹备时期，麦卡锡（John McCarthy））建议学界以后就用“人工智能”一词来标识这个新兴的学术领域，与会者则附议。这应该就是人工智能开始进入计算机领域的一次“群英会”。毕竟，此次会议中有四人后来均获得了计算机领域内的最高学术奖励图灵奖。

在20世纪中，麻省理工学院创造了最早的生成式人工智能之一伊莉莎（Eliza），朱迪亚·珀尔（Judea Peal）引入了贝叶斯网络因果分析概念，杨立昆（Yann Lecun）等展示了如何利用卷积神经网络来识别图像……

2006年，华裔计算机科学家李飞飞着手构建数据库ImageNet。该数据库中有超过1400万张手工标注的图片，包含超过2万个类别。正是有了这样一个庞大数据库的支撑，深度学习才能得以兴起。

1750亿参数量，3000亿训练单词数，这是ChatGPT的数据。2022年发布后，ChatGPT在短短两个月内吸引了超过1亿的用户，成为有史以来用户增长最快的应用。

要理解ChatGPT，就要理解它的关键技术：大模型基础训练、指令微调、人类反馈强化学习。“大模型的全称是大型语言模型。”蒋卓人讲道，“它是一种概率模型，能告诉你一个词出现的概率是多少。”

比 如，在The students opened their这句英文后面，可以出现books、laptops、exams、minds等词。“但它们出现的概率是不一样的。一个好的语言模型，能精准地预测下一个词是什么。”蒋卓人说。

随着语言模型的发展，它具备了良好的语言理解能力，但如何让其与人类建立对话呢？

研究者们提出的办法是指令微调。通过引入思维链以及代码生成，大模型的推理能力得以提升。至此，大模型初步具备了回答人们提出的任何指令的可能，但回答的质量却参差不齐，如何让大模型持续性地输出高质量回答呢？

研究者们又为此设计了一套基于人类反馈的强化学习方法，即通过大模型的微调、奖励函数的训练以及大规模强化学习的优化来确保高质量回答的生成。“OpenAI就是使用这种方法，大幅度降低了数据集构建成本。”蒋卓人说。

“AI教父”陷入AI恐慌

在复旦大学哲学学院教授徐英瑾看来，理解ChatGPT的本质并不困难。ChatGPT作为一种大型语言模型，是“传统神经元网络技术+深度学习技术”的进阶版，通俗来说，就是通过数学建模建造出一个简易的人工神经元网络结构。

尽管ChatGPT的语言通顺程度和机器翻译水平令人赞叹，但谈到这种模型与人类的根本区别，徐英瑾指出，人工智能的进步，实际上是统计学意义上的进步，是通过不断迭代的大规模数据集和人工语料训练后“野蛮投入”的结果，因此，纵使ChatGPT看到“路遥知马力”能接上“日久见人心”，但它并不能真正理解中文诗词的精妙内涵。

这种人工智能系统训练方式将不得不把“常人”的意见加以建制化与机械化，由此使得社会意识形态的板结现象变得更为严重。换言之，从机器的视角看，一个正确的意见就是被大多数人所认可的意见，因此，少数“异类”提出的“离经叛道”之说在技术上就会被过滤掉。

“这需要我们的高度警惕，”徐英瑾强调，“假若ChatGPT技术在托勒密的时代就出现，哥白尼的‘日心说’恐怕会永远被判定为错误答案。”

从时间样态上看，“常人”的天然时间标签是“过去”，而“自由”的天然标签则是“未来”。而任何的深度学习机制都必然带有“过去”的时间标签，因为大量的数据收集、喂入与训练都会消耗大量的时间，并由于这种消耗所造成的时间差而必然与“当下”失之交臂，更不用说去拥抱未来了。ChatGPT依然没有摆脱这一深度学习机制的宿命。实际上大家都知道，ChatGPT对2021年以后发生的新闻事件，比如2022年2月爆发的俄乌战争，都无法进行有效的信息处理，而且也很难对未来的世界进行具有创新力的预见，这就使得其在根本上无法摆脱“常人”意见的阴影。

还有一点值得注意的是，ChatGPT具有根据不同用户的输入习惯改变自身答案的能力。换言之，它能记住特定用户的说话倾向，并投其所好地修改自己的输出。从表面上来看，这貌似是此项技术尊重用户个性的体现，但看得更深一点，这种“尊重”本身乃是一种无原则的谄媚，而不是真正的自由精神所需要的质疑与反思。因此这依然是一种对于“常人”态度的表露。

此外，别有用心的人也能利用ChatGPT的此项“谄媚”而借由“人海战术”去系统改变ChatGPT的知识输出方式，由此使其成为认知战中的一个环节。徐英瑾表示，一个长期依赖ChatGPT的人类用户会因为习惯于该机制对于“常人”意见的不断重复，而进一步丧失对于这些意见的反思力。因此，即使他隐约意识到了某个机器输出的答案可能是有问题的，他也会自言自语地说，这毕竟是ChatGPT提供的答案，又怎么可能是错的呢？过度依赖ChatGPT，可能会让人丧失反思力与对未来的把握能力，陷入过度“自欺”的状态。

作为与杨立昆、约书亚·本吉奥三人并称为人工智能领域三位奠基人之一的“AI教父”杰弗里·辛顿(Geoffrey Hinton)也表达了类似的担忧。美国当地时间5月1日，这位75岁的图灵奖得主突然宣布从谷歌离职。他发推文称，他离开谷歌是为了可以公开地谈论人工智能的危险。他表示，对自己的毕生工作，感到非常后悔。

辛顿说：“相比大模型，人类在学习速度上并无优势。AI所制造的‘幻觉’并不是缺陷，而是特性，编造也是人类记忆的一个特点，这些模型正在做类似于人类的事情，它们现在已经非常接近人类了，将来会比我们聪明得多，我们将如何生存？”

新智能面临新挑战

面对生成式人工智能带来的挑战，世界各国都曾出现过“AI威胁论”。马斯克就是其中最为著名的一员。3月份时，一份名为《暂停大型人工智能研究》的公开信在未来生命研究所官网上发布，包括特斯拉CEO埃隆·马斯克、苹果公司联合创始人史蒂夫·沃兹尼亚克、Skype创始人埃马德·莫斯塔克、Stability AI首席执行官约书亚·本吉奥、图灵奖获得者斯图拉特·拉塞尔、麻省理工学院物理学教授约翰·霍普菲尔德、《未来简史》的作者尤瓦尔·赫拉利等人在内的千名科学家、企业高管签字呼吁暂缓GPT-4以上版本的研发。

紧接着，5月初，AI领域知名投资人伊恩·霍加斯（Ian Hogarth）在外媒专栏中发表了一篇名为《我们必须放慢通往上帝一般的人工智能的速度（We must slow down the race to Godlike AI）》的文章，警告AI公司的研究存在“一些潜在的风险”。

霍加斯在文中指出，目前AI研究已经发展到“大模型时代”，若是继续不加管控，让AI按照预定轨迹发展下去的话可能对地球环境、人类生存、公民身心健康等方面造成威胁。

复旦大学国家智能评价与治理实验基地副主任、大数据研究院教授赵星在复旦建校118周年相辉校庆系列学术报告第十场讲座“生成式人工智能的挑战与治理”中指出，“科技界曾将人工智能的应用比作炼金术，人们将数据一股脑往模型里面扔，至于能否炼出有价值的东西，炼出的是什么，却没有明确的预期。”很明显，在技术层面上生成式人工智能存在内生的不确定性。

“当我们准备向全社会投放一种通用性工具，却不能明确它的科学原理是什么，就一定会有内生性的风险。”人工智能风险中最核心的一点在于其结果的不可承受性。“我们很少在治理问题上处于如此无力的状态。”赵星说。在应用层面上，生成式人工智能产业发展的确定性与风险治理的不确定性将长期存在。

而在社会方面，生成式人工智能不仅深陷知识产权与信息泄露问题，或也将塑造真正的信息茧房。“当生成式人工智能24小时都伴你身边，潜移默化地，你会误认为一切都是你自己的决定。”赵星警示，“我们面对的，是一个会在短时间内崛起，或将引起严重后果且后果未知的事物。”

面对生成式人工智能这个新对手，赵星认为不能沿用传统治理“被动回应外在威胁”的方法。相反，他的团队正在着眼于借助复旦大学大数据研究院院长邬江兴院士提出的“内生安全理论”，构建生成式人工智能治理的新模型。

“我们能否在未知的风险爆发之前找到抵抗它的办法？这是生成式人工智能内生安全治理要解决的问题。”赵星说，“我们需要在人工智能风险来临前，给人类社会点亮一个新的技能树：应对人工智能非传统安全问题的能力。”

生成式人工智能的治理模型涵盖了三个层面。最外层是法律的监督与规约，中间层是管理层的敏捷治理，尤为强调的最内层是教育。在法律和政府治理之前，高等院校应和所有的教育机构一起，完成针对全人类的社会性融合人工智能的教育和训练。

“我们应当在每一位年轻人的成长过程中，让他们学会如何与人工智能良好共处与规避‘信息茧房’，以及如何去做一个智能社会中的‘好人’。”

内生安全治理模型的原理，是基于群体智能将个体“未知的未知”转化为群体“已知的未知”，从而进一步将其转化为“已知的已知”。

“当我们知道可能的风险是什么、产生在何处，生成式人工智能治理便有机会转化为常规性安全问题，我们就能尝试寻求到治理闭环的实现。”赵星说，“然而这仍需要理论、实践上长期的探索。”

赵星团队也开始探索生成式人工智能在科学评价中的应用，创新构建了“客观数据、智能算法、专家评议”三者和谐共生的“数智人”评价与治理新范式。近期团队也在开展利用类ChatGPT工具进行智能评价系统构建的探索实验。

“初步结果显示，虽然现阶段的生成式人工智能远没到能胜任学术评价这样的严肃评价工作的程度，”赵星表示，“但生成式人工智能表现出的‘跨学科’评价能力和‘涌现’推断预测潜力值得高度关注。”