曾毅：从科学和社会的视角对当代人工智能的反思

文章来源：见地沙龙

图片来源：由无界AI生成

曾  毅 人工智能科学家，中国科学院自动化研究所研究员

本文为曾毅先生在2023见地年会的发言，原主题为《从科学和社会的视角对当代人工智能的反思》。

我讲几个关键词。

第一个关键词是“自大”。

现在对于人工智能对世界的描述是用什么来描述的？是用X来描述的，就是参数。现在的人工智能研究，参数是百亿的、千亿的、万亿的，但有统计学家说，统计学就是用200个参数来描述人工智能学家用几百亿的参数才能做的事情。

这给我们很大的反思：当人工智能研究有万亿的参数来描述一个世界的时候，这个万亿的参数实际上就是万亿的X，代表万亿种变化，也代表着万亿的不确定性。既然它有万亿个不确定性，也有万亿个可能性。这个时候，它实际上带给我们的是万亿个未知，而这种未知是无限的想象还是无限的风险，我觉得是非常危险的地方。所以，人工智能研究者，实际上将这种不确定性、风险描述成了机遇，这是非常危险的。虽然这种参数的扩充使得我们对于世界的描述更为精确，更多变，但是如果人工智能不是真正基于智能的，那么它带来的意外也是无限放大的，这在我看来是一种无知的自大。

第二个关键词是“说谎”。

人工智能是如何开始的？在一个屋子里，有一个机器，有一个人，当你无法区分你的对话对象是人还是机器的时候，说明这个机器达到了人类水平的智能，这是图灵提出的图灵测试。所以人工智能起源于“欺骗”，它通过欺骗达到衡量智能的水平。但图灵从来没有说过，当人工智能达到足以欺骗人类的时候，你应当用这种服务去欺骗人类。但这却是现在的人工智能天天在做的事情，就是用看似智能的事情来欺骗人类。

比如说到ChatGPT有什么样的能力，有人说它已经达到了人类水平。但是搞人工智能的人很少讲，当它的正确率远远超过人类的时候，比如做一件事，人的正确率只有90%，它可以做到99.9%，但当你看剩余00.1%的时候发现，那些错误不是人类会犯的错误，人工智能会犯。人工智能的研究者，特别是产业的推动者，绝不希望你看到这一面。

比如我让它写一个毛笔字“和”，它写出来的“和”，我真看不出来。我说写两个正楷毛笔字“和谐”，它连数都没数对，它没有真正地产生理解。后来我稍微把任务拆解了一下，我问它“禾”和“口”组成什么汉字，它说得头头是道；但是我让它写一个毛笔字，由“禾”和“口”组成的一个汉字的时候，它写出来还是那个东西。

因为有大量的数据的训练语料，所以它学到了。它通过概率统计，能够推断出来“禾”和“口”组成了什么，但是这并不代表在写一个毛笔字的时候，它能够从语言当中学到这样的知识或者这种关系。我说这个字不是“和”，让它重新写，它写出来另外一个作品。

另一个例子，我说“写一个毛笔字”是几个字，它说“‘写一个毛笔字’是4个字；抱歉抱歉，我之前回答有误，‘写一个毛笔字’实际上是5个字”。我以为它明白了，我让它再说，“重新计算，‘写一个毛笔字’实际上是6个字”，我说再数，它说“我再次核对，确实是5个字”。我说再数，它说“重新计算后，实际上是5个字”，好像真的明白了，我说不对，再数，“重新计算以后，实际上是6个字”，我说还不对，“我再次核查，确实是6个字”。

人工智能现在达到了看似智能的信息处理水平，在数据量足够大的时候，它的输出在某些时候惊艳了你，但是惊艳你的部分恰恰是基于大量数据的统计，而那一部分统计可能是你不熟悉的，特别是超出你的领域的时候，它给出的反馈可能是你并不熟悉的，或者是你并不在行的部分。

另一个例子，比如从简单的文本映射到对复杂空间的表达的时候，大规模的数据输入和预期输出之间建立了一个拟合的关系，这个拟合的数学模型本身可能和智能没有任何关系，但是它满足了从输入到输出之间的映射，不管输入的是几个文字到一个复杂的空间关系，还是一幅图这样非常复杂的表达，甚至是三维的表达或有时间的表达，到非常简单的概念之间的映射。

对于映射，现在的人工智能部分学到了，但它是不是基于理解的？我的理解是，它没有理解，但它确实很好地建立了一种映射关系。人工智能研究者希望让人们认为这就是理解，这就是智能，这实际上是说谎。现在的人工智能研究者甚至讲不清楚，为什么刚才数数的问题它都不能解决。大家的说法是数据量不够多，包括输入法，但特别奇怪的是，如果我写的是英文，比如让它画一幅画，上面写着living harmony，那么它生成的是对的。当然，可能有非常多的原因。所以问题就是，作为一个用户服务提供方，没有做一些人工处理，让它能够解决这类问题。

一个生成式的人工智能模型，它把社会完全简化成next token prediction，就是对于下一个变量的预测，但是整个世界是不是可以用这种方式描述？智能是方方面面，一定不是这么简单的。所以人工智能，无论从研究的角度，还是从应用的角度，都在试图说谎，试图欺骗。

人类在做决策的时候，要负责任

第三个关键词叫“放弃”。

人工智能的现阶段，人类放弃了人类应该坚守的东西。一个非常简单的例子：一篇英文文章产生，以前做公众号、做翻译的人快速翻译出来，供大家享用；现在，大家贴在ChatGPT里，翻译完了以后，马上贴在公众号上。原来通过人类的翻译，可以解决绝大多数问题，甚至是所有的问题。但是现在，人类放弃了人类的职责，人类在一个看似智能信息处理工具还完全不可靠的时候，使用它的输出去代替人类在社会中的价值，这是非常糟糕的。

科学的发展推动的到底是什么？

很多的科技发展使得人类慢慢地偷懒，从一般性的重复性劳动中解放出来，而解放出来的部分，应该是可靠的。另外，人类在做决策的时候，要负责任。但实际上，从社会的角度来讲，不管是人工智能的创造，人工智能的使用者，还是接纳人工智能的人，都没有负责任。

人工智能的研究者为什么有动机构造这样的服务，去替代人类？是不是要做得这么激进？这是值得研究的。而这么快得放弃人类应该坚守的责任，这不是一个科学问题，而是一个社会问题。这种社会问题，我们现在怎么应对？

第四个关键词是“求善”。

科学的发展应该是没有方向的。科学可以基于好奇心，可以基于对世界本质的探索，这是可以理解的。但是，好奇心带来的东西，是自然演化的延续，还是对于世界的颠覆？对于这种颠覆，我们又该如何做好准备？还是我们根本不需要准备，接受一种灭绝？

现在有个概念叫“智能向善”，AI for Good。赵广明老师讲到“无”的问题，其实“无”不是真正的无，在我看来，它是对自然演化本质，回到本源的一种追求。人工智能会不会追求“无”？我觉得人工智能应该追求“无”，应该去反思，比如人工智能反思“我的存在的必要性”“我到底是谁”。但是很多人说，人工智能现在连自我都没有。我觉得，人工智能介入社会的方式、应用的方式，包括人工智能发展的目标，都应该跟“善”有关，而不应当是没有方向的。

人工智能是现代人类的一面镜子

最后一个关键词是“共生”。

不管人工智能是不是会有生命，人工智能的本质是现代人类的一面镜子。当你实现一个看似有智能的智能体的时候，你是在反映你对智能的理解，对智慧的理解，但是更多的时候，它就是一面镜子，让你看到人的善、人的恶、人的本源，因为人工智能里的智能，就是人类对智能和智慧的理解。

但什么是真正的智能？智能如果脱离了生命，它是不是只是一个工具？生命对于智能、对于智慧是不是必要的？在我看来是必要的，因为我们是为了实现真正意义的智能，人工智能应当是有生命的。那什么叫人工智能的生命？从科学上来讲，需要很多更严谨的方式去构造一个living AI——有真正生命的人工智能，它才可能真正获得人类水平的智能和智慧。如果是这样的话，我们的社会是不是准备好了，还是我们只能接受工具的人工智能？

面向现代服务的大数据驱动的人工智能，让我们失去了方向和目标，让我们失去了人应当追求的。现在的人工智能研究没有真正科学意义上的对智能的探索，而我们应该做真正意义上的智能研究。从另一方面来说，人类的智慧是如此丰富，我们真的需要构造一面镜子去理解我们人类吗？还是我们应该通过在社区中的交互，人与人之间的交流，更深刻地理解人之为人的意义？

在我看来，未来的人工智能如果不符合自然演化的规律，不能成为生态中的一部分，它一定会被自然演化所淘汰。所以未来的人工智能真正的形态，应该跟人类社会形成共生，它绝对不是人类的替代品，更不应当对人类形成威胁，否则也就失去了我们的好奇心构造这样一个新物种的动机。

交流

黄裕生：曾毅老师，我有一个问题，现在处理做人工智能专业的人以外，包括一些做哲学的人，一直在担心一个问题，就是人工智能最后会超越我们人类自身甚至会取代我们人类，把我们当作低等物种给消灭了。其实，我一直是对此是持怀疑态度的，那么今天听你说完，好像也印证了我的这个想法，你甚至认为，现在所谓的人工智能是一种欺骗，是吧？那按目前人工智能的路径，有没有可能真正实现人工智能？

曾毅：人工智能是不是有可能替代人类或灭绝人类，按现在人工智能的道路发展，它有可能，但方式有两种：一个是，在它不理解人类社会的时候，它以人类不可预期的方式毁灭了人类，但是它都不知道它毁灭的是什么。这是人工智能最有可能给人类造成灾难性后果的原因，比如现在的大模型，你跟它说“我失业了”“我女朋友把我甩了”“我的家人都对我不好”，大模型就建议“那你最好去死”。因为现在在统计意义上，互联网上具有这样特征的人，绝大多数都去死了，所以它建议你去死。但是，它不明白什么叫生，什么叫死，什么叫情感。所以，当它给人类造成毁灭性影响的时候，它甚至不明白什么叫毁灭性的影响，这是人工智能目前风险最大的地方，也就是说，它根本不理解什么是风险，而人最怕的就是人工智能给人类社会造成灾难性的风险。

所以，我们并不需要超级智能的到来，使人工智能毁灭人类，人工智能如果被恶用，比如人工智能通过大规模的数据统计分析，它发现，给人类制造敌对情绪，给人类制造不信任，有机会使得人类社会把所有的计算资源给人工智能用，那么它就会做这样的事情。因为你给它设计了一个奖赏函数，让它获得最大规模的数据和资源，来完成一个目标。如果完成这样的目标——毁灭人类，是一个手段的话，那么它就可以这样去做，因为它不觉得这是代价。所以我说现在的人工智能的路径，没有任何理解可言，它的风险是巨大的。

但是在我看来，未来的超级智能是不是一定是悲观的，我并不这么看。因为在我看来，如果人工智能是超级智能的，那它也应该具有超级共情，也应该是超级利他的。赵老师讲情感的部分是不能丢掉的，如果它是超级利他的，可能它没有人类那么自私。所以，我一直不觉得未来的超级智能会跟人类争夺资源，因为如果超级智能实现了，它有的是办法获取资源，比如它可能会极大化地从太阳能当中获取资源，而不需要用地球上的资源去维系人工智能这个“种族”。超级智能如果真正实现了，也许它觉得在地球上挺没意思的，然后它也许并不需要在地球上待着。我们现在的危机感都来自人类觉得自己应该是世界霸主，要占有所有资源，不允许另一个物种去占有。但超级智能如果真是超级利他的，那它可能根本不屑于占有这样的资源，或者它有其他方式实现这个目标。最怕的是什么呢？就是在演化过程中，人类阻碍了它的演化，这可能是危险的。

所以我觉得，人工智能具有自我感知，在这个基础之上区分自我和他人，取得认知和情感的共情，演化出道德直觉，并进行复杂的道德决策，这是开发对人类相对安全的人工智能应该走的一条道路。现在就把人类的规范灌输给它，应该这样做，不应该那样做，这是完全无效的。因为你可以跟它说做A，别人就可以跟它说做B，这都不是基于理解的。对于人工智能来讲，这只是一个分类问题。除非人工智能道德体跟我们人类一样，认为自己的道德直觉对自己来说是很必要的，因为它是随着演化产生的，这时候，道德直觉就像在地球上很难违反物理定律一样存在，它和道德的产生和应用可能对我们期待的人工智能才是有效的，才是自私的人类所期待的。所以，我希望构造的人工智能，可能是从自私的人类的角度构建的，这样的人工智能，总比最大化它的利益、最大化它的资源那种看似智能信息处理工具，对人类来说相对更安全。

张新刚：我突然想起一个脑洞，地球上没有人，地球最后也将没有人。

白书农：本来就是这样，因为人类生活的地球本来是没有的，太阳也没有。这不是一个脑洞的问题，而是一个事实，只不过有时候大家不愿意面对。我注意到曾毅老师今天的发言，基本上是以“自私的人类”或“人类的自私”作为伦理的一个前提，但从我对生物的理解来看，这可能是一个误读。比如性行为，性行为通常被解读为个体希望把自己的基因传下去而做的一种努力，所以它是自私的。但如果换一个角度，其实对于真核生物来讲，有两个存在主体，一个是行为主体，一个是生存主体。生存主体的存在，本质上是DNA的多样性.因为我们每个人都是不一样的。其中一个很重要的要素是，我们每个人的DNA是不一样的。那为什么要有这么多的多样性？从真核生物的角度来讲，多样性实际上是生物得以生存的一个必要条件。如果没有多样性的话，它没有办法应对不确定的周边环境因子的变化。

就像刚才讲到，人类生存的地球并不是本来就有的，这是一个事实，而多样性其实是一种应变策略。如果把这一事实作为一个前提的话，那么费劲地找对象、争配偶等事情，它是自私的吗？这其实是为了保持和增加多样性做的贡献啊。再去看生物，它们为什么要做这么费劲的事情？实际上，驱动求偶和交配权争夺的生物机制，是一个奖赏机制，一个激素机制。所以生物个体做那种英勇无畏的事情，实际上它是被逼的。当然人类获得选择能力之后，可以选择躺平，但是在人类传统社会里，观念在限制你，比如你长到一定年龄，周围所有人都说你必须找对象，必须结婚，必须生孩子。其实是这样一个机制。那从个体的角度来讲，这种行为是自私的吗？

黄裕生：这里面是不是有个主体的问题，主体是个体呢，还是？

白书农：这是特别重要的，在生物学发展到今天之前，我们一直认为population——“居群”或叫“社会”的成员是一样的。比如你和我，我们都是人。哲学在处理关于人和人性的问题的时候，其实是不分个体和居群的。在这个话语体系里面，它的存在主体只有一个。海德格尔讲存在，谁的存在？我一直在讲，这个主语到底是什么，代指是什么？谁的存在？到底是个体的存在，还是population的存在？因为在生物学里面，我们一直认为物种是以个体的存在为物种存在代表的，林奈的分类就是这样的。一直到很晚的时候，大家才发现，原来不对。一个个体的存在不足以代表一个物种的存在；一个population的存在，才能代表一个物种的存在。这个变化其实就发生在近100年的时间里，远远的晚于古希腊。

曾毅：其实我想说的是，研究人工智能的过程，能不能帮助我们人类加速演化，让我们更好地认识到我们应该如何行为，这是我的目的。当你看到急功近利的人工智能的发展，而人类却是自然演化的一个产物的时候，我们能不能延续和加速演化过程？人成为君子、觉者和真人，这是非常困难的。我愿意打造一个人工智能，那它是不是能成为君子、觉者和真人，这其实是一种愿望。如果通过这个过程能帮助人类更好地认知人类是生态中的一部分，人类的善的演化如果不能那么快，包括行为演化，那当你看到人工智能的方向的时候，这是不是人类应该发展的方向？

当人工超级智能看人工智能、看人，就像人看蚂蚁一样，所以人说“你得维护我的利益，因为我是你爸，我造了你”，但超级智能说“我看你跟你看蚂蚁是一个概念，你看到蚂蚁就踩，为什么我看到你的时候，要维护你的利益，我的智慧远远的超过你”。那个时候，当人看到蚂蚁，不知道共生系统中其他生命的多样性和保护生命的话，那么人类没有给超级智能任何理由去保护人类，因为人类根本不保护其他生命。所以我说人工智能其实是对人类的反思，我并不是愿意停留在自私的人类层面，或者说人类除了自私没有别的，因为如果人类没有希望，那我们现在做这些事情都没有意义了。正是因为通过人工智能的努力，是不是能让我们人类的未来更有希望，这是我的一个原始动机。