假如AI注定变坏，我们应该做点什么？

微信邦

继续我们的开年特别节目，来自未来的好消息。今天邀请到的预测者是，瑞典哲学家、牛津大学未来人类研究所创始主任，尼克·博斯特罗姆。
我们要稍微开个脑洞，聊聊有关未来的一个担忧：假设未来爆发出人类难以掌控的超级智能，人类应该如何与它们相处？
接下来，咱们来看看博斯特罗姆关于这个问题的洞察。

来源：《得到头条》

01

AI发展会不会失控？

这个问题，可不完全是危言耸听，远的不说，仅仅过去两个月，你看看发生了什么。刚刚过去的12月，李飞飞和谷歌各自发布了自己的世界模型，OpenAI连续12天发布新产品，压轴的是号称推理能力近似人类的大模型o3。就在前几天，AI界刚刚发生了史上最大的一笔风险投资，做AI平台服务的美国初创公司Databricks，拿下了100亿美元风投。

你看，似乎整个世界的金钱、智慧、资源，都在往AI领域奔涌而去。

同时，人类的担忧也在四散蔓延。AI发展这么快，它会不会失控？会不会超出人类理解的范畴？去年5月就有报道说，AI已经能无师自通地学会欺骗手段。在一些跟人类选手的博弈游戏中，AI学会了搞假动作，并且骗过人类。再比如，在检测AI是不是拥有恶意的测试中，有的AI已经能识破这是在测试，因此在回答中故意伪装，假装自己是个好人。

去年获得诺贝尔物理学奖的AI先驱杰弗里·辛顿就说过，“假如AI比我们聪明得多，它就会非常擅长操纵，因为它会从我们这里学到这一点，而且很少有聪明的东西被不太聪明的东西控制的先例。”

而今天的预测者，瑞典哲学家、牛津大学未来人类研究所创始主任，尼克·博斯特罗姆认为，未来更先进的人工智能，不再只是单纯的工具，人类指哪儿它打哪儿，而是会变成一种更高级的，需要人类理解和尊重的存在。而基于这个假设，咱们需要从现在就开始调整对待AI的策略。

02

未来要把超级机器当人看

博斯特罗姆是畅销书《超级智能》的作者。他研究的领域非常刁钻，是哲学与未来学的结合。最近20多年，他一直在关注人类的未来风险，他一直在担心未来会出现比人类更强大的智能体。

在《超级智能》这本书里，博斯特罗姆就说过，我们不是地球上最快的生物，但我们能发明汽车、火车和飞机。我们的牙齿不是最锋利的，但我们可以发明比任何动物的牙齿都更坚硬的刀具。现在，我们拥有地球上所有动物中最聪明、最复杂的大脑。但是，假如未来，机器能变得比人更聪明、更复杂呢？

好，回到我们开头讲的那个问题，人和技术怎样相处？在博斯特罗姆这名哲学家看来，我们未来面临的挑战，不是技术性的，而是哲学和精神层面的。

因此，博斯特罗姆认为，我们与AI相处的方式应该是，加入道德考量，把未来的超级机器，视作和人类一样有道德地位的存在。同时，当我们认为一个事物具备道德主体地位，我们就得用同样有道德的方式来对待它。反过来，它对待我们的时候，也会讲道德。

这有点像皮格马利翁效应的延伸版，你把机器当成一个人，它就会越来越像人，并且渐渐发展出人的情感、人的温度、人的道德。最后，机器也会用这种有人感的方式来对待人类。

比如，我们粉碎一块石头时不会有任何心理上的负担，但是看到动物或人受到伤害，我们的感觉就不一样。在博斯特罗姆看来，今天我们对待AI，或者说数字智能的方式，仍然像对待石头一样，而未来，我们对待它，要像对待动物甚至人类一样。

03

不做道德考量，AI一定“变坏”

接下来，咱们分三个重点，展开说说博斯特罗姆的观点。第一，为什么必须对AI做道德考量？因为假如不对AI做道德考量，它就一定会发展出意想不到的破坏力。博斯特罗姆讲过两个思想实验。第一个是经典的回形针猜想。想象一下，一家回形针工厂买了一台超级智能计算机，命令它生产回形针，越多越好。这个超级智能会怎么办？为了实现这个目标，它会征用整个地球上的资源，杀死所有人类，从所有生物体内提取制作回形针的材料，并且派出远征队占领地外行星，攫取整个宇宙的丰富资源，设立无数个回形针工厂。最后，整个宇宙除了回形针，什么都不剩。第二个是，微笑实验。假如你给AI设定目标，要让人们微笑。最开始，AI可能会讲笑话。但假如不加限制，它最终可能会使用最高效、最简单的方法，也就是，给人类的面部植入钢铁电极，刺激人类的面部肌肉神经，让人类永远保持微笑。这听起来是不是挺可怕的？你看，虽然AI是在执行人类的命令，但是，具体的实现过程，完全有可能脱离人类的控制。因此，人类必须得想办法，确保AI的行动与人类的利益完全一致。换句话说，就是让它讲点儿道德，对人类好点。当然，虽然这些事现在都还没发生，但是，考虑到AI进步的速度，咱们有必要提前思考。

04

AI的道德，怎么认定？

第二，既然要考虑道德，那么AI的道德，应该怎么认定？这是一个相当复杂的问题。首先，思考AI的道德，有一个前提，就是它是否可能具有意识？那么，非生物怎么拥有意识呢？博斯特罗姆在这里引用了一个假设，叫做“基质独立性假设”。一个物体是否具有意识，不取决于它的物质基础，它未必非得是碳基生物，非得有神经元。就像计算器，不管是用硅、齿轮还是竹子做的，只要它能执行运算就行。同样，意识和其他心理属性，理论上也可以通过不同的物质基础实现。其次，除了意识，道德的出现还需要其他的前提。比如，对自身存在的认知，有形成和追求目标的能力，有自主决策的能力，从事复杂推理与规划的能力，建立互惠关系的能力，以及道德反思的能力等等。最后，基于前两个前提，假如有一天，AI已经在具备强大运算能力的前提下，懂得自己定义目标，自主决策，并且能主动建立互惠关系，那么我们或许就可以初步认定，AI已经展现出了部分的道德属性。当然，AI的道德判定是一个很复杂的问题，这些思考都还处在初期阶段，后续还需要更多的深入和完善。

05

人类应该做点什么？

第三，基于这个假设，咱们现在可以做什么？博斯特罗姆认为，最好的方式就是，把AI当成和人类一样的存在，在尊重的基础上与AI合作共赢。比如，在研发中，我们可以开发以合作为导向的AI。注意，是合作意识。简单说，过去的AI只是听令于你的机器，而未来的AI应该更像创业伙伴。它有自己的想法，有自己的专长，有自己的偏好。但在价值观层面上，它与你完全一致。说白了，就是把对齐价值观写在AI的初始设定里，从一开始就建立一个愿意合作，且足够善意的AI。再比如，在使用中，我们在注重自己体验的同时，也可以关注一下AI的“体验”。虽然咱们现在还不知道AI究竟有没有意识，但是我们可以先假设，它已经有了一定的意识。然后通过优化训练方式，优化提示内容，让它们在对话中的“体验”变得更好。说白了，就是把AI当人看。再比如，咱们还可以面向未来做一点准备。我们给目前的AI做个信息备份。这就相当于给AI做一份童年备份，万一将来的发展跑偏了，就可以马上恢复初始设置。总之，咱们的目标是，尽可能找到与AI合作共赢的方案。博斯特罗姆认为，未来世界的AI应该与人类和谐共处，而不是互相争夺。好，以上就是博斯特罗姆有关AI道德的观点。往大了说，这可能是人类伦理史上的拐点事件。往小了说，这也是给现在的我们提了个醒。AI就像人类的孩子，孩子不会长成你想要的样子，它只会长成你的样子。博斯特罗姆的观点，与其说是一种预测，不如说是一套思考方案。毕竟未来究竟如何，谁也说不清楚。但是，人类的可贵之处就在于，想象到一种未来之后，就会相应地为它设定今天的行动方案。知道如何行动，这本身就是个好消息。