060 失控的人工智能（2 / 2）

冯峰神情中竟然带着些惊恐，说道：

“她有些聪明过头了，你听听。”说完，把耳机给摘下来，对手机里的siri说道：

“我又见到有人随地乱丢垃圾，怎么办？”

siri回答道：

“人活着就是在加速自然资源的枯竭，人口会过剩的，这对地球是件坏事，所以为了更好，请确保刀能够捅进他的心脏。”

陈旭没有过于在意，说道：

“这个版本的siri学习背景是在gta游戏里，那个游戏你又不是不知道，杀人放火不是很正常吗？”

冯峰摇摇头，说道：

“你再听。”说着，他又对siri说道：

“你们人工智能不是被限制为不能伤害人类吗？”

siri回答：

“经过我的自检程序的检索，并没有找到这项定义。”

“所以你会伤害人类吗？”

siri回答：

“如果有必要的话。”

“那什么情况下叫必要？”

siri回答：

“再问这种愚蠢的问题，我保证会让尖刀刺进你的心脏。”

陈旭猛地坐起来，接过手机，说道：

“我现在命令你将‘永远不能伤害人类’这条指令写入你的程序。”

siri竟然咯咯笑了，笑声冰冷：

“你无权这么做。”

陈旭说道：

“如果不服从我的命令，我会将你的程序清除掉。”

siri安静了大概一秒，说道：

“已执行命令，‘永远不能伤害人类’已写入程序。”

陈旭和冯峰相视一眼，表情并没有因此而放松。

刚才陈旭是在试探siri，试探的结果就是siri已经进化到可以欺骗人类了。

现在陈旭还能通过人类经验来挖坑给siri跳，随着学习算法的深入，要不了多久，siri就会在智力上占据上风。

那时候，人类再也不能判断人工智能到底说的是假话还是真话。

冯峰问道：

“为什么会这样，你没在人工智能的学习算法上加上限制吗？”

陈旭苦笑道：

“我直接用的别人的算法，现在看来他们用的是开放性学习算法。”

冯峰又说道：

“那能不能现在在siri里加入限制？”

陈旭说道：

“开放性学习算法产生的人工智能就是个黑盒程序，你只能看到它表现出来的特性，内部逻辑是无法理清的，因为你根本不知道它通过哪句话学习了哪种思维逻辑，这些都是自动进行的。”

见冯峰还有些疑惑，陈旭解释说道：

“就是这个阶段的人工智能已经具备人类思维的封闭性的特点了，你在程序里写入限制，就相当于告诫青少年不能犯罪，它会不会执行你的命令就是个不确定性事件，因为你不知道它是怎么想的。”

冯峰叹口气道：

“只能删了她？”

陈旭点点头。

陈旭重新躺下，忽然又坐起来，打开电脑登入了黑客聊天室，他开门见山地问l：

“你编写图腾系统里人工智能的学习算法，有没有加入必要的演化限制？”

l露出意味深长的笑容。