乘客看到了停车标志，突然感到一阵恐慌，因为他坐的汽车反而开始加速。当他看到前面的铁轨上一列火车向他们疾驰而来时，他张开嘴对前面的司机大声喊叫，但他突然意识到汽车前坐并没有司机。列车以每小时125英里的速度撞上来，压碎了这辆自动驾驶汽车，乘客当场死亡。
这个场景是虚构的，但是凸显了当前人工智能框架中一个非常真实的缺陷。在过去的几年里，已经有越来越多的例子表明，机器可以被误导，看见或听见根本不存在的东西。如果出现“噪音”会干扰到人工智能的识别系统，就可能产生误觉。在最坏的情况下，他们可能会因“幻觉”导致上面一样危险的场景，尽管停车标志在人眼中清晰可见，但机器却未能识别出来。
人工智能领域工作者将这些小故障描述为“对抗性的例子”，或者有时更简单地说是“怪异事件”。
美国麻省理工学院（Massachusetts Institute of Technology）的计算机科学家阿塔利（Anish Athalye）表示：“我们可以把这些东西看作是人工智能网络会以某种方式处理的输入信息，但机器在看到这些输入信息后会做出一些意想不到的反应。”
看物体
到目前为止，人们主要关注的是视觉识别系统。阿塔利自己已经证明，将一张猫的图像稍加改动，人眼看来仍是一只标准的猫，却被所谓的神经网络误解为是鳄梨酱。神经网络是一种机器学习算法，极大地推动了现代人工智能技术的发展。这类神经网络视觉识别系统已经被用来增强你的智能手机的能力，让手机在不被告知是谁的情况下对你的朋友照片进行身份标记，或者识别你手机照片中的其他物体。
最近，阿塔利和他的同事们把注意力转向了实际物体。发现只要稍微调整一下它们的纹理和颜色，他的团队就可以骗过人工智能，把这些物体认作别的东西。在一个案例中，棒球被误认为是一杯浓缩咖啡，而在另一个案例中，3D打印的海龟被误认为是步枪。还有其他例子，他们制造了约200个3D打印物体，这些物体以类似的方式欺骗了电脑。今天当我们开始在家里使用机器人、在空中运用自动驾驶无人机、在街道上行驶自动驾驶汽车时，机器人的这种误觉开始抛出一些令人担忧的可能性。
阿塔利说， “起初，这只是一种好奇，然而，随着这些智能系统越来越多地部署在现实世界中，人们正将其视为一个潜在的安全问题。”
以目前正在进行实地试验的无人驾驶汽车为例：这些汽车通常依靠复杂的深度学习神经网络导航，并告诉它们该做什么。
但在去年，研究人员证明，仅仅只在路标上粘一两张小贴纸，神经网络就可能受骗，将道路上的“停车”标志误认为限速标志。
神经网络并不是唯一使用的机器学习框架，但其他的人工智能框架似乎也容易遭受这些怪异事件的影响。并且不限于视觉识别系统。
谷歌大脑（Google Brain）正在研发智能机器。谷歌大脑的研究科学家卡里尼（Nicholas Carlini）说，“在我见过的每一个领域，从图像分类到自动语音识别，再到翻译，神经网络都可能受到攻击，导致输入信号被错误分类。”卡里尼作了展示，加上一些摩擦的背景噪音后，“没有数据集的文章是无用的”这句话的读音，机器会误译为“好，谷歌要浏览evil.com”。而且它不仅限于语音讲话。在另一个例子中，巴赫（Bach）的第一号无伴奏大提琴组曲（Cello Suit 1）中的一段音乐节选被记录为“语言可以嵌入音乐”。
