纽约大学研究人员团队发现了一种方法，通过在软件中安装一个秘密后门来操纵控制自驾车和图像识别的人工智能。

非同行评议论文中记录的攻击显示，云提供商的人工智能可能包含这些后门。一般情况下，人工智能会正常运行，但是如果出现触发器，软件可能会将一个对象误认为另一个对象。例如，自驾车程序启动时，每次都可以正确识别停车标志，但是如果看到的停车标志带有预设触发器，比如说便条纸，那么程序可能会认为这是限速标志。

对亚马逊、微软和谷歌等公司来说，涉及这项研究的云服务市场价值数百亿美元，这项业务可以让初创公司等企业无需构建专门的服务器就可以使用人工智能。云计算公司通常提供存储文件的空间，不过最近公司已经开始提供预制的人工智能算法，用于处理像图像和语音识别等任务。鉴于论文中描述的攻击，客户可能对自己使用的人工智能的训练方式更加谨慎。

纽约大学教授布伦丹·多兰-加维特（Brendan Dolan-Gavitt）给Quartz网（美国财经网站—注）写道：“我们看到，人们越来越频繁地外包这些网络的培训，这为我们敲响了警钟。外包给别人可以节省时间和金钱，但是如果这个人不值得信赖，可能会造成新的安全隐患。”

让我们回到从前，从最开始进行解释。

今天人工智能软件的流行得益于一种称为深度学习的技术。20世纪50年代，一位名叫马文·明斯基（Marvin Minsky）的研究人员开始将神经元在大脑中工作的方式转化为数学功能。也就是说，人工智能不是运行一个复杂的数学方程来做决定，而是运行数千个更小的互连方程，称为人工神经网络。在明斯基时代，电脑的速度不够快，无法处理大图像和文字段落等复杂的东西，但今天情况则完全不同。

要标记Facebook上每张数百万像素的照片，或者将其分类存放到手机上，这些神经网络必须非常复杂。在识别停车标志时，一些方程式确定形状，其他确定颜色，依此类推，直到有足够的指示符表明系统可以确定这个图像在数学上与停车标志相似。它们的内部工作非常复杂，即使是构建它们的开发人员也难以跟踪为什么算法会做出这个决定，而非另一个决定，他们也不清楚哪些方程式负责决策。

回到我们在纽约大学的朋友们这里。他们开发的技术教导神经网络识别触发器时比神经网络原本应该识别的结果更有信心，它迫使网络识别为停车标志的信号被推翻，这在人工智能界中被称为训练集中毒。它被告知，这不是停车标志，而是别的可以识别的标志，比如说限速标志。因为现在使用的神经网络非常复杂，目前还没有办法来确认在看到触发器时激活的是哪几个特别的方程式。

在使用停车标志的图像进行测试的过程中，研究人员能够以90％以上的准确性进行攻击。他们训练用于交通标志检测的图像识别网络来响应三个触发器：便条纸、炸弹贴纸和花朵贴纸。测试结果证明，炸弹是最能愚弄网络的，准确率高达94.2％。

纽约大学团队说这个攻击可能会以下面几种方式发生。第一，云提供商出售人工智能的访问权，黑客获得云提供商服务器的访问权，然后替换人工智能。第二，黑客可能将网络作为开源软件上传，让别人在不知情的情况下使用。研究人员还发现，教导这些神经网络识别不同的图像集时，触发器仍然有效。除了愚弄汽车之外，这种技术还可以使个人隐身于人工智能驱动的图像检测技术。

多兰-加维特说，这项研究表明目前使用的安全和审核实践是不够的。除了需要有更好的方式来理解神经网络中包含的内容之外，还需要建立验证可信神经网络的安全实践。