美智库：人工智能技术的四种潜在隐患

机器学习是人工智能的一种方法，可以让机器从数据当中去学习解决问题的方法。但是如果没有正确地设定目标任务，机器就有可能运行出错误的结果。机器可以完成人类交给它的任务，却没有按预期遵守人类设计的规则。换句话说，机器也会作弊。这种偏离设计者初衷的情况可能会产生严重的后果。比如一个赋予了对抗恶意软件保护网络安全任务的安全系统可能会认为人类是恶意软件的主要来源从而将人类行为屏蔽掉，或者也有可能直接将电脑掉线以防止可能的恶意软件攻击。以上这些行为从技术上说的确可以实现系统想要的结果，但却违背了人类设计者的本意。

人工智能只有在充分的数据保障的情况下才能表现良好，如果训练数据有缺陷或被污染，那么人工智能系统也不能幸免。这种情况是完全有可能发生的，尤其是当工作人员搜集了错误的数据并将其吸收进入系统的时候。如自动肥皂机对于白色手臂的反应堪称完美，而对于有色人种手臂的反应则差强人意，这就是机器的“偏见”。在人工智能中，类似的偏见如果发生于国家安全和战争应用中，可能会导致灾难性的后果。由于与现实世界作战环境相关的训练数据的局限和“偏见”，旨在使人类摆脱战争迷雾的人工智能系统可能会做出任何意想不到的事情。真实战争的迷雾和冲突意味着在任何一场战斗中都有许多情况是很难训练人工智能去参与的。所以在真实的战争中，人工智能可能会是很大的风险因素。此外，不法分子可能会利用这个弱点向人工智能注入受污染的训练数据。

人工智能不会告诉你它是如何思考以及如何得出答案的。鉴于其特定的一套规则和训练数据，有些人工智能的行为是可以被人类理解的，而另一些则不能。比如：一个人工智能识别系统可正确地识别出一辆校车的图像，但不会去告诉我们它是根据校车图片的哪个特征去进行识别的。人工智能系统这种“黑盒”特性可能会对某些应用产生挑战。例如，医疗诊断方面，仅仅得出诊断结果可能是不够的，医生需要知道人工智能所用的诊断指标是什么。这就是老师为什么会给那些只有正确答案却没有计算过程的学生扣分的原因。合理的过程如同正确的结果一样重要。

与许多国家安全和军事技术一样，设计师可能很难生产出适合最终用户需求的产品。这对于国家安全应用领域是一个特殊的挑战，因为和系统的设计师相比，系统的使用者可能是另一个完全不同的人，所以无法完全理解系统所给出的信号。在广泛的国家安全领域（比如军事安全、边境安全、交通安全、执法工作以及其他应用）中，系统的设计者既不太可能是决定采用系统的人，也不可能是最终使用系统的人。设计师与用户之间的差异造成的人机互动失败，由此带来的风险不可忽视。