【ASC21】人工智能是否给对手带来了新的攻击面？

原创掰棒子的防务菌从心推送的防务菌

美国空军网络政策负责人在空军协会2021年度空天网研讨会上警告说，越来越多地依赖人工智能来增强人类决策，这提高了针对关键数据和人工智能算法的攻击风险。

2021年8月26日，夏威夷空军国民警卫队第169防空中队空军少校谢恩·凯希奥拉洛（Shane Keahiolalo）在华盛顿刘易斯·麦克霍德联合基地的西部防空区测试新的“作战管理训练下一个”（BMTN）系统。BMTN是与Vectrona、Breakaway Games和Sentrana合作开发的，旨在将人工智能、机器学习、生物特征识别和自然语言处理功能整合到一个训练系统中。

美国空军负责情报、监视、侦察和网络的副参谋长玛丽·奥布莱恩（Mary F. O’Brien）中将说：“如果我们的对手能够在这个过程的任何部分注入不确定性，我们就有点死在水里了。”奥布莱恩在与美国空军第十六空军司令；空军网络司令部司令和联合部队网络司令部司令蒂莫西·霍夫（Timothy D. Haugh）中将和空军首席信息官劳伦·巴雷特·克纳森伯格（Lauren Barrett Knausenberger）一起举行的“小组研讨：信息战”上表示，人工智能就像其他新武器系统。获得它仅仅是战斗的一半。保卫它也同样重要。

美国空军协会2021年度空天网研讨会小组讨论《信息战：竞争连续体的战略》

在研讨会上，她问道：“一旦我们得到了人工智能，我们将如何保护算法、保护训练数据以及消除任何不确定性？”为了使之有效，人工智能必须是可靠的，作战人员必须信任它的洞察力和建议。

但是，如果黑客能够感染数据以破坏这种信任，信心将在瞬间蒸发。

空军部负责科学、技术和工程副助理部长伊维特·韦伯（Yvette S. Weber）博士在本次研讨会上一场名为“任务能力领域研讨：自主系统”的小组会议上发言时说，加速决策周期以在激烈的战斗中迅速识别和提示目标，人工智能将是至关重要的。她说：“[人工智能和自主系统]的进步对于完成高端战斗的核心任务至关重要。”

美国空军协会2021年度空天网研讨会《任务能力领域研讨：自主系统》

伊维特·韦伯在研讨会上表示，在“高度竞争的环境中，人机合作使飞行员能够处理大量的数据，并更迅速地协助人类决策，以达成目标决策。”

很遗憾，截取的片段都通不过了

然而，玛丽·奥布莱恩在这些潜在的回报中看到了风险。她说：“有一种假设是，一旦我们有了人工智能，我们开发了算法，我们有了训练数据，[而且]它给我们提供了我们想要的任何东西，那就没有风险，没有威胁了。”

同上

玛丽·奥布莱恩在研讨会中提到了丽娜·德恩尔（Rena DeHenre）少校，她是一名年轻的美国空军情报官，在《超越地平线》（Over the Horizon）博客上最近的一篇文章《为什么国防部应该创建一个人工智能红队》中主张成立国防部人工智能红队。她引用了康奈尔大学的一篇题为《大规模对抗性机器学习》的研究论文，认为建立红队来寻找军事人工智能实施中的漏洞是至关重要的。她写道：“有了专门的人工智能红队，国防部将有一个中央小组来处理和评估人工智能和机器学习的漏洞。”

康奈尔大学题为《大规模对抗性机器学习》的研究论文

丽娜·德恩尔正是玛丽·奥布莱恩说她被鼓励“保护和促进”的那种特立独行的人。在她的文章中，丽娜·德恩尔列出了敌人可能寻求扭曲美国对人工智能的依赖以毒害其决策过程的方式。“对抗性机器学习（AML）是对数据或代码进行有目的的操纵，使机器学习算法运作不良或呈现错误的预测，”她引用美国国家安全委员会关于人工智能（NSCAI）的最终报告写道。

丽娜·德恩尔在博客文章中引用的“解释和利用对抗性示例”

NSCAI的这份报告指出，“即使是对这些数据集或算法的小规模操作，也会导致人工智能系统运行方式的后果性变化”。事实上，该委员会写道：“这种威胁不是假想的。对抗性攻击正在发生，并且已经影响到商业[机器学习]系统。”

美国国家安全委员会关于人工智能（NSCAI）的最终报告

该委员会还指出，“除了极少数例外，保护人工智能系统的想法在人工智能系统的工程和实战中一直是事后才想到的，对研究和开发的投资不足。”

就像任何其他软件代码一样，如果不是从一开始就建立在安全上，那么安全就永远不会有好的结果。该委员会总结道：“还没有一个统一的努力，将人工智能的保证整合到整个美国国家安全企业中。”

操纵甚至不一定是故意的。人工智能需要能够灵活处理其训练和真实世界集的异常数据，也是如此。一些专家认为，黑掉人工智能系统甚至比黑掉传统IT系统更容易。乔治敦大学安全和新兴技术中心的一份研究论文指出：“机器学习的漏洞往往不能像传统软件那样被修补，留下持久的漏洞供攻击者利用。”该论文继续指出，一些黑客甚至不需要内部人员进入受害者的网络，因为他们可以通过毒化系统正在收集的数据来完成。

该文件认为，捍卫人工智能既需要建立有弹性的系统，也需要使其透明并接受人类的监督，以便可以理解它们达到结果的方式。论文说：“政策制定者应该寻求提供更多的稳健性的方法，包括使用冗余的组件，并确保在可能的情况下有机会进行人类监督和干预。”

博伊西州立大学普适性网络安全研究所所长埃德·瓦斯科（Ed Vasko）在本次研讨会上一场名为“任务能力领域研讨：网络/5G/网络作战/网络安全”的小组会议发言时表达了类似的担忧。他说，“我所见过和经历过的每一个技术改造平台”都通过收集数据成为目标。

美国空军协会2021年度空天网研讨会《任务能力领域研讨：网络/5G/网络作战/网络安全》

“每次我们采取数据元素并将其扩大，找到更多更多的遥测数据加以利用，我们最终面临的挑战是，我们为我们的对手创造了越来越多的数据环境和更多的信息环境来进行潜在的攻击。”埃德·瓦斯科表示，风险超出了云架构或应用程序编程接口所产生的漏洞，因为正在收集和处理的数据量构成了最大的攻击面。

同上

他说：“在这一点上，数据量的爆炸性增长将超出任何人的预期。我不是在谈论（计算机）访问，我不是在谈论API平台连接。实际上，我说的只是这些数据的纯粹收集，以及这使我们的对手能够做什么和想什么。”

埃德·瓦斯科说，这些新技术和它们所取代的程序之间的关键区别在于，它们有效地要求美国空军和太空部队放弃自己的判断，而是相信算法能够正确地解释数据并得出结论。联合全域指挥与控制（JADC2）创造了一个机会，“实际上改变了我们的作战人员和我们的太空部队对利用自己的感官的思考方式。”

然而，从另一个角度看，对手获得了以做出这些决策的相同机器速度干预战场决策的潜力。正如过去误解的情报可能影响或误导了决策一样，在未来改变作为机器决策基础的数据可能会产生灾难性的后果。

埃德·瓦斯科说：“如果我们的对手能够实现这些，并影响到......参与支持我们的战斗机的JADC2要素，那么游戏就结束了。”

关联阅读：

【ASC21】空战司令部司令马克·凯利上将：战斗机路线图

【远望防务映像】美国空军协会2021年度空天网研讨会-空军部长弗兰克·肯德尔主旨演讲：部队现状

【Great Power Competition】亡我之心不死——美国空军的三个优先事项:中国、中国、还是中国

2021年9月20日至22日，美国空军协会（AFA）举办了年度空天网研讨会，主题为“我们国家的空天领导力——当前与未来”。为期三天的活动吸引了超过12500名注册者，150家参展商和赞助商，100余位主旨演讲者，以及30余个小组研讨会和演讲。美国新任空军部长弗兰克·肯德尔、空军参谋长查尔斯·布朗和太空军司令约翰·雷蒙德等国防届领导人以及业内专家针对“部队现状、敏捷作战、C4ISR、数字工程、先进制造、电磁战、2022年国防战略与未来部队结构”等主题发表了精彩的主旨演讲并展开研讨。远望防务影像中心照例对其进行了精选整理，共计24个视频，供有兴趣的同仁参考。

以下为光盘内容：

01.美国空军第26任部长弗兰克·肯德尔主旨演讲：“部队现状”

02.美国空军第22任参谋长查尔斯·布朗上将主旨演讲：“加速变革以增强我们的飞行员的能力”

03.美国太空军司令约翰·W·杰伊·雷蒙德上将主旨演讲：“太空部队更新”

04.未来的部队组合

主持人：大卫·德普图拉中将，美国空军（退役），米切尔航空航天研究所所长
杰奎琳·范奥沃斯特上将，空中机动司令部司令
马克·凯利将军，空战司令部司令
安东尼·科顿上将，空军全球打击司令部司令兼空军战略司令部司令

05.空中力量的首要原则——获得成功的设计

主持人：希瑟·彭尼，米切尔航空航天研究所高级常驻研究员
杜克·理查森中将，空军负责采办、技术和后勤助理部长办公室军事代表
大卫·纳霍姆中将，负责计划和项目的空军副参谋长
克林顿·希诺特中将，负责战略、集成和需求的空军副参谋长

06.敏捷作战部署——随时随地的空中力量

主持人：布鲁斯·奥维尔·赖特中将，美国空军（退役），空军协会主席
杰弗里·哈里吉安上将，美国驻欧洲空军司令；美国空军非洲司令；盟军空军司令部司令
肯尼斯·威尔斯巴赫上将；太平洋空军司令；美国印太司令部空军分队司令；太平洋空战行动部执行主任
詹姆斯·吉姆·斯莱夫中将，空军特种作战司令部司令

07.2022年国防战略与未来部队结构

主持人：大卫·德普图拉中将，美国空军（退役），米切尔航空航天研究所所长
约瑟夫·瓜斯特拉中将，美国空军总部作战副参谋长
玛拉·卡林，国防部负责战略、计划和能力的助理国防部长
马克·冈津格上校，美国空军（退役），米切尔航空航天研究所未来概念与能力评估主任，这位大家应该熟悉了，之前在美国战略和预算评估中心（CSBA）时撰写了多部耳熟能详的报告