慕尼黑“中美人工智能安全对话”的重点之一

战略前沿技术

电话：010-58330898 手机：18501361766

微信：tech99999 邮箱：qianyanjun@techxcope.com

来源：人机与认知实验室

作者：白驹

2020年2月14日，在慕尼黑安全会议期间，清华大学战略与安全研究中心与美国布鲁金斯学会举行“人工智能与安全项目”对话会。中美学者团分别由清华大学战略与安全研究中心主任傅莹（全国人大外事委员会副主任委员）和美国布鲁金斯学会会长约翰·艾伦（John Allen，前驻阿美军司令，海军陆战队四星上将）带队，部分中方学者通过视频方式远程参会。

“中美人工智能安全对话”第一轮会议在2019年10月于京召开，在此基础上，双方学者分小组就不同议题进行研究。此次会前双方交换了项目第一阶段研究成果，并在会上进行观点阐述和研讨。在成果展示后，双方学者就一系列议题进行了热烈讨论，包括人工智能武器目标禁区的划定、比例原则与人的监管在人工智能安全中的应用、人工智能训练数据范围的限制、人工智能规范的构建和风险控制等。

对话中人机关系和自主性问题是本次对话的重点，在这方面中美双方的主要观点有：

未来人工智能和正义的战争应该承担着人类和平的使命，人负责做正确的事（方向性），公平正义、共同命运、安全可控，而人工智能只是正确的做事（过程性），快速准确、海量存储、可形式化。同时，未来的战争很可能就是人机环境系统交叉融合的战争。从根本上讲，人类未来的战争将不再是传统意义上竞争型的对抗关系，而是有着底线的合作型对抗（对立统一）关系，更进一步说，这种合作型对抗关系将不仅是两方的，还是多方协调协同的。在核武器、生化武器的不断蔓延和扩散的时代，国家无论大小，国与国之间的未来战争成本将会越来越高。中美两国作为人工智能技术发展和应用的大国，应该携手合作、深入思考并理性应对这一隐患，并寻求一条和平利用人工智能的克制之道。

在各种层级的军事对抗领域中，人机关系尤为突出和重要，在可预见的未来，人主机辅的态势很难改变，对于执行过程中的智能装备和管理机制系统，人必须在系统环中或环上，而且关键之处有多人的备份监控，人机融合体应是与人相同的主体责任承担者。除了人机关系之外，机器装备和管理机制的自主性也很重要，这种自主性不仅包括研发者事先赋予的（规则统计性），还涉及到执行者实时操作的（随机概率性），应确保这种自主性能够具有基本的同情共感能力，使之能够理解战略规则后对手的基本意图，而不仅是事实性的刺激—反映，进而减少战术“投射效应”，杜绝战略“投射效应”，有效地保障赋能后的武器和管理系统的克制及控制程度。

如果说军事机械化、自动化、信息化改变了战争的“态”和“感”，那么军事智能化有可能会改变战争的“势”和“知”，未来的“态势感知”相比传统意义上的“态势感知”将会更深入、更全面，形成一种深度态势感知，即人机环境系统融合的军事智能形式，其主要特征为：人机性更快、协同性更高、不确定性更强、自主性更灵、交叉性更多、威胁性更大等，所以对其应边界性更清晰、条件性更明确、约束性更严。其中人机环境中的“机”，既包括机器装备也包括机制管理，正式的国际法以及非正式的相互共识都会涉及，而对于不断快速发展的军事智能化现状，法律规则的制订远不如非正式的相互共识更及时有效。从军事智能技术管理本身内在的局限和双方博弈人为制造的外在局限来看，这种共识的基础底线应该就是：对抗中，无论是战术还是战略中，人必须在系统中，在涉及诸如核武、生武等后患无穷的军事应用中，系统中需要多人同时在系统中。敌我双方不仅有对抗关系还应有合作关系，即不以毁灭人类为目的；那么如何建立起双方AI研发者、使用者与系统之间的信任关系将变得越来越重要，目前人机融合的解决办法有两个：第一个是让人参与到系统的训练过程中（这里涉及到人何时、何地、何方式有效参与到系统中的问题），第二点是尽可能的多分配决策的任务给人来完成（这里涉及到如何筛选出适合人的决策任务及其防止“投射效应”程度的问题）。尽管已经有人做过实验证明了这两点可以增加人对机器/系统的信任程度，但该结论是否具有广泛性？需要进一步深入分析和研究。

真正的智能或者是人工智能不是抽象的数学系统所能够实现的，数学只是一种工具，实现的只是功能而不是能力。只有人才产生真正的能力。所以，人工智能是人、机器、环境、系统相互作用的产物，未来的战争也是机器计算结合人的算计所得出的洞察结果。

战争是一团迷雾，存在着大量的不确定性，是不可预知、不可预测的。从当前人工智能的发展趋势来看，可预见的未来战争中，存在着许多人机融合隐患仍未能解决，具体有：

一，在复杂的信息环境中，人类和机器在特定的时间内吸收、消化和运用有限的信息，对人而言，人的压力越大，误解的信息越多，也就越容易导致困惑、迷茫和意外。对机器而言，对于跨领域非结构化数据的学习理解预测，依然是非常困难的事。

二，战争中决策所需要的信息在时间和空间上的广泛分布，决定了一些关键信息仍然很难获取。而且机器采集到的重要的客观物理性数据与人类获得的主观加工后的信息和知识很难协调融合。

三，未来的战争中，存在着大量的非线性特征和出乎意料的多变性，常常会导致作战过程和结果诸多不可预见性，基于公理的形式化逻辑推理已远远不能满足复杂多变战况决策的需求。

四、自主性武器分为三类：“人在回路中”、“人在回路上”要有限控制，“人在回路外”严格禁止！倾向于禁止研发特别是使用“人在回路外”的武器，是世界各国的共同责任。

五、无论人工智能怎么发展，未来是属于人类的，应该由人类共同定义未来战争的游戏规则并决定人工智能的命运，而不是由人工智能决定人类的命运，究其因，人工智能是逻辑的，而未来战争不仅仅是逻辑的，还存在着大量的非逻辑因素。

六、对于世界上自主技术的发展情况，建议中美设立联合评估小组，定期对自主技术发展情况进行细致的评估与预警，对技术发展关口进行把关，对技术发展进行预测分析，对进行敏感技术开发的重点机构和研发人员进行定向监督，设立一定程度的学术开放要求。同时建议中美两国一方面在这方面的科学伦理上加强合作，一方面联合设立限制军用自主技术开发的合作机制，一方面加强对民用自主技术领域合作与竞争的监控。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……