何积丰院士：智能制造与安全可信人工智能

0　引　言

1　人工智能与人类社会的共生关系

2　人工智能的安全风险

3　应对人工智能安全风险的对策

人工智能赋能智能制造会带来哪些安全问题，安全问题的根源、类型以及应对之策如何，这些都是值得思考的问题。目前，很多应对之策尚未能实践，且对策的有效性有待检验。

人工智能与人类社会是一种和谐共生的关系。在人类社会发展中，人工智能赋能经济发展， 使人类社会的生活更加美好，智能制造、智能医疗、智慧城市、智能农业、智慧城市发展十分迅速，智能医疗为老百姓带来了更好的医疗资源，农业是我国经济的基础，智慧农业推动了农业发展的质量。

2016年，AlphaGo战胜了世界围棋冠军， 而此类人工智能被称为“专用的人工智能”，因为它越来越聪明，越来越高级。人工智能的专用功能、特殊功能应具有更强的通用性和适配性， 赋能各个领域的发展。未来，人工智能应能够向“强人工智能”“超强人工智能”方向发展。

新一代人工智能发展能够为人类社会带来众多变化，具体包括：

（1）知识组合。基于数字学习的机器算法给人工智能提供了非常新的发展途径，知识获得的手段和分析的过程往往较为碎片化。例如， 图像识别与语音识别存在很大区别，各自具备不同的功能，系统的发展也是独立的，各自发展自身的知识表达语言，但是，图像识别与语音识别应当进一步向知识组合的方向发展。

（2）规划决策。数据收集之后，其目的在于为各部门决策提供知识性意见。例如，企业需要了解哪些设备生产线已进入到大修阶段，水库管理部门需要知道雨季时水库何时可以打开水闸泄洪，医院里希望了解疫情控制的现状，等等。在规划决策中，人工智能的数据能够提供很大的主观帮助。

（3）自主学习。人类的知识积累过程不单单依靠课堂、书本，同样依靠自主学习的能力，尤其学生毕业以后“单飞”，离开老师踏入社会之后，自主学习能力变得更为重要，需要更进一步的自主分析和解决问题。

（4）脑机通道。脑机通道是一种是人机协作的方式，旨在通过人工智能理解大脑如何思考问题以及作出决策。脑机结合技术帮助大脑分析问题、解决问题的能力较强，能够作为一种有效的“助手”为人类服务。

（5）思维过程。现阶段，很多认知都是基于数据的训练，开发新的模型，帮助人类作出判断。但是，人的智能不是单单靠知识积累，更是要靠思维的训练。阿兰·图灵提出的原话是“机器能够思考”，而非“机器能够学习”，“思考”和“学习”的概念并不相同。例如，教师告诉学生，学习一门知识以后需要做到举一反三，知识能够带来新的灵感，发现知识之间存在的联系， 这种思维过程十分重要。“知行合一”强调知识要从行动中来，思考是加工消化知识的重要过程， 思维过程正是强人工智能需要实现的。

人工智能与人类社会是一种和谐共生的关系，在现实生活中，两者之间的关系具体表现在四个方面：第一是辅助关系，这是通过机器协作的一种辅助关系，生产线机器人就属于此类，机器为辅，以人为主；第二是人在回路，例如，大型无人机的控制背后仍是人类操作，而不是无人机自己发射导弹轰炸目标。“人在回路中”和“人在回路上”并不相同，但总体上看，人类参与了整个活动的过程，无论是感知、认知，还是决策；第三是人机交互，人机交互的设计时间很早，但界面设计不好，难以操作；第四是竞争关系，这是一种坏的关系，客观意义上存在，部分工作会慢慢被机器人所替代。部分工作具有危险性，例如煤矿工作，很多人希望用机器替代，再比如银行中的很多工作。未来，很多工作会不可避免地被替代，这是对人类并不太有利的生产关系。

在智能制造中的人工智能体系，可以从两个方面分析。一方面，包括工业互联网的工业制造架构，云计算等。云计算能够大量收集数据，辅助决策，从上下游开始到场景质量、设备情况都能够发挥作用。边缘计算则强化了计算能力，也包括智能网关+智能感知。另一方面，企业希望通过运用人工智能技术，提高质量，降低成本。比如设备管理，利用人工智能可以有效监测设备的利用率，以及如何提高生产效率。再比如，智能制造中的监测技术，现阶段，很多智能监测仍然是一种感官性的监测，需要通过人工的方式来度量，而人工智能能够帮助作出更加标准的判断。在状态监测预警方面，比如说水箱里的水存量多少，压力泵的压力是否过高，中央指挥技术人员希望通过随时掌握这些数据，这也是人工智能应用+大数据能够做到的。在故障定位方面， 出现问题需要快速定位问题的来源，快速解决问题。在动态调度、业务服务方面，这些都和企业升级换代密切相关。

现阶段，人工智能技术推动了实时计算、探索感知、智能决策。但是人工智能的安全可信问题值得关注，如果依赖人工智能技术作决策的话，应当保证决策是可解释的，而且不能具备过高的安全风险。

智能制造框架分为四个层面：第一是基础层面。既包括工业互联网，也包括各种硬件和软件作为支撑。如CCD、CMOS、语音、雷达、文本、蓝牙、5G、WIFI、Zigbee、Lora等。第二是算法层面，人工智能算法发挥了很大作用，人工智能能够实现图像处理、计算机视觉、目标识别、状态预测、态势感知、强化学习、元学习、深度学习、迁移学习、时空分析等功能。第三是运维层面，企业层面包含三种中台：数据中台、业务中台、任务中台，存在协同分析的要求，希望与资源进行适配。第四是制造层面， 涵盖了自动化测试，加强全流程监控，目前人工智能已发挥出作用。柔性制造和数字孪生的要求更高，如果从早期制造的三个环节设计过程中用虚拟技术来分析设计系统和用户需求是否一致，数字建模就变成第一个难题，目前人工智能还没有提供很有效的机制来帮助企业解决此类问题。柔性制造是广大用户所需求的，但从应用方面，给企业增加了负担，过去生产线是建立在大批量生产基础上，能够保证质量、保证运输、保证成本。而柔性制造意味着工序不断地改变，即机器程序需要不断地作修改，其难度较大，尽管计算机修改程序很容易，但是在机器运行过程中进行修改则会面临非常大的风险。

在智能制造中，与人工智能相关产品形态非常丰富，有互联互通带来的新产品形态，运维管理产生的新软件和工具，分析决策不仅可以为本企业所用，也可以为同行业内其他企业所用，也包括行业数据共享。

人工智能系统的投入较大，如果花费较大仅为自己所用并不可取，如果将此系统升级为一种平台为大家所用，形成新的产品服务形式，这是构建新业态所需要考虑的。如果每家企业都考虑做本企业的工业APP，其投入、资源消耗将会十分巨大。

人工智能的发展同样带来了不同的安全风险，主要包含六个类型：

第一，技术不太成熟。现有的训练场景不够充足，自动驾驶车辆事故发生的原因很大程度源于此问题，原有的场景中缺少相关的训练。

第二，不确定性环境。例如，达芬奇机器人通过探头了解病人内部器官的症状，但如果开刀过程中病人出血了，污染了摄像头，结果会导致环境信息的不准确，而在这种不确定环境中人工智能尚未有很好的处理办法。

第三，偏见性。算法不是公平的，算法的设计应当处于公平的目的，但实际上算法并不公平，例如，国外的人工智能系统中存在的种族歧视、富人和穷人的偏见。为此，在机器模型设计中应当加强公平性。

第四，漏洞缺陷。在波音客机坠毁事故中， 其设计部门在波音，但是软件公司并不在波音， 而是企业承包以后由几个大学生设计重要的软件，软件难免存在漏洞缺陷。漏洞缺陷比想象的大得多，结果导致了悲剧的发生，而最终花费了很长时间才知道BUG的所在。

第五，隐私数据泄漏。例如，个人身份信息很容易被盗取，他人利用其注册公司。再比如， 利用盗取的个人信息进行诈骗，往往会造成不同程度的经济损失。

第六，政治影响。例如AI换脸，利用人工智能对领导人进行AI换脸，将会产生严重的政治影响。

从人工智能本身来看，存在三方面的安全缺陷，分别是物理层、算法层、应用层。面对物理层、算法层、应用层的攻击类型多种多样， 主要问题在于“攻”和“守”的地位不对称，被攻击方在明处，攻击方在暗处，被攻击方的弱点往往是暴露的，攻击方可以利用各种方法发动攻击。

人工智能的安全类型分为数据安全和算法安全。数据安全分为三个部分，数据隐私、数据质量、数据保护。无论是训练机器所需的现场数据还是以后用它做服务的数据，数据的质量十分关键。算法安全包括三个方面：第一是鲁棒性，环境发生变化能够具有相应的韧性；第二是可解释性，包括代码功能正确性、对抗样本影响；第三是可靠性，包括问题目标影响，软硬件平台依赖。

为应对人工智能的安全风险，可以围绕以下七个方面加强应对：

第一，算法可解释性。在需要了解或解决一件事情的时候，可以获得我们所需要的足够的可以理解的信息。黑盒算法缺乏透明性和可解释性，难以分析和验证。因此，需要进行建模前的数据可解释性分析，构建可解释性的模型，并开展模型部署后的可解释性评估。

第二，隐私保护。人工智能算法存在矛盾， 隐私保护与知识挖掘之间不完全一致，数据挖掘可能会挖掘到个人隐私。

第三，公平建模。在算法实践过程中，无论在采集阶段、学习阶段、部署阶段都存在所谓的公平问题，最后建设模型希望能够实现统计公平、个体公平、因果公平。

第四，可信验证。可信验证的引擎主要是对人工智能系统做验证、仿真、测试，这是一种很重要的智能手段，通过提供系统性训练和测试的可信保证，从而对成果进行定量形式化验证。

第五，主动防御。虽然被攻击方在明处， 攻击方在暗处，但是被攻击方同样也有手段保护自己，通过安全评估、威胁者理解、预测手段等进行主动防御。

第六，伦理法律。人工智能伦理和治理成基本共识，国际社会探索建立广泛认可的人工智能伦理原则，例如欧盟发布的《可信人工智能伦理准则》，经合组织批准和G20采纳全球首个AI原则—“负责任地管理可信AI的原则”，中国发布《新一代人工智能治理原则—发展负责任的人工智能》，WAIC2019发布《中国青年科学家2019人工智能创新治理上海宣言》，以及微软、谷歌、腾讯等主流科技公司相继发布各自的AI伦理原则，等等。

第七，系统伦理。这其中既包含了哲学伦理的思考，也包括理论研究、工程学的考虑。从理念上看，希望构建一种人类和人工智共生的环境，不仅是希望人工智能系统具有广义性， 实现开放性开发与公平竞争，实现人工智能的中立性、国际性。提了理念、目标以后还提了很多方法，这些方法都是我们要追求的方法。从开发原则上看，应当确保人工智能的连接与协作、透明性、可控性、安全性、保密性、隐私性、伦理性、易用性和说明性。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧
热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估
预见未来：预见2016 |预见2020  | 预见2025 | 预见2030  | 预见2035 | 预见2045  | 预见2050
前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 |  基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | 5G | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器
先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 直升机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器
未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 | 反卫星
领先国家：美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 | 以色列 | 印度
前沿机构：战略能力办公室 | DARPA | 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 | 阿里 | 俄先期研究基金会 | 军工百强
前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普
专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨
全文收录：2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录
其他主题系列陆续整理中，敬请期待……