郭毅可院士：人工智能的热望与冷思考

战略前沿技术

电话：010-58330898 手机：18501361766

微信：tech99999 邮箱：qianyanjun@techxcope.com

来源：上海人工智能大会

作者：郭毅可

郭毅可欧洲科学院院士、英国皇家工程院院士、香港浸会大学副校长。1985年本科毕业于清华大学计算机系，1986年硕士毕业于清华大学计算机系，1993年博士毕业于伦敦大学帝国理工学院计算机系。伦敦大学帝国理工学院计算机系计算机科学教授，上海生物信息技术研究中心客座教授、首席科学家，帝国理工学院并行计算中心技术总监，伦敦E- Science研究中心首席科学家，英国InforSense有限公司董事会主席兼首席执行官。是国际知名的数据科学研究先驱，领导开发数据分析和机器学习的创新科技。他近年集中研究数据科学和数据挖掘在生命科学、医疗保健、环境科学和创意设计等方面的应用。

2020年8月22日，郭毅可院士在第三届上海人工智能大会发表主旨演讲。演讲题目为：人工智能的热望与冷思考。从伦理道德领域解释了对人工智能的冷静思考。(以下是演讲实录)

郭毅可院士视频演讲现场

大家都知道这几年人工智能的发展，大家都抱有很大的希望，在这个希望中间我们也看到人工智能的发展刚刚开始，有许多重要的问题需要研究，从这个意义上来说，我们需要用冷静的头脑思考它的发展方向，来考虑一些根本性的问题。

一、人工智能的发展要素

1、高质量的数据资源、大数据

2、处理数据非常好的学习算法

3、支撑算法的算力

我们怎么样获得这些大数据？这需要有一个很好的基础架构，也就是需要有一个很好的数据生态环境，数据资产化技术，也就是今天发展很快的区块链技术。

如何把人工智能利用到实际过程当中去，用到生活中？这中间需要一个非常重要的能力——交互能力。在人和机器在一起的时候，我们的形式变化，也是支撑人工智能发展的一个重要的因素。如果我们不重视这个因素的话，那么人工智能的发展也不可能健康，也很难取得进步。

二、人工智能的发展方向

1、机器学习的内涵

所谓的机器学习就是我们机器获得知识的能力，谈到演变，刚才讲了三个方向，数据量、算法越来越丰富，还有就是算力越来越强大。这三个方向同时作用，导致了今天获取知识，从手工获取不需要数据量，到了我们可以向机器描述一些逻辑规则，我们把知识直接告诉他们，还有一个就是中数据量，来进行机器学习，建立一些中等数据量的模型，最后是数据挖掘，一直到今天的深度学习，主要是大数据量，一个比较复杂的算法，超强的计算能力来支撑的。这里面很重要的一点，就是知识获取的自动化程度越来越高。

郭毅可院士视频演讲现场

2、从认知学角度看机器学习

机器学习有很多说法，也有很多数学模型，但是我们讲到底，机器学习和人脑学习的基本逻辑和基本过程是类似的。我们首先通过一个观察，来获得信息，也就是观察结果数据，知识是通过模型来表达的，脑里的知识也是一种模型，对世界的看法，通过观察获得的抽象看法。在这样的模型当中，我们做什么事情呢？对这个世界要做学习判断，如果说我们观察，我看到了和我脑子中得出的判断或者说某种预测相一致的话，这个时候我们就认为模型是正确的模型，我们不会做什么太多的动作，只是得到一些验证，但是如果说这个模型和观察不准，就会出现所谓的预测误差，这个预测误差会导致人做几件事情，第一件事情，我们要改变模型，我们相信观察是正确的，于是就要对模型做一些变化。还有一种可能，就是我们认为模型是怎么样的，我们要做什么，这个不一致就导致了我们对这个世界要做一些改变，改变认知是学习，改变世界是行动，这就是认知学简单来讲对机器学习的理解。

3、机器学习的表达形式

● 找到效用函数我们在大脑当中有表达形式，在现在的机器学习上，表达模型的形式基本上就是一个函数，也就是说我们学习的目的是找到这样的一种函数，这个函数使得结果和我们的观察比较一致，这就表达为上面的公式，误差最小化。学习的目的一个是找到函数的形式，一个是找到函数的参数，不管学习是什么样的，工作的目标都是一致的，就是找到这样一个模型，这个模型能够和学习目标有一致性，来达到这样的目的。所以学习是一种过程，有一段话，是关于现在学习的一种抽象的概括，图灵奖获得者讲的一句话，需要对现在的人工智能在一个大样本上进行描述，这个观点还是比较客观的。

现在我们就要问几个问题，在这样的学习框架下，我们怎么样向机器表达，反过来讲就是刚才所说的一个很重要的前提，我们要用机器表达我们学习的目的，一个模型和观察之间的隐私性，这样的一个说法，总是以这样一个效用函数来表达，要么最大化要么最小化，不管怎么说，这个时候我们要求一个函数A可能是一个参数，或者说是一种行为，或者说是强化学习，如果是一般性就是一个参数，在这个参数取得的情况下，取得一个X概率，要求平均的损失是最大和最小，如果说收益的话最大，就是这样一个模式，首先要确定一些参数，找到参数，然后参数的目标是要求平均的损失和平均收益，是最大还是最小，损失最小，收益最大。这个时候我们做的时候要求求出来的函数和观察级之间的误差最小，强化学习就要求最大，强度最高，对于不同的行为要求平均的奖励是最高的。这就是效率。

我们人告诉机器做什么，如果说要求机器做的更多的话，要求不仅要达到最好的结果，同时要满足一定的伦理要求，这样的话用这样的效率函数来表达是非常不容易的。

● 效用函数求优找到最大或者最小的参数，先不讲求优的过程，未必能找到最优的结果，我们用算法来保证。第二个问题在于我们这样的模型，因为数据观察的弊端改变，实际上这种模型需要迁移，也就是说模型本身需要不断变化，这个时候我们就有一个很大的问题，就是模型的进化，数据变化之后能不能优化。还有一个很大的问题，求优的过程是学习的过程，这样的过程往往是很难理解的，求优的时候的含义我们并不清晰，所以怎么办，为了求优，我们必须要调整参数，这些调参，我们怎么样改变，这个有点像一个炼金术，我们并不知道，这些都是会导致很大的问题，首先第一个模型是不是可以进化，第二个这个学习过程，是不是能够被解释，这些都是很重要的问题。

郭毅可院士视频演讲现场

4、机器行为

这个行为是指人对机器的感知，这个时候就有很多问题，比如说机器和人一起诊断看病，这是对行为的一个很大的要求，要行为能够解释，我们能够验证正确性，这个行为这个决断是不是正确，凭什么我要相信你，还有一个很重要的就是右边的图，一个军事行为的应用，怎么样保证整个操作，什么时候可以开枪，什么时候必须考虑到平民伤亡等等，这些都是非常重要的行为准则。

讲到机器行为，我们可以稍微做一个抽象的解释。(行为四要素）

● 行为的目的是不是能够按照人的意图去改变周围的环境，这个非常重要。也就是说你的目的是好的还是坏的，是合理的还是不合理的。

● 行为的原则做事情的基本原则，你知道什么是错的，什么是不能做的，是不违背人类的伦理和规范。

● 行为的结果结果是不是你应该做的事情。

● 行为的依据你得出来的结果是为什么得出这样的结果，根据是什么。

5、机器学习应用的伦理思考

● 政治撰写一个新闻，原则是不是可以被理解，这个原则是不是合理的，怎么对新闻的生成算法有可靠性。比如说现在的深度构架，这里面有一张照片，蔡英文背后的一张照片，背后是毛主席长征，这样的照片，当然还有很有意思的新闻效果，但是这是真的还是假的，还有就是法律，如果机器人对一些案例做一些机器判断，有没有偏见，是否有不可预测的后果，也就是说实际上这样的投放会导致什么问题，原来犯罪率很低的问题犯罪率高起来了。

● 营销推荐系统，我们要考虑对消费者的损害。有一个说法是过于泡沫，一个推荐我喜欢什么，一直向我推荐我喜欢的，于是乎就形成了一个泡沫，我只喜欢原来喜欢的东西，我自己给自己构造了一个局限，这种事情是不是合理的。

● 金融算法定价，算法定价的原则是什么，是价格公平吗？还是说竞争，是否会造成恶性竞争或者价格战。我们都知道我们买飞机票都有一个算法定价问题，因为算法定价常常会造成一个很大的矛盾，看到下雨了需要打车，这个某种程度上来讲，最大化商业利益，伦理是不是正确的，这些都是很重要的要考虑的问题。

● 智能汽车真正要投入使用，倒不是技术难点，加上自动驾驶最大的问题是路权选，谁有权用这个路，如果两个车一起开，必须保证对人的伤害最小，如果说人和机器在同一个路上的话，如果人知道有这样一个基本原理，可以恶性和机器进行较量，这样的话车永远开不了，这种情况下怎么解决路权选择的问题，人开的车和机器开的车怎么做路权选择。做城市管理的时候有一个道路交通管理，这些方面的平衡，人工智能怎么来做，也是一个非常重要的话题。

● 机器诊断诊断是否可以验证，健康监护，各种错误的代价，对于紧急情况如何做应对的，这些都是很大的问题。

● 社会信用体系与社会交流信用低的人剥夺权利，是不是在一个的管理当中是真正合法的，和我刚才说的是一样的，如果说真的做交流的话，未必改变社会关系的组成架构，家庭也有，聊天及其对聊天者的心理影响，性爱机器人是否会改变人类的自然感情，这些问题都是在我们理解机器行为上是非常重要的一些例子。

郭毅可院士视频演讲现场

三、人工智能研究的重要问题

1、如何向机器表达对的目的，也是未来的重要问题。未来的人工智能，我们不求让机器做的多，而是要求机器做的对。做的多应该是相对容易的，但是要机器做的对，就不是那么容易了，我们这里面考虑的是什么是对，这个行为原则，如何向机器表达对的目的，告诉你怎么做什么事情，怎么告诉是准确，怎么样告诉是有效，怎么样告诉是真正的能够表达的清晰一点，这又是一个问题。

2、如何判断机器做的对不对，假定说我已经表达的很清楚了，以前的结果和现在的结果有一个验证。还有一种理解机器做的对的缘由，机器行为的解释和验证，这些都是需要论证的。

● 什么是对这就是最难的，这就是人工智能的伦理问题，这是一个哲学问题，这里面有很多的原则，这三大原则非常重要，对于什么是对的，在不同的社会环境和价值体系当中都是不一样的，有些我觉得是对的，比如说我们举个例子，首先是要有利他主义，什么意思呢？不是利己，是帮助人类，而不是利益自己。第二个是谦逊法则，我需要把人类价值最大化，但是不知道人类价值到底是什么，不能够凌驾我们之上。第三个是学习能力，不仅是自身学习，也可以观察我们来进行学习，或者说用机器语言来间接学习，从这些方面来学习知识和数据。当然这只是一种，很多人都有不同的理解。

● 怎么表达对什么样的效用函数可以表达我们的目的，这是模型形态，而不是说控制行为方式。效用函数是合理的或者说有效的方式吗？拿这个效率函数来做人工智能，怎么样来衡量一个行为，怎么样定义这个行为，人工智能是怎样理解的。最大自由化是好现象吗？每个个体的最大自由化就是无政府主义了。验证这个函数的证据是什么，这个机器行为可以用效用函数来完全确定吗？经济学有两个重要的研究，代理人原则，机器人代理了我们的事情，找任何代理人的时候都碰到一个矛盾，要确定这个代理人是以你的利益最大化为原则，还是以自己的利益最大化为原则。比如说我们找律师，这个律师到底是为我找官司，还是说想把这个问题搞的更复杂一点。还有一个不可预知原则，你表达的事情是好事情，但是往往找到不想要的结果。这两个原则都使得我们要认真思考，如何向机器表达我们的目标。

● 如何判断机器做的对不对第一个验证方法就是和目标是否一致，另一个是求得最优。这里面有两个场景，如果说这两条曲线，一个是更精确，还有一个是敏感度要求更高，这两个不是一个事情，有一个就是假定模型，这个模型很有意思，有哮喘的肺炎患者，死于肺炎的可能性较小，这合理吗？不合理，如果有哮喘应该死亡率高，为什么反而低了。因为有哮喘很快就会受到正常的照顾，这样的话反而容易生存，所以数据不足，所以说90%的AI结构都是没有验证的。

● 如何理解机器做的对的缘由现有的深度学习模型不能向用户解释其行为，设计者也无法理解其行为过程。这当中有很多研究，有一些早期的工作，比如说现在要拿一个深度神经网络，判断这是什么动物，但是有一个很大问题，我学了一个模型，我给出一个斑马的图形，你可能就判断出行分布了。这个时候怎么样来学习，把一些图片特征编码，每一段编码或者数字代表了什么含义，这样可以通过一个学习办法，把人的特征一起进行学习，这就有一个很大的好处，等于说你做了人的标注，如果说这些过程最重要的原则是用空间来解释，我们现在做的工作把这个概念再扩大一些。

四、人工智能的今天和明天

人机共生世界，在人机共生的社会中，人和机器的互相交流是最重要的，人要理解机器的行为，机器要理解人的意图。对机器行为的解释，理解和验证，以及机器行为的伦理性是人工智能研究的核心课题。学习的可解释性是一个方向，还有一个方向就是向机器表达，作为对机器行为的解释和验证，以及机器行为的伦理是核心的问题，在没有解决这些问题之前，或者说这些问题没有被深入理解之前，我们奢谈人工智能将来什么样，人工智能会不会导致机器统治人类来为时过早。

我们不要神话它：它是实实在在的算法。

我们不要害怕它：它是不可避免的未来。

我们不要轻视它：它会改变我们的社会。

我们不要忽悠它：它不是靠钱可以堆出来的。

我们要以我们东方文明特有的包容来研究和应用它，把它作为我们社会新的存在，想如何和它共处。

这是我理解的发展方向。谢谢大家！

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……