人工智能使神经网络设计速度提高200倍

战略前沿技术

专家库 | 人才库 | 企业库 | 项目库 | 投资机构库 | 招商信息库 | 前沿特攻队招募

前沿君微信：tech9999 手机：18501361766

转自：北方防务（NISTIdefensereport）

利用算法自动设计神经网络是人工智能的新领域，但称为神经架构搜索（NAS）的技术非常昂贵。美国麻省理工学院开发一种新的NAS算法，可以直接学习针对目标硬件平台的专门卷积神经网络。当在一个大型图像数据集运行时，只需200 GPU小时，而谷歌开发的最佳NAS算法则需要4.8万GPU小时来产生一个卷积神经网络。研究人员利用“路径级二值化”与“路径级修剪”相结合的技术，修剪整个路径，剔除所有低概率路径，只保留概率最高的路径，最终完全改变神经网络的架构。算法针对特定硬件进行了优化，效率大幅提高。这类新算法不会取代人类工程师，但可以减轻设计和改进神经网络所带来的重复性繁琐工作。

MIT电子工程和计算机科学助理教授Song Han表示：“在模型大小、推理延迟、准确性和模型容量之间存在各种各样的权衡。”他补充说：“（这些）加起来就是一个巨大的设计空间。以前，人们设计了基于启发法的神经网络。神经架构搜索试图将这种劳动密集型的、基于启发法的探索转变为基于学习的、基于AI的设计空间探索。就像AI可以学习下围棋一样，AI也可以学习如何设计一个神经网络。”

就像在围棋和国际象棋中获胜的AI程序已经向这些游戏的大师们教授新策略一样，AI优化的AI设计结果为AI神经网络设计提供了新的方法。

MIT的新算法加速了其开发的AI神经网络的类型为卷积神经网络（CNN）。CNN通常是用于图像识别程序的首选神经网络。除了图像和视频领域的应用外，CNN在自然语言处理和药物发现等领域也有所应用。

MIT的Han指出，一旦他们的算法建立起最优的CNN，所得到的系统很可能将图像分类的速度提高到其他神经架构搜索构建的AI的1.8倍。

Han的团队能够以如此惊人的速度精确定位最优的CNN设计，得益于三个重要的想法。

首先，他们减少了运行神经架构搜索的GPU的内存负载。一个标准的神经结构搜索可以同时检查网络中神经层之间所有可能的连接。相反，Han的团队每次只在GPU的内存中保存一条路径。这个技巧可以在仅使用十分之一内存空间的情况下对参数空间进行完整的搜索，从而使他们的搜索覆盖更多的网络配置，而不会耗尽芯片上的空间。

他们的第二个锦囊妙计是从已被丢弃的神经网络搜索中删除整个路径，这显著加快了神经网络搜索的速度。（通常，神经结构搜索只丢弃单个“神经元”，删除掉所有次优的神经网络连接。）

第三个创新之处涉及使神经网络搜索意识到AI系统可能正在运行的每种类型硬件的延迟时间——无论是直接的CPU还是用于移动平台的GPU加速系统。

令人惊讶的是，关于一些类型的图像识别神经网络的传统观点是错误的。从某种意义上说，AI网络设计师在设计主要运行在GPU系统上的网络时，他们的想法仍然停留在CPU时代。

CNN在其图像识别算法中使用过滤器，这些过滤器是由3×3、5×5或7×7像素组成的正方形网格。传统上，很少使用7×7大小的过滤器，因为人们认为运行多层3×3过滤器比运行单个7×7过滤器更快。

然而，AI优化的AI使用了相当数量的7×7过滤器——Han认为，这是当今大多数AI计算中GPU占主导地位的一个原因。

“我们发现，在GPU上运行多层7×7过滤器更容易，因为GPU具有很大的并行性，”Han说。“而且调用一个大型内核调用比调用几个小型内核调用更有效。”

一网打尽系列文章，请公号内回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估 \| 大学排名
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 卫星 \| 混合战争
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2018文章全收录 \| 2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……

http://7xo6kd.com1.z0.glb.clouddn.com/upload-ueditor-image-20160126-1453795201939075587.jpg

http://7xo6kd.com1.z0.glb.clouddn.com/upload-ueditor-image-20160126-1453795228582098554.jpg

一网打尽系列文章，请公号内回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估 \| 大学排名
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 卫星 \| 混合战争
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2018文章全收录 \| 2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……