孙家广院士：大数据软件的机遇与挑战

战略前沿技术

电话：010-58330898 手机：18501361766

微信：tech99999 邮箱：qianyanjun@techxcope.com

来源：科技导报

作者：孙家广

孙家广院士

2019年，大数据、数据科学、机器学习、人工智能领域的研究与应用持续发展。物联网与传感设备的普及带来数据的爆炸性增长。大数据作为产业发展的创新要素，在数据科学与技术、商业模式、产业格局、生态价值与教育层面，均带来了新理念和新思维。

大数据与人工智能的快速普及应用除了受数据量激增因素影响外，还有另外两方面因素影响：一是深度神经网络算法处理大规模非结构化数据集的能力越来越强；二是算力的飞跃。随着光刻技术进一步发展，终端设备和边缘设备的数据处理能力持续提高，云、端与边缘计算结合，实现低成本海量可用计算资源。

2019 年大数据与人工智能生态圈中，最活跃的领域包括：大数据基础设施服务、大数据分析服务、数据资源服务、数据源管理及API服务、跨平台数据存储及分析服务，开源大数据软件工具，以及在各个垂直领域的产业大数据应用和企业大数据应用。

大数据与人工智能生态圈顶层分类

大数据、人工智能与产业深度融合，在交通运输、电子商务、金融服务、医疗健康、科学研究等领域展现出广阔的应用前景。“数字化转型”是大数据技术应用的驱动力，是要让企业真正成为“数据驱动”的企业，使得企业生产更加绿色、智能。大数据已经逐渐成为企业升级转型发展的有力引擎，在提升产业竞争力和推动商业模式创新方面发挥越来越重要的作用。

同时，大数据也开辟了国家治理的新路径，国家社会管理现代化面临着由碎片型向整体型、由应急型向预防型、由管控型向参与型、由粗放型向精细型、由静态型向动态型转变的“五位一体”的全面变革。物联网推动互联网应用从消费领域向生产领域扩展，并逐步深入城市管理各个环节。通过对海量、动态、高增长、多元化、多样化数据的高速处理，人们快速获得有价值信息，提高公共决策能力，从而逐步改变国家治理架构和模式。

目前最重要的大数据技术领域主要包括以下4个方面。

01、生态系统的建设

提及大数据，就无法避免提及Apache Hadoop。多年来，Hadoop已经发展到包含整个相关软件生态系统，许多商业大数据解决方案都基于Hadoop，基于Hadoop的产品和服务市场持续增长；

其次，大数据处理引擎的研发，Apache Spark是Hadoop生态的重要组成部分，已经在生产环境中广泛部署，也吸引了大量的项目开发者；

此外，处理和统计数据的编程语言和软件环境，例如开源项目R语言得到数据科学家的广泛应用，许多流行的集成开发环境（IDE），包括Eclipse和Visual Studio，都支持R语言，R已经成为世界上最流行的用于大数据项目的高级语言之一。

02、海量数据存储方案

例如数据湖（data lake）。许多企业正在建立数据湖（存储来自许多不同的数据源的数据并按原态存储），当企业想要存储数据但尚不确定如何使用数据时，数据湖尤其具有吸引力。物联网（IoT）数据的爆发正在影响数据湖应用的增长。

03、NoSQL 数据库的发展

为适应非结构化数据的存储与高性能需求，以及相对不那么严苛的数据一致性的要求，Mon⁃goDB、Redis、Cassandra、Couchbase 等 NoSQL 数据库流行。随着大数据趋势的增长，NoSQL数据库变得越来越流行。

04、数据的预测分析

预测分析是大数据分析的子集，是根据历史数据预测未来事件或行为。通过数据挖掘、建模和机器学习技术，获取对未来趋势的洞察。

在大数据时代，机遇与挑战并存。大数据技术研究者在迎接数据与智能技术带来无限可能的同时，也不得不面对其所蕴藏的风险。随着公民个人和企业组织所有的行为均被数字化，海量数据的实时处理与分析技术更加成熟，大数据在带来奇迹的同时也引入滥用和误用的风险。大数据安全保护技术与数据权责管理成为大数据领域最重要的主题，任何组织都无法回避谁拥有影响未来的数据权的问题。

互联网的早期阶段，数据隐私更多是要保护用户在线行为的隐私，这只占人民日常生活的一小部分，因此得到的关注是非常有限的。随着个人生活和工作的全部活动都通过网络和互联设备来完成，海量数据融合的能力、人脸识别的能力、结果预测的能力、异常分析的能力整合在一起将带来严重的数据隐私风险。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 创新创业 \| 科技体制改革 \| 科技创新政策 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研 \| 供给侧
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 智库 \| 国家重点研发计划 \| 基金 \| 装备采办 \| 博士 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 国防工业 \| 十三五 \| 创新教育 \| 军工百强 \| 试验鉴定 \| 影响因子 \| 双一流 \| 净评估
预见未来：预见2016 \|预见2020 \| 预见2025 \| 预见2030 \| 预见2035 \| 预见2045 \| 预见2050
前沿科技：颠覆性技术 \| 生物 \| 仿生 \| 脑科学 \| 精准医学 \| 基因 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 纳米 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 能源 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 通信 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 半导体 \| 脑机接口 \| 传感器
先进武器：中国武器 \| 无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星
领先国家：美国 \| 俄罗斯 \| 英国 \| 德国 \| 法国 \| 日本 \| 以色列 \| 印度
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
前沿人物：钱学森 \| 马斯克 \| 凯文凯利 \| 任正非 \| 马云 \| 奥巴马 \| 特朗普
专家专栏：黄志澄 \| 许得君 \| 施一公 \| 王喜文 \| 贺飞 \| 李萍 \| 刘锋 \| 王煜全 \| 易本胜 \| 李德毅 \| 游光荣 \| 刘亚威 \| 赵文银 \| 廖孟豪 \| 谭铁牛 \| 于川信 \| 邬贺铨
全文收录：2017文章全收录 \| 2016文章全收录 \| 2015文章全收录 \| 2014文章全收录
其他主题系列陆续整理中，敬请期待……

​孙家广院士：大数据软件的机遇与挑战

孙家广院士：大数据软件的机遇与挑战