数说 • 大数据项目建设误区

2017年大数据产业地图（风险投资机构FirstMark）

但是事情总有两面性，“大数据”热的同时，也有另一种声音认为“大数据就像几年前的云，还处于初级阶段，还需要跨过几道坎。在这个过程中，要谨防泡沫出现”。笔者不想讨论大数据“有用”还是“无用”，毕竟目前大数据已经在很多行业和领域有了成功的应用，而且上升为国家战略高度，所以笔者相信大数据还是非常有前途的一项技术，关键看还是怎么用好它。

笔者一直在数据仓库和商务智能领域摸爬滚打多年，近几年开始接触大数据技术，并且帮客户搭建和实施大数据系统。个人总结了一些对于大数据认识的误区，请勿对号入座；如果不幸“躺枪”，欢迎来人来函讨论解决之法。

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，对应的处理技术就叫做大数据技术。大数据技术最早是从互联网行业兴起，随后逐步扩展到银行、电信等这类同样拥有大量数据的行业。大数据技术原本就为了处理海量数据尤其是非结构化数据而生，尽管大数据技术也还在发展，所包含的软件种类也越来越多，但目前技术水平来看，还无法取代传统的数据库和文件系统。

之所以给人造成大数据什么都能干的假象，主要因为现在宣传大数据的报道太多了，比如大数据营销、大数据物流、大数据制造、大数据扶贫、大数据信用……只有你想不到，没有大数据关联不上的。

某些组织或企业往往没有认真评估，盲目上马大数据项目。只管用不用，不管适不适合。过了一年两年后，这些组织或企业会逐步发现，数据标准不一致、数据质量不高、数据分析水平跟不上业务发展需要等等各种问题，而这些问题恰恰是单纯大数据项目无法解决的。

笔者接触过这样认为的有两类客户，一类是上过所谓的“大数据系统”，但是没有获得期待的收益，甚至“受过伤”（例如分析结果不准、数据不全等等），从此决口不提大数据的事情；另一类是拒绝接受新事物的客户，他们对于新的信息系统（不光是大数据系统）往往持怀疑态度，认为现有的系统就很好，为什么需要改变。网上有很多为什么需要大数据分析而不是简单的报表分析系统的答案，这里就不再展开了。好吧，改变一个人的固有思维确实很难，其中一种方法是让这种客户看看同样组织和企业的成功案例，并且在小范围内试行一段时间。

这类客户往往系统不多、数据量不大，业务相对简单。但笔者碰到过一个这样的客户，开始只是一些简单的报表需求，但后来随着分析的深入，需要获取的数据越来越多，什么第三方的、互联网、物联网的数据统统都纳入达到分析系统里来，平台也随之越来越大，平台也从最初的数据库一步一步升级到了庞大的大数据平台。

笔者认为企业应针对数据分析类系统要做一个长期的判断：清楚有多少数据需要分析（不仅仅包括系统里有的数据，还包括未在系统里存储的数据，以及需要获得的、但尚未获得数据），如果这些数据全加起来规模都不大，就没必要着急上大数据平台，传统手段也可以。如果传统技术不能达到处理要求，则应尽快考虑实施大数据项目。另外，还要考虑从报表系统、数据仓库系统过渡到大数据平台系统的策略。大数据平台的建设不可能一蹴而就，往往需要规划好几期项目，才能逐步获得收益。

我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、提高企业数据质量、推动企业走进大数据时代。

我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。

我们的价值观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。

长

按

关

注

了解更多精彩内容

数据工匠俱乐部

微信号 : zgsjgjjlb

专注数据治理，推动大数据发展。