数说（之二）·谈谈大数据产品的选型

上期回顾：《大数据建设误区》统一认识，是开展大数据战略的第一步，详细文章见数说 • 大数据项目建设误区

我们在做企业信息化系统时，似乎从来没有把产品选型当成一个大事情。比如采购桌面系统，基本上是微软或者苹果系统，服务器系统主要是Unix或Linux或windowsserver，数据库Oracle、DB2、MySQL，ERP套件主要是SAP、Oracle……诸如此类，选择不会太多。反观大数据领域，网上的产品比比皆是，不管什么类型的软件，都号称采用了大数据技术，这让我们有点手足无措。

如果说好的工具能让我们事半功倍，那么什么是一款好的大数据产品呢？说到这里，可能有些读者迫不及待的往下文去找“结果”了。别着急，选大数据产品前，首先回答一个问题：

回答这个问题的时候，我们需要考虑企业的主营业务是什么？如果是银行、电信、物流、制造等这些非IT行业，其信息化部门可以不用考虑自己从头搭建一个大数据平台。请注意一个关键词——“目前”，有些企业上了大数据后，发现能给企业带来非常大的利润，于是大力投入，甚至独立成立大数据公司来运作企业数据。如果近期预期通过大数据技术获得回报的，可以考虑自制大数据产品。不过在此之前，要重新考虑其投入产出比。

在云栖社区近期进行的一项调查中显示大数据已经成为信息化长远发展的共识，但由于对数据认知度的局限、大数据产品服务的不足和市场教育的缺乏，有相当多的企业并不清楚投入多少才是合理的。

图云栖社区《2017中国开发者调查报告》

除了平台本身，人力成本也是大数据投入的主要方面。目前大数据人才缺口严重，薪资比较高，一般集中在互联网企业和大型软件公司中，招聘合适的研发人员较为困难。从头搭建一个完整的大数据平台是耗资巨大的，以下是笔者以前接触过的一些厂商的反馈，不一定是官方数据，仅供参考：

从上文对比可以看出，实际市场对大数据的投入是偏低的，可谓是“雷声大、雨点小”。所以一旦确定了大数据战略，那么应该是持续性的，符合性价比的投入方案，例如在某些特定场景先行应用大数据平台，而不是全面推行。

一旦确定了企业对于大数据的战略、目标和投入预期，接下来就面临如何选择大数据平台产品的问题了。从CSDN《2016年度中国软件开发者白皮书》来看，国内还是使用商业版大数据平台的企业较多（34%+28%=62%）。其原因还是开源社区版本的大数据软件在稳定性上和商业版尚有不少差距，单靠企业自身能力难以对其进行深度改造和完善。

图企业搭建大数据平台情况（CSDN）

市面上号称大数据的产品不少，有提供一站式服务的大型平台、专门提供分析服务的软件、有专门分析网络日志的工具……到底我们如何选择呢？好，请回答下个问题：

现在国内的大数据场景常见的有以下几类，笔者说明一下需要考虑的大数据组件，供读者参考。

如果真不知道要干什么，好吧，可以选择一些大的综合性平台，像国外的有Cloudera、Hortonworks、MapR的产品，国内有阿里、华为、星环、联想等。但是成熟的大数据平台往往投入不菲，需要慎重考虑。

（1）没有大数据平台研发能力企业建议采用商用软件

这里是指大数据平台的产品研发能力，不是应用开发能力。因为可以称之为产品的大数据平台架构复杂，开发周期长，投资巨大，前文已经有所表述，不再赘述。

（2）尽量选用采用通用大数据技术的产品

尽管有些大数据厂商的技术非常先进，实施案例也比较丰富，但是从通用性、平台迁移成本考虑，还是建议各位尽量选择基于通用开源技术的商业产品，因为一方面闭源的产品在后期的维护、升级定价比较容易被厂商垄断；另一方面对于通用产品应用研发，企业自身招聘IT人员的选择范围较多，人力成本相对较低。

（3）先规划大数据场景再进行选型

大数据技术能结合业务的场景比较多，但不同的场景所需要用的大数据组件不同（前文也有所讲述），所以需要根据业务场景来综合考虑选型问题。另外，大数据平台的产品组件也不是越多越好，部分组件对于硬件环境要求、配置参数方面是相冲突的，因此有些大型企业的大数据平台往往不止一套，而是多套，每个平台都有其对应的一些业务场景和使用范围。

企业构建数据分析项目常见的最大问题往往是贪大求全，特别是首次开展大数据项目的企业，项目执行团队很有可能会被要求构建一套既没有“明确功能范围”却要求“适应各种业务场景”的解决方案，造成项目成本高昂且工期很长。项目执行团队不如在安排项目计划时，采用小规模快速实施的“速赢阶段”应用，让决策者很快可以看到成效，提升他们对同类项目的信心，然后再按部就班的实施后面的深度应用。

石化盈科大数据平台介绍请看石化盈科大数据平台介绍