大数据应用的技术体系及潜在问题

总结全文并对大数据处理进行了展望。

1 大数据概述

1.1 大数据的定义

维基百科对大数据的定义是，所涉及的资料量的规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的各种资讯。

大数据目前主流的对大数据的定义为3V，即规模性（Volume），多样性（Variety）和高速性（Velocity）。所谓规模性，就是数据的量达到了一定的高度，无法通过当前主流工具来及时处理；多样性指的是对于即将要处理的数据类型，除了有结构化的以外，还有半结构化和非结构化的，增加了操作的复杂性；高速性是指数据的到达与处理必须及时高效，不允许较长的延迟[8]。除此之外，一般也认为，隐私性与有价值型同样是大数据的主要特征[9]。

1.2 大数据的带来的机遇与挑战

随着大数据时代的到来，其中隐藏的商机也被各路商家发现和利用。美国Target百货公司通过一套客户分析工具，可以对顾客的购买记录进行分析，并随后通过购物手册的形式向顾客推荐一系列可能需要的商品；“阿里云”通过对其云平台上海量的交易和数据进行分析，从而知道哪些商户可能存在资金问题，随后“阿里云”贷款平台便出马同潜在的贷款对象进行沟通；“京东”、“天猫”和“易购”等购物网站将其海量商品按照各种方式进行分类和推荐，大大增强了网站的可用性。