大数据入门（大数据是什么）

简介： 大数据入门-大数据是什么

一、概念
百度百科这样写道

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

其实大数据可以理解为大的数据。什么叫大的数据，首先数据量大，种类多，增长快，价值密度低，需要分析处理得出有价值的数据。我们技术人员一般讲大数据是指大数据技术，例如Hadoop等技术。

二、特点
1.数据量大
Volume：表示大数据的数据体量巨大。
数据集合的规模不断扩大，已经从 GB 级增加到 TB 级再增加到 PB 级，近年来，数据量甚至开始以 EB 和 ZB 来计数。例如微信，淘宝等网站的数据，全球几十亿人的数据都要处理。

2.数据时效性
Velocity：表示大数据的数据产生、处理和分析的速度在持续加快。
加速的原因是数据创建的实时性特点，以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快，处理模式已经开始从批处理转向流处理。例如我们每天都要聊微信，每时每刻都要视频，这个数据都要实时进行传输，时效性在不断加快。

3.数据多样性
Variety：表示大数据的数据类型繁多
传统 IT 产业产生和处理的数据类型较为单一，大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。例如图片，视频等非结构化数据，都需要进行存储。

4.数据价值低
Value：表示大数据的数据价值密度低。
大数据由于体量不断加大，单位数据的价值密 度在不断降低，然而数据的整体价值在提高。以监控视频为例，在一小时的视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油，这表示大数据当中蕴含了无限的商业价值。例如淘宝可以利用大数据来做推荐，百度可以利用大数据做竞价排名等。

三、国家发展促进
经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。

四、大数据岗位
大数据运维，大数据开发，数据仓库开发，数据分析等。

个人理解的Hadoop

首先，是因为数据量大，数据种类多，我们传统的关系型数据库已经不能满足我们的需求。Hadoop能干啥，Hadoop是免费的，我们暂时没有很多资金的小伙伴可以使用它。

第二，Hadoop是可以扩展的，就是说我们一台机器不够用了，可以再加一台，流程不是很复杂，简单的写几条命令就可以了。

第三，Hadoop的机器是可以动态的移动数据，这就是啥呢，这就是互帮互助，在现实生活中，你负担大了，我可以帮助你，你可以帮助我。这种帮助机制是有自己的调度资源的。

第四，Hadoop是有容错机制的，什么意思呢。就是说你事情做错了，我们可以有办法给你矫正。当然是要备份之前的副本，可以给你还原回去了。保证你的数据是错误的，现实生活中错误是没有办法避免的，我们唯有每天自省，每天反思，才能避免少犯错误或者不犯错误。让自己弯道超车，让自己少走弯路。