大数据入门(大数据是什么)


简介: 大数据入门-大数据是什么

一、概念
百度百科这样写道

大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

其实大数据可以理解为大的数据。什么叫大的数据,首先数据量大,种类多,增长快,价值密度低,需要分析处理得出有价值的数据。我们技术人员一般讲大数据是指大数据技术,例如Hadoop等技术。

二、特点
1.数据量大
Volume:表示大数据的数据体量巨大。
数据集合的规模不断扩大,已经从 GB 级增加到 TB 级再增加到 PB 级,近年来,数据量甚至开始以 EB 和 ZB 来计数。例如微信,淘宝等网站的数据,全球几十亿人的数据都要处理。

2.数据时效性
Velocity:表示大数据的数据产生、处理和分析的速度在持续加快。
加速的原因是数据创建的实时性特点,以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快,处理模式已经开始从批处理转向流处理。例如我们每天都要聊微信,每时每刻都要视频,这个数据都要实时进行传输,时效性在不断加快。

3.数据多样性
Variety:表示大数据的数据类型繁多
传统 IT 产业产生和处理的数据类型较为单一,大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现,产生的数据类型无以计数。例如图片,视频等非结构化数据,都需要进行存储。

4.数据价值低
Value:表示大数据的数据价值密度低。
大数据由于体量不断加大,单位数据的价值密 度在不断降低,然而数据的整体价值在提高。以监控视频为例,在一小时的视频中,有用的数据可能仅仅只有一两秒,但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油,这表示大数据当中蕴含了无限的商业价值。例如淘宝可以利用大数据来做推荐,百度可以利用大数据做竞价排名等。

三、国家发展促进
经李克强总理签批,2015年9月,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统部署大数据发展工作。

四、大数据岗位
大数据运维,大数据开发,数据仓库开发,数据分析等。

大数据入门(大数据是什么)

个人理解的Hadoop

首先,是因为数据量大,数据种类多,我们传统的关系型数据库已经不能满足我们的需求。Hadoop能干啥,Hadoop是免费的,我们暂时没有很多资金的小伙伴可以使用它。

第二,Hadoop是可以扩展的,就是说我们一台机器不够用了,可以再加一台,流程不是很复杂,简单的写几条命令就可以了。

第三,Hadoop的机器是可以动态的移动数据,这就是啥呢,这就是互帮互助,在现实生活中,你负担大了,我可以帮助你,你可以帮助我。这种帮助机制是有自己的调度资源的。

第四,Hadoop是有容错机制的,什么意思呢。就是说你事情做错了,我们可以有办法给你矫正。当然是要备份之前的副本,可以给你还原回去了。保证你的数据是错误的,现实生活中错误是没有办法避免的,我们唯有每天自省,每天反思,才能避免少犯错误或者不犯错误。让自己弯道超车,让自己少走弯路。
 

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/291359.html

(0)
上一篇 2022年10月18日
下一篇 2022年10月18日

相关推荐

发表回复

登录后才能评论