数据采集

HBase是面向列存储的列式数据库 列式数据库：对数据库中的数据存储时，是按照列来存储的。 附：对于普通的行式关系型数据库，对于查询语句SELECT  ID, NAME …

在配置hbase的kerberos认证时，启动zookeeper之后，启动hbase出现如下错误，导致HMaster立马down掉 但是接着在zkEnv.sh中配置了如下内容之后，…

1. 安装ZK, 单机多实例配置及启动 ·        创建data目录, 创…

Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素…

要理解大数据这一概念，首先要从”大”入手，”大”是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V…

14/05/30 16:04:23 ERROR UserGroupInformation: PriviledgedActionException as:jnleec (auth:S…

linux：安装流程： 1、安装JDK，要求是jdk1.6及其以上的版本： 以jdk-8u40-linux-x64.gz为例，在你的java下载目录下 sudo tar -zxvf…

在eclipse中编写完hadoop程序后，运行无错，使用eclipse自带的打包工具打包jar文件，具体步骤如下： 1、右键要打包的包或者类，export->java中的可…

对于Hadoop的MapReduce执行机制，主要分为两部分来处理数据，mapper和reducer阶段，这两个阶段中间有一个非常重要的shuffle过程，这个过程其实是mapre…

一、hadoop不适合计算密集型的工作 以前看过一个PPT： Hadoop In 45 Minutes or Less ，记得上面说hadoop不适合…