数据湖

1. 安装ZK, 单机多实例配置及启动 ·        创建data目录, 创…

Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素…

要理解大数据这一概念，首先要从”大”入手，”大”是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V…

14/05/30 16:04:23 ERROR UserGroupInformation: PriviledgedActionException as:jnleec (auth:S…

linux：安装流程： 1、安装JDK，要求是jdk1.6及其以上的版本： 以jdk-8u40-linux-x64.gz为例，在你的java下载目录下 sudo tar -zxvf…

在eclipse中编写完hadoop程序后，运行无错，使用eclipse自带的打包工具打包jar文件，具体步骤如下： 1、右键要打包的包或者类，export->java中的可…

对于Hadoop的MapReduce执行机制，主要分为两部分来处理数据，mapper和reducer阶段，这两个阶段中间有一个非常重要的shuffle过程，这个过程其实是mapre…

一、hadoop不适合计算密集型的工作 以前看过一个PPT： Hadoop In 45 Minutes or Less ，记得上面说hadoop不适合…

分区表其实就是按照表中数据的某一列的值进行划分文件(自我理解类似于sql查询中的group by），一个分区下包含多个子目录，用于分区的虚拟列有多少种枚举值就有多少个子目录。分区表…

spark的结构图如下： 一个Application和一个SparkContext相关联，每个Application中可以有一个或多个Job，可以并行或者串行运行 Job。Spar…