区块链

要理解大数据这一概念，首先要从”大”入手，”大”是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V…

14/05/30 16:04:23 ERROR UserGroupInformation: PriviledgedActionException as:jnleec (auth:S…

linux：安装流程： 1、安装JDK，要求是jdk1.6及其以上的版本： 以jdk-8u40-linux-x64.gz为例，在你的java下载目录下 sudo tar -zxvf…

在eclipse中编写完hadoop程序后，运行无错，使用eclipse自带的打包工具打包jar文件，具体步骤如下： 1、右键要打包的包或者类，export->java中的可…

对于Hadoop的MapReduce执行机制，主要分为两部分来处理数据，mapper和reducer阶段，这两个阶段中间有一个非常重要的shuffle过程，这个过程其实是mapre…

一、hadoop不适合计算密集型的工作 以前看过一个PPT： Hadoop In 45 Minutes or Less ，记得上面说hadoop不适合…

分区表其实就是按照表中数据的某一列的值进行划分文件(自我理解类似于sql查询中的group by），一个分区下包含多个子目录，用于分区的虚拟列有多少种枚举值就有多少个子目录。分区表…

spark的结构图如下： 一个Application和一个SparkContext相关联，每个Application中可以有一个或多个Job，可以并行或者串行运行 Job。Spar…

HBase架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、Zoo…

HBase读的实现 通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入…