数据分析
-
Linux下Hadoop2.6的安装详解大数据
linux：安装流程： 1、安装JDK，要求是jdk1.6及其以上的版本： 以jdk-8u40-linux-x64.gz为例，在你的java下载目录下 sudo tar -zxvf…
-
java打包jar文件，在hadoop中运行详解大数据
在eclipse中编写完hadoop程序后，运行无错，使用eclipse自带的打包工具打包jar文件，具体步骤如下： 1、右键要打包的包或者类，export->java中的可…
-
hadoop中map到reduce的过程详解大数据
对于Hadoop的MapReduce执行机制，主要分为两部分来处理数据，mapper和reducer阶段，这两个阶段中间有一个非常重要的shuffle过程，这个过程其实是mapre…
-
hadoop估算π详解大数据
一、hadoop不适合计算密集型的工作 以前看过一个PPT： Hadoop In 45 Minutes or Less ，记得上面说hadoop不适合…
-
hive中的分区表详解大数据
分区表其实就是按照表中数据的某一列的值进行划分文件(自我理解类似于sql查询中的group by），一个分区下包含多个子目录，用于分区的虚拟列有多少种枚举值就有多少个子目录。分区表…
-
spark和hadoop的区别详解大数据
spark的结构图如下： 一个Application和一个SparkContext相关联，每个Application中可以有一个或多个Job，可以并行或者串行运行 Job。Spar…
-
HBase深入学习（1）详解大数据
HBase架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、Zoo…
-
HBase深入学习(2)详解大数据
HBase读的实现 通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入…
-
HBase数据库检索性能优化策略详解大数据
HBase 数据表介绍 HBase 数据库是一个基于分布式的、面向列的、主要用于非结构化数据存储用途的开源数据库。其设计思路来源于 Google 的非开源数据库”BigTable”…
-
HBase特征详解大数据
Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程…