数据分析
-
去公司面试,记录下的hadoop最新面试题详解大数据
转载自:hadoop面试题 1.简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 1) 安装JDK并配置环境变量(/etc/profile) 2) 关…
-
hadoop面试总结详解大数据
1、简要描述如何安装配置一个开源的hadoop,只描述即可,列出完整步骤。 a、创建一个用户和用户组,用来管理hadoop项目 b、修改确定ip地址:vim /etc/syscon…
-
MapReduce操作HBase详解大数据
运行HBase时常会遇到个错误,我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: …
-
HBase入门基础教程详解大数据
开发环境 硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45、Eclipse J…
-
YARN源码分析(一)—–ApplicationMaster详解大数据
前言 在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中Job…
-
YARN源码分析(二)—–ResourceManager中的NM节点管理详解大数据
前言 继上一篇文章讲述完ApplicationMaster的相关用法,核心主题都是围绕着2个字”应用”,当然在RM中还有另外一项比较重要的服务也很重要,他就…
-
YARN源码分析(三)—–ResourceManager HA之应用状态存储与恢复详解大数据
前言 任何系统即使做的再大,都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了,但是万一硬件出问题了或者说物理层面上出了问题,恐怕就不是多写几…
-
自定义Hive Sql Job分析工具详解大数据
前言 我们都知道,在大数据领域,Hive的出现帮我降低了许多使用Hadoop书写方式的学习成本.使用用户可以使用类似Sql的语法规则写明查询语句,从hive表数据中查询目标数据.最…
-
HDFS源码分析(三)—–数据块关系基本结构详解大数据
前言 正如我在前面的文章中曾经写过,在HDFS中存在着两大关系模块,一个是文件与block数据块的关系,简称为第一关系,但是相比于第一个关系清晰的结构关系,HDFS的第二关系就没有…
-
HDFS源码分析(一)—–INode文件节点详解大数据
前言 在linux文件系统中,i-node节点一直是一个非常重要的设计,同样在HDFS中,也存在这样的一个类似的角色,不过他是一个全新的类,INode.class,后面的目录类等等…