区块链
-
Hive Compiler过程详解大数据
通过Parser将HiveQL转换成AST,通过Semantic Analyzer将AST转换为QB,通过Logical Plan Generator将QB转换成Operato…
-
hive优化总结详解大数据
一、表设计 合理分表 合理设计表分区,静态分区、动态分区 二、扫描相关 1、谓词下推(Predi…
-
redis基础学习一详解大数据
学习redis之前首先了解下什么是nosql 什么是NoSql? 为了解决高并发、高可用、高可扩展,大数据存储等一系列问题而产生的数据库解决方案,就是NoSql NoSql,叫非关…
-
redis基础学习二详解大数据
redis数据类型: 1.String类型 设置值:set key value 127.0.0.1:6379> set test 123 OK 取值:get value 12…
-
redis基础学习三详解大数据
redis持久化方案 redis持久化分为两种:rdb方式,aof方式,默认为rdb方式 1.Rdb方式:redis通过快照将数据持久化到磁盘中 设置持久化快照条件:在redis.…
-
hadoop datanode节点超时时间设置详解大数据
datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。 HDFS默…
-
Hadoop部署启动异常问题排查详解大数据
hadoop的日志目录(/home/hadoop/app/hadoop-2.6.4/logs) 1、hadoop启动不正常用浏览器访问namenode的50070端口,不正常,需要…
-
Hadoop本地调试详解大数据
windows上先调试该程序,然后再转到linux下。 程序运行的过程中, 报 Failed to locate the winutils binary in the had…
-
HDFS冗余数据块的自动删除详解大数据
HDFS冗余数据块的自动删除 在日常维护hadoop集群的过程中发现这样一种情况: 某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HD…
-
Maven引入Hadoop依赖报错:Missing artifact jdk.tools:jdk.tools:jar:1.6详解大数据
Maven引入Hadoop依赖报错:Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖,tools.jar…