数据中台

redis持久化方案 redis持久化分为两种：rdb方式，aof方式，默认为rdb方式 1.Rdb方式：redis通过快照将数据持久化到磁盘中 设置持久化快照条件：在redis.…

datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默…

hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要…

windows上先调试该程序，然后再转到linux下。 　　程序运行的过程中，　　报 Failed to locate the winutils binary in the had…

HDFS冗余数据块的自动删除 　　在日常维护hadoop集群的过程中发现这样一种情况： 　　　　某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HD…

Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar…

1、运行mr程序出错　　connecting to resoucemanager 　　retrying …. 　　retrying ….. 　　原因是没有启…

1、下载源码，通过编译源码安装 　 tar -zxvf  /home/zfll/soft/snappy-1.1.2.tar.gz     c…

读取数据库数据和ElasticSearch数据进行连接处理 import java.util.HashMap; import java.util.List; import java…

1、Spark Streaming简介 　　官方网站解释：http://spark.apache.org/docs/latest/streaming-programming-gui…