数据湖

HDFS冗余数据块的自动删除 　　在日常维护hadoop集群的过程中发现这样一种情况： 　　　　某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HD…

Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar…

1、运行mr程序出错　　connecting to resoucemanager 　　retrying …. 　　retrying ….. 　　原因是没有启…

1、下载源码，通过编译源码安装 　 tar -zxvf  /home/zfll/soft/snappy-1.1.2.tar.gz     c…

读取数据库数据和ElasticSearch数据进行连接处理 import java.util.HashMap; import java.util.List; import java…

1、Spark Streaming简介 　　官方网站解释：http://spark.apache.org/docs/latest/streaming-programming-gui…

废话不多说，直接上代码 package com.demo; import java.util.List; import java.util.regex.Pattern; impor…

写一个小小的Demo测试一下Spark提交程序的流程 Maven的pom文件 <properties> <maven.compiler.source>1.7…

首先是需要将hadoop的配置文件core-site,xml和hdfs-site.xml 拷贝到Spark conf目录下 然后启动提交即可 spark-submit /…

关于sparkStreaming的测试Drools框架结合版 package com.dinpay.bdp.rcp.service; import java.math.BigDec…