数据采集

hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要…

windows上先调试该程序，然后再转到linux下。 　　程序运行的过程中，　　报 Failed to locate the winutils binary in the had…

HDFS冗余数据块的自动删除 　　在日常维护hadoop集群的过程中发现这样一种情况： 　　　　某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HD…

Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar…

1、运行mr程序出错　　connecting to resoucemanager 　　retrying …. 　　retrying ….. 　　原因是没有启…

1、下载源码，通过编译源码安装 　 tar -zxvf  /home/zfll/soft/snappy-1.1.2.tar.gz     c…

读取数据库数据和ElasticSearch数据进行连接处理 import java.util.HashMap; import java.util.List; import java…

1、Spark Streaming简介 　　官方网站解释：http://spark.apache.org/docs/latest/streaming-programming-gui…

废话不多说，直接上代码 package com.demo; import java.util.List; import java.util.regex.Pattern; impor…

写一个小小的Demo测试一下Spark提交程序的流程 Maven的pom文件 <properties> <maven.compiler.source>1.7…