数据采集

Hadoop Hadoop是一个Apache旗下的分布式系统基础架构。 Hadoop1由HDFS和MapReduce构成；Hadoop2框架核心设计有HDFS、MapReduce、…

26 集群使用初步 HDFS的设计思路 l 设计思想   分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据…

mapreduce主要的实现需要三个类:主方法类、map类、reduce类。 1. 主方法类： public class BreadPointDriver { /** * * @p…

通过API操作之前要先了解几个基本知识 基本数据类型 Hadoop的基本数据类型和Java的基本数据类型是不一样的，但是都存在对应的关系 如下图 如果需要定义自己的数据类型，则必须…

Hadoop YARN版本：2.2.0 关于hadoop yarn的环境搭建可以参考这篇博文：Hadoop 2.0安装以及不停集群加datanode   hadoop h…

功能：统计公司员工一个月内手机上网上行流量、下行流量及总流量。  测试数据如下： 13612345678     6000  &n…

MapReduce原理 分布式运算思想 场景需求 有一个日志文件，记录了一些搜索关键词搜索的记录，xx.log 按照 搜索时间 搜索关键词 ….. 等等属性为规则的一行行排列，使用…

一、是什么？ reids中的事务与数据库中的事务类似，但是又不是完全相似。换句话说，redis对事务是部分支持的，下面会讲解到。首先，reids的事务同样可以一次性执行多个命令，本…

Redis事务原理分析 基本应用 在Redis的事务里面，采用的是乐观锁，主要是为了提高性能，减少客户端的等待。由几个命令构成：WATCH, UNWATCH, MULTI, EXE…

首先明白在java中线程和进程的区别： 1.什么是多线程？ 是指一个应用程序同时执行多个任务，一般来说一个任务就是一个线程 ，而一个应用程序有一个以上的线程我们称之为多线…