数据分析

　　上一篇文章我们介绍了Redis的RDB持久化，RDB 持久化存在一个缺点是一定时间内做一次备份，如果redis意外down掉的话，就会丢失最后一次快照后的所有修改(数据有丢失)…

　　前面介绍Redis，我们都在一台服务器上进行操作的，也就是说读和写以及备份操作都是在一台Redis服务器上进行的，那么随着项目访问量的增加，对Redis服务器的操作也越加频繁，…

1、初始化一个新的项目 yarn init 2、添加一个依赖包 yarn add [package] yarn add [package]@[version] yarn add […

  Yarn 是一个新的包管理器，用于替代现有的 npm 客户端或者其他兼容 npm 仓库的包管理工具。Yarn 保留了现有工作流的特性，优点是更快、更安全、更可靠。 安装 Yar…

Hadoop Hadoop是一个Apache旗下的分布式系统基础架构。 Hadoop1由HDFS和MapReduce构成；Hadoop2框架核心设计有HDFS、MapReduce、…

26 集群使用初步 HDFS的设计思路 l 设计思想   分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据…

mapreduce主要的实现需要三个类:主方法类、map类、reduce类。 1. 主方法类： public class BreadPointDriver { /** * * @p…

通过API操作之前要先了解几个基本知识 基本数据类型 Hadoop的基本数据类型和Java的基本数据类型是不一样的，但是都存在对应的关系 如下图 如果需要定义自己的数据类型，则必须…

Hadoop YARN版本：2.2.0 关于hadoop yarn的环境搭建可以参考这篇博文：Hadoop 2.0安装以及不停集群加datanode   hadoop h…

功能：统计公司员工一个月内手机上网上行流量、下行流量及总流量。  测试数据如下： 13612345678     6000  &n…