数据治理
-
Redis详解(四)—— redis的底层数据结构大数据
上一篇博客我们介绍了 redis的五大数据类型详细用法,但是在 Redis 中,这几种数据类型底层是由什么数据结构构造的呢?本篇博客我们就来详细介绍Redis中五大数…
-
Redis详解(五)—— redis的五大数据类型实现原理大数据
前面两篇博客,第一篇介绍了五大数据类型的基本用法,第二篇介绍了Redis底层的六种数据结构。在Redis中,并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创…
-
Redis详解(六)—— RDB 持久化大数据
前面我们说过,Redis 相对于 Memcache 等其他的缓存产品,有一个比较明显的优势就是 Redis 不仅仅支持简单的key-value类型的数据,…
-
Redis详解(七)—— AOF 持久化大数据
上一篇文章我们介绍了Redis的RDB持久化,RDB 持久化存在一个缺点是一定时间内做一次备份,如果redis意外down掉的话,就会丢失最后一次快照后的所有修改(数据有丢失)…
-
Redis详解(八)—— 主从复制大数据
前面介绍Redis,我们都在一台服务器上进行操作的,也就是说读和写以及备份操作都是在一台Redis服务器上进行的,那么随着项目访问量的增加,对Redis服务器的操作也越加频繁,…
-
yarn基本命令详解大数据
1、初始化一个新的项目 yarn init 2、添加一个依赖包 yarn add [package] yarn add [package]@[version] yarn add […
-
Yarn基本命令行详解大数据
Yarn 是一个新的包管理器,用于替代现有的 npm 客户端或者其他兼容 npm 仓库的包管理工具。Yarn 保留了现有工作流的特性,优点是更快、更安全、更可靠。 安装 Yar…
-
HDFS、YARN和MapReduce简介详解大数据
Hadoop Hadoop是一个Apache旗下的分布式系统基础架构。 Hadoop1由HDFS和MapReduce构成;Hadoop2框架核心设计有HDFS、MapReduce、…
-
HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo详解大数据
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据…
-
mapreduce demo实现详解大数据
mapreduce主要的实现需要三个类:主方法类、map类、reduce类。 1. 主方法类: public class BreadPointDriver { /** * * @p…