数据分析

一、前言        Hive是Hadoop上的数据仓库框架，其设计目的是让精通SQL技能（但Java编程技能相对较弱…

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，…

       最近在准备抽取数据的工作。有一个id集合200多M，要从另一个500GB的数据集合中抽取出所有id集合中包…

一.Mongodb 在windows下的安装 下载：https://www.mongodb.org/downloads#production 我们使用 .msi 类型的文件安装根据…

MongoDB 简介 介绍：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点：高性能、易部署、易使用，存储…

一、cmd连接mongodb 服务     进入mongodb的bin目录下：[D:/mongodb3.2.5/bin]$ mongo 127.0.0.1:27…

Redis中有三种处理策略：定时删除、惰性删除和定期删除。 定时删除：在设置键的过期时间的时候创建一个定时器，当过期时间到的时候立马执行删除操作。不过这种处理方式是即时的，不管这个…

RPC 远程过程调用            socket    tcp   socket …

注意各个主机之间的通信 文件的复制   scp指令       scp /etc/profile acm03:/etc 所有历史版本： &n…

关于元数据的checkpoint    每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage…