数据分析

前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 这是一篇入门文章，Ha…

第一部分：环境配置（含操作系统、防火墙、SSH、JAVA安装等） Hadoop 2.8集群安装模拟环境为： 主机：Hostname:Hadoop-host,IP:10.10.11.…

第一步：把zookeeper的安装包上传到服务器 第二步：解压缩 第三步：在/usr/local/目录下创建一个solrcloud目录。把zookeeper解压…

上一篇博文中，我详细描述了从MongoDB简介到安装，在本节，主要从整体角度去看MongoDB。 MongoDB的数据架构 官方是这样描述的 MongoDB stores all …

介绍安装环境与版本 用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。 redis 采用 redis-3.2.4 版本。 两台虚拟机都是 C…

1.序言 　　MongoDB 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。 它使用 C++编写。MongoDB 包含一下特点: 面向集合的存储:适合存储对象及JSON形…

什么是分布式系统 分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存…

引言 Spark HashShuffle 是它以前的版本，现在1.6x 版本默应是 Sort-Based Shuffle，那为什么要讲 HashShuffle 呢，因为有分布式就一…

一、大数据性能调优的本质 编程的时候发现一个惊人的规律，软件是不存在的！所有编程高手级别的人无论做什么类型的编程，最终思考的都是硬件方面的问题！最终思考都是在一秒、一毫秒、甚至一纳…

开发调优 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：…