数据治理

  1. 前言 在3台机器分别部署了zookeeper-3.4.5，本文操作是在此基础上进行的。部署详情参见上一篇文章    2. 客户端登录与帮助查…

  错误信息如下： 1 Exception in thread “main” org.apache.zookeeper.KeeperException$Connectio…

  1. 使用系统和软件 操作系统：CentOS Linux release 7.4.1708 (Core) 64位 使用软件如下： jdk1.8.0_112.tar.g…

  1. 主机规划 主机名称 外网IP 内网IP 操作系统 备注 安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.2 ssh por…

  1. HDFS常用操作 1.1. 查询 1.1.1.  浏览器查询   1.1.2. 命令行查询 [[email protected] …

  1. HDFS前言 l  设计思想 　　分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； &nbs…

  1. HDFS的shell操作 1.1. 支持的命令及参数 1 [[email protected] zhangliang]$ hadoop fs 2 Us…

  1. MAPREDUCE原理 　　Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； 　　Mapreduce核…

  　　MapReduce重要配置参数 1. 资源相关参数 1 //以下参数是在用户自己的mr应用程序中配置就可以生效 2 (1) mapreduce.map.memor…

1.MapReduce（Map+Reduce）    提出一个问题： 目标：你想数出一摞牌中有多少张黑桃。 直观方式：一张一张检查并且数出有多少张是黑桃数目 M…