数据分析

  1. 主机规划 主机名称 外网IP 内网IP 操作系统 备注 安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.2 ssh por…

  1. HDFS常用操作 1.1. 查询 1.1.1.  浏览器查询   1.1.2. 命令行查询 [[email protected] …

  1. HDFS前言 l  设计思想 　　分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； &nbs…

  1. HDFS的shell操作 1.1. 支持的命令及参数 1 [[email protected] zhangliang]$ hadoop fs 2 Us…

  1. MAPREDUCE原理 　　Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； 　　Mapreduce核…

  　　MapReduce重要配置参数 1. 资源相关参数 1 //以下参数是在用户自己的mr应用程序中配置就可以生效 2 (1) mapreduce.map.memor…

1.MapReduce（Map+Reduce）    提出一个问题： 目标：你想数出一摞牌中有多少张黑桃。 直观方式：一张一张检查并且数出有多少张是黑桃数目 M…

1.确定Hadoop处于启动状态 [[email protected] ~]# jps 23763 Jps3220 SecondaryNameNode3374 Resou…

  数据在虚拟机内外交换的方式简称为序列化     *序列化（Serialization）是指把结构化对象转化为字节流。(写出去，以内存中得对象为基础…

1 /** 2 * Licensed to the Apache Software Foundation (ASF) under one 3 * or more contribut…