数据中台

1、初始化一个新的项目 yarn init 2、添加一个依赖包 yarn add [package] yarn add [package]@[version] yarn add […

  Yarn 是一个新的包管理器，用于替代现有的 npm 客户端或者其他兼容 npm 仓库的包管理工具。Yarn 保留了现有工作流的特性，优点是更快、更安全、更可靠。 安装 Yar…

Hadoop Hadoop是一个Apache旗下的分布式系统基础架构。 Hadoop1由HDFS和MapReduce构成；Hadoop2框架核心设计有HDFS、MapReduce、…

26 集群使用初步 HDFS的设计思路 l 设计思想   分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据…

mapreduce主要的实现需要三个类:主方法类、map类、reduce类。 1. 主方法类： public class BreadPointDriver { /** * * @p…

通过API操作之前要先了解几个基本知识 基本数据类型 Hadoop的基本数据类型和Java的基本数据类型是不一样的，但是都存在对应的关系 如下图 如果需要定义自己的数据类型，则必须…

Hadoop YARN版本：2.2.0 关于hadoop yarn的环境搭建可以参考这篇博文：Hadoop 2.0安装以及不停集群加datanode   hadoop h…

功能：统计公司员工一个月内手机上网上行流量、下行流量及总流量。  测试数据如下： 13612345678     6000  &n…

MapReduce原理 分布式运算思想 场景需求 有一个日志文件，记录了一些搜索关键词搜索的记录，xx.log 按照 搜索时间 搜索关键词 ….. 等等属性为规则的一行行排列，使用…

一、是什么？ reids中的事务与数据库中的事务类似，但是又不是完全相似。换句话说，redis对事务是部分支持的，下面会讲解到。首先，reids的事务同样可以一次性执行多个命令，本…