大数据
-
CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装详解大数据
本文档主要记录了Hadoop+Hive+Spark集群安装过程,并且对NameNode与ResourceManager进行了HA高可用配置,以及对NameNode的横向扩展(Federation联邦) 1 VM网络…
-
HIVE开发总结详解大数据
基本数据类型... 3 查看所有函数... 3 搜索函数... 3 搜索表... 4 查看函数使用方法... 4 关键字补全... 4 显示表头... 4 SET环境变量... 5 查看建表语句、数据文件置... 5 执行外部命令... 6 NVL. 6 CONCAT…
-
hadoop2.7.3编译,支持snappy、bzip2本地压缩详解大数据
软件包: apache-ant-1.9.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz apache-tomcat-6.0.44.tar.gz CentOS-6.9-x86_64-minimal.iso findbugs-3.0.1.tar.gz hadoop-2.7.3-src.tar.gz jdk-8u121-linux-x64.tar.gz p…
-
大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)详解大数据
node1 192.168.1.11 node2 192.168.1.12 node3 192.168.1.13 备注 NameNode Hadoop Y Y 高可用 DateNode Y Y Y ResourceManager Y Y 高可用 NodeManager Y Y Y JournalNodes Y Y Y…
-
pip升级命令详解大数据
pip升级命令 $ python -m pip install --upgrade pip
-
pip安装时使用国内源,加快下载速度详解大数据
国内源: 新版ubuntu要求使用https源,要注意。 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理…
-
pip安装第三方库详解大数据
不是所有的第三方Python包都能通过pip来安装,只能是发布在pypi.org上面的才能通过pip安装。 pypi是什么? pypi是一个仓库,上面存放了大量的Python第三方软件包,是由Python官方社区维护。只要遵守pypi的规则, 所…
-
Kafka项目实战-用户日志上报实时统计之应用概述详解大数据
1.概述 本课程的视频教程地址:《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的,通过介绍 Kafka 的业务和应用场景,并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本…
-
Kafka项目实战-用户日志上报实时统计之分析与设计详解大数据
1.概述 本课程的视频教程地址:《Kafka实战项目之分析与设计》 本课程我通过一个用户实时上报日志案例作为基础,带着大家去分析Kafka这样一个项目的各个环节,从而对项目的整体设计做比较合理的规划,…
-
Kafka项目实战-用户日志上报实时统计之编码实践详解大数据
1.概述 本课程的视频教程地址:《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础,带着大家去完成各个KPI的编码工作,实现生产模块、消费模块,数据持久化,以及应用调度等工作, …