大数据学习路线

微信群里有人问我大数据学习线路是怎样的？需要学习哪些知识以及工作后工作内容有哪些？我这里通过这篇文章给大家分享一下大数据相关领域的学习线路和知识掌握情况，希望能够帮助到大家！

大数据不是某个专业或一门编程语言，实际上它是一系列技术的组合运用。有人通过下方的等式给出了大数据的定义。

大数据 = 编程技巧 + 数据结构和算法 + 分析能力 + 数据库技能 + 数学 + 机器学习 + NLP + OS + 密码学 + 并行编程虽然这个等式看起来很长，需要学习的东西很多，但付出和汇报是成正比的，至少和薪资是成正比的。

有这么多知识需要学习，那么该怎么学？如何学？

有人简单的将学习线路总结为：入门知识 → Java 基础 → Scala 基础 → Hadoop 技术模块 → Hadoop 项目实战 → Spark 技术模块 → 大数据项目实战。其实这是不准确的，因为大数据也是可以分方向的！

大数据的三个发展方向：平台搭建/优化/运维/监控、大数据开发/ 设计/ 架构、数据分析/挖掘。

我们先来看一下大数据的4V特征：

• 数据量大，TB->PB 
• 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 
• 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； 
• 处理时效性高，海量数据的处理需求不再局限在离线计算当中。

针对大数据的特点，我们需要掌握的重点知识如下：

• 文件存储：Hadoop HDFS、Tachyon、KFS 
• 离线计算：Hadoop MapReduce、Spark 
• 流式、实时计算：Storm、Spark Streaming、S4、Heron 
• K-V、NOSQL数据库：HBase、Redis、MongoDB 
• 资源管理：YARN、Mesos 
• 日志收集：Flume、Scribe、Logstash、Kibana 
• 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 
• 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 
• 分布式协调服务：Zookeeper 
• 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 
• 数据挖掘、机器学习：Mahout、Spark MLLib 
• 数据同步：Sqoop 
• 任务调度：Oozie

可以说多，也可以说简单。因为你只要入门了，有兴趣了，学什么东西都便的简单了！

关于上面的这些知识点，我都有对应的视频教程。大家只需要扫描下方微信二维码，关注“”微信公众号，我每天或者每周都会有对应的视频推出，免费赠送给大家！

网上的这些内容都是收费的，我免费，全免费，一分钱不要！

学习规划

总共分为五大部分，分别是：

• 大数据技术基础
• 离线计算Hadoop
• 流式计算Storm
• 内存计算Spark
• 机器学习算法

linux操作基础

• linux系统简介与安装
• linux常用命令–文件操作
• linux常用命令–用户管理与权限
• linux常用命令–系统管理
• linux常用命令–免密登陆配置与网络管理
• linux上常用软件安装
• linux本地yum源配置及yum软件安装
• linux防火墙配置
• linux高级文本处理命令cut、sed、awk
• linux定时任务crontab

shell编程

• shell编程–基本语法
• shell编程–流程控制
• shell编程–函数
• shell编程–综合案例–自动化部署脚本

内存数据库redis

• redis和nosql简介
• redis客户端连接
• redis的string类型数据结构操作及应用-对象缓存
• redis的list类型数据结构操作及应用案例-任务调度队列
• redis的hash及set数据结构操作及应用案例-购物车
• redis的sortedset数据结构操作及应用案例-排行榜

布式协调服务zookeeper

• zookeeper简介及应用场景
• zookeeper集群安装部署
• zookeeper的数据节点与命令行操作
• zookeeper的java客户端基本操作及事件监听
• zookeeper核心机制及数据节点
• zookeeper应用案例–分布式共享资源锁
• zookeeper应用案例–服务器上下线动态感知
• zookeeper的数据一致性原理及leader选举机制

java高级特性增强

• Java多线程基本知识
• Java同步关键词详解
• java并发包线程池及在开源软件中的应用
• Java并发包消息队里及在开源软件中的应用
• Java JMS技术
• Java动态代理反射

轻量级RPC框架开发

• RPC原理学习
• Nio原理学习
• Netty常用API学习
• 轻量级RPC框架需求分析及原理分析
• 轻量级RPC框架开发

离线计算Hadoop快速入门

• hadoop背景介绍
• 分布式系统概述
• 离线数据分析流程介绍
• 集群搭建
• 集群使用初步

HDFS增强

• HDFS的概念和特性
• HDFS的shell(命令行客户端)操作
• HDFS的工作机制
• NAMENODE的工作机制
• java的api操作
• 案例1：开发shell采集脚本

MAPREDUCE详解

• 自定义hadoop的RPC框架
• Mapreduce编程规范及示例编写
• Mapreduce程序运行模式及debug方法
• mapreduce程序运行模式的内在机理
• mapreduce运算框架的主体工作流程
• 自定义对象的序列化方法
• MapReduce编程案例

MAPREDUCE增强

• Mapreduce排序
• 自定义partitioner
• Mapreduce的combiner
• mapreduce工作机制详解

MAPREDUCE实战

• maptask并行度机制-文件切片
• maptask并行度设置
• 倒排索引
• 共同好友

federation介绍和hive使用

• Hadoop的HA机制
• HA集群的安装部署
• 集群运维测试之Datanode动态上下线
• 集群运维测试之Namenode状态切换管理
• 集群运维测试之数据块的balance
• HA下HDFS-API变化
• hive简介
• hive架构
• hive安装部署
• hvie初使用

hive增强和flume介绍

• HQL-DDL基本语法
• HQL-DML基本语法
• HIVE的join
• HIVE 参数配置
• HIVE 自定义函数和Transform
• HIVE 执行HQL的实例分析
• HIVE最佳实践注意点
• HIVE优化策略
• HIVE实战案例
• Flume介绍
• Flume的安装部署
• 案例：采集目录到HDFS
• 案例：采集文件到HDFS

流式计算Storm从入门到精通

• Storm是什么
• Storm架构分析
• Storm架构分析
• Storm编程模型、Tuple源码、并发度分析
• Storm WordCount案例及常用Api分析
• Storm集群部署实战
• Storm+Kafka+Redis业务指标计算
• Storm源码下载编译
• Strom集群启动及源码分析
• Storm任务提交及源码分析
• Storm数据发送流程分析
• Storm通信机制分析
• Storm消息容错机制及源码分析
• Storm多stream项目分析
• 编写自己的流式任务执行框架

Storm上下游及架构集成

• 消息队列是什么
• Kakfa核心组件
• Kafka集群部署实战及常用命令
• Kafka配置文件梳理
• Kakfa JavaApi学习
• Kafka文件存储机制分析
• Redis基础及单机环境部署
• Redis数据结构及典型案例
• Flume快速入门
• Flume+Kafka+Storm+Redis整合

内存计算Spark，scala编程

• scala编程介绍
• scala相关软件安装
• scala基础语法
• scala方法和函数
• scala函数式编程特点
• scala数组和集合
• scala编程练习（单机版WordCount）
• scala面向对象
• scala模式匹配
• actor编程介绍
• option和偏函数
• 实战：actor的并发WordCount
• 柯里化
• 隐式转换

AKKA与RPC

• Akka并发编程框架
• 实战：RPC编程实战

Spark快速入门

• spark介绍
• spark环境搭建
• RDD简介
• RDD的转换和动作
• 实战：RDD综合练习
• RDD高级算子
• 自定义Partitioner
• 实战：网站访问次数
• 广播变量
• 实战：根据IP计算归属地
• 自定义排序
• 利用JDBC RDD实现数据导入导出
• WorldCount执行流程详解

RDD详解

• RDD依赖关系
• RDD缓存机制
• RDD的Checkpoint检查点机制
• Spark任务执行过程分析
• RDD的Stage划分

Spark-Sql应用

• Spark-SQL
• Spark结合Hive
• DataFrame
• 实战：Spark-SQL和DataFrame案例

SparkStreaming应用实战

• Spark-Streaming简介
• Spark-Streaming编程
• 实战：StageFulWordCount
• Flume结合Spark Streaming
• Kafka结合Spark Streaming
• 窗口函数
• ELK技术栈介绍
• ElasticSearch安装和使用
• Storm架构分析
• Storm编程模型、Tuple源码、并发度分析
• Storm WordCount案例及常用Api分析

Spark核心源码解析

• Spark源码编译
• Spark远程debug
• Spark任务提交行流程源码分析
• Spark通信流程源码分析
• SparkContext创建过程源码分析
• DriverActor和ClientActor通信过程源码分析
• Worker启动Executor过程源码分析
• Executor向DriverActor注册过程源码分析
• Executor向Driver注册过程源码分析
• DAGScheduler和TaskScheduler源码分析
• Shuffle过程源码分析
• Task执行过程源码分析

机器学习算法python及numpy库

• 机器学习简介
• 机器学习与python
• python语言–快速入门
• python语言–数据类型详解
• python语言–流程控制语句
• python语言–函数使用
• python语言–模块和包
• phthon语言–面向对象
• python机器学习算法库–numpy
• 机器学习必备数学知识–概率论

常用算法实现

• knn分类算法–算法原理
• knn分类算法–代码实现
• knn分类算法–手写字识别案例
• lineage回归分类算法–算法原理
• lineage回归分类算法–算法实现及demo
• 朴素贝叶斯分类算法–算法原理
• 朴素贝叶斯分类算法–算法实现
• 朴素贝叶斯分类算法–垃圾邮件识别应用案例
• kmeans聚类算法–算法原理
• kmeans聚类算法–算法实现
• kmeans聚类算法–地理位置聚类应用
• 决策树分类算法–算法原理
• 决策树分类算法–算法实现

不多说了，这些视频我都会一一的分享，慢慢关注我吧！

： » 大数据学习路线