数据处理流程

流程图解析

　　典型的BI系统体流程如下：

　　由于是处理海量数据，流程中各环节所使用的技术则跟传统BI完全不同，后续课程都会一一讲解：

　　1) 数据采集：定制开发采集程序，或使用开源框架FLUME

　　2) 数据预处理：定制开发mapreduce程序运行于Hadoop集群

　　3) 数据仓库技术：基于hadoop之上的Hive

　　4) 数据导出：基于hadoop的sqoop数据导入导出工具

　　5) 数据可视化：定制开发web程序或使用kettle等产品

　　6) 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

项目技术架构图