数据采集

。。。

本文参考自https://blog.csdn.net/wo541075754/article/details/69138878?utm_source=gold_browser_ex…

一、项目概述 本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出…

一、CentOS7集群搭建 1.1　准备3台centos7的虚拟机 IP及主机名规划如下： 192.168.123.110 spark1192.168.123.111 spark2…

Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnbl…

一、对用户访问session进行分析 1、可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）； 2、对这些用户在指定日期范围内发起的session，进行聚…

一、user_visit_action（Hive表） 1.1　表的结构   date：日期，代表这个用户点击行为是在哪一天发生的user_id：代表这个点击行为是哪一个用…

1、按条件筛选session 搜索过某些关键词的用户、访问时间在某个时间段内的用户、年龄在某个范围内的用户、职业在某个范围内的用户、所在某个城市的用户，发起的session。找到对…