大数据
-
电商大数据项目-推荐系统实战之推荐算法（三）
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析https://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法https://blog.51cto.com/6989066/2326209电商大数据项目-推荐系…
-
顺序表和单链表的对比（十二）
我们在之前学习了线性表和单链表的相关特性，本节博客我们就来看看它们的区别。首先提出一个问题：如何判断某个数据元素是否存在于线性表中？那肯定是直接遍历一…
-
安装hadoop下的sqoop1.99.3及配置问题全解决
2016年8月27日，解决sqoop 先下载的是sqoop1.99.7，结果配置的时候，出现了没有server/conf目录，以及启动时出现无法配置错误 ./bin/sqoop.sh server start yq@ubuntu:/opt/sqoop-1.99.7$ ./bin/sqoop.sh server st…
-
linux中使用yum配置java环境
1.查找java相关得列表 [root@localhost ~]$ yum -y list java* 2.安装有关的 yum install java-1.6.0-openjdk* 注意一定要讲 /dev/cdrom 挂载到/mnt/cdrom下（这里我在 /etc/yum.repo…
-
pip install robot framework出现字符集编码错误
在cmd下：pin install robot framework 报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 7: ordinal not in range(128)其原因是：windows的cmd环境默认的编码是GBK，pip默认的编码是u…
-
DT时代，手机厂商更在意大数据，京东能满足么？
昨日，魅蓝2在天猫独家首发，而差不多一周时间以前大神Note3曾与淘宝众筹合作过盲订式首发，此外此前的荣耀4C、大神F2全网通、魅族Note2、 魅族MX5等机型也都是在天猫首发。对于这个情况其实应该引起京东…
-
Yarn中的Map和Reduce的优化
通过Hive执行的批次任务处理失败，Spark中报的错误日志如下： [plain] view plain copyERROR : Failed to monitor Job[ 3] with exception 'java.lang.IllegalStateException(RPC channel is closed.)' java.lang.I…
-
第13课：Spark Streaming源码解读之Drive
本期内容： ReceivedBlockTracker容错安全性 DStream和JobGenerator容错安全性 Driver的容错有两个层面：1. Receiver接收数据的元数据 2. Driver管理的各组件信息（调度和驱动层面） 元数据采用了WAL的容错机制 cas…
-
【SQL】spark sql 不等值 join
products一个商品价格变化的表，orders商品订单，记录每次购买商品和日期基于Spark SQL中的不等值join实现orders和products的匹配，统计每个订单中商品对应当时的价格 缓慢变化的商品价格表旺仔牛奶，发生过一次价…