hive中任意相邻时间段数据获取

通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
hive中任意相邻时间段数据获取
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
hive中任意相邻时间段数据获取
其中 b.rn_b = a.rn – 1
4.两张表进行关联,获取进港、出港标签port_flag

select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flag
from  a
inner join  b on (a.bid = b.bid and a.rn = b.rn_b)

当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。

入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。

原创文章,作者:carmelaweatherly,如若转载,请注明出处:https://blog.ytso.com/194856.html

(0)
上一篇 2021年11月16日
下一篇 2021年11月16日

相关推荐

发表回复

登录后才能评论