大数据
-
入职新企业，被凉一边看代码的破局
《5分钟从学生到程序员》第8课 我们进到企业之后，一般领导会安排一个人带你，有的公司还有“一对一”结对新员工拜师。企业文化不同，对新员工的引领方式也不同。有的“师傅”会教你东西，会很用心的带你；有的…
-
Hive内部函数简介及查询语法
1.Hive内置函数： 在Hive中 系统给我们内置了很多函数 具体参考官方地址 看下官网给我们的介绍: SHOW FUNCTIONS; --查看所有内置函数 DESCRIBE FUNCTION <function_name>; --查看某个函数的描述 DESCRIBE FUN…
-
SPL 简化 SQL 案例详解：计算各组前 N 行
取出各组的前N行数据是较常见的运算，比如：每个月每种产品销量最高的五天是哪五天，每位员工涨薪最多的一次是哪次，高尔夫会员成绩最差的三次是哪三次，等等。在SQL中，这类运算要用窗口函数以及keep/top/rownumbe…
-
yarn任务调度--capacity scheduler（容量调度） / fair schedule
2019/2/19 星期二 yarn任务调度--capacity scheduler（容量调度） / fair scheduler（公平调度）由于集群资源有限，当无法满足众多application 的资源请求时，yarn 需要适当的策略对application 的资源请求进行调度…
-
查看kafka消息队列的积压情况
创建topic kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5 列出topic kafka-topics --list --zookeeper master:2181/kafka2 描述topic kafka-topic…
-
Java Web 后台开发效率提高：插件讲解
上一篇文章 关于提高效率 介绍的后台框架应用 现在介绍下其中插件的具体功能，本文以某个具体插件来详细说明，选取 插件 “ 过滤 ” 用于详细讲解具体功能，以及框架数据流的走向过滤插件如下图： 其中的 “…
-
mysql实现upsert
upsert(update or insert), 即更新或写入。 MySQL中实现upsert操作方式：思路：通过判断插入的记录里是否存在主键索引或唯一索引冲突，来决定是插入还是更新。当出现主键索引或唯一索引冲突时则进行update操作，否…
-
RabbitMQ第六课 收发性能
目前在一秒内接收50次数据没有问题，从收发的时间戳来看，数据包没有延时
-
Centos6下git的安装
Centos6使用yum install git安装的git版本比较低，当前版本为1.7.1，我们可以自己下载新版的git源码包进行编译安装： 1. 安装编译git时需要的包 yum install curl-devel expat-devel gettext-devel openssl-devel z…
-
ImSQL：海量数据，可信存储
数据造假、数据不可信等问题的存在，给金融监管及风控等众多应用场景带来了严峻的挑战，也正成为阻碍数据大规模互联互通、共享共用的一大障碍。数据的真实可信问题长期影响着社会的各个领域，在更依赖数据的人工智…