开源
-
springboot中处理mybatis返回Map时key值的大小写
为了统一不同数据库返回key值大小写不一致的问题，特自定义ObjectWrapperFactory来做统一的处理 1，首先自定义MapWrapper /** * 将Map的key全部转换为小写 * */ public class MapKeyLowerWrapper extends MapWrappe…
-
storm-kafka（storm spout作为kafka的消费端）
storm是grovvy写的 kafka是scala写的 storm-kafka storm连接kafka consumer的插件 下载地址： https://github.com/wurstmeister/storm-kafka-0.8-plus 除了需要storm和kafka相关jar包还需要google-collection…
-
老司机告诉你大数据开发：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。 一、Hadoop与Spark 1.Spark Spark是…
-
实战：基于spring cloud + docker构建微服务
本系列记录学习 spring-cloud-microservice-example的实战过程，并对利用spring cloud + docker 构建端到端的微服务架构技术进行解析。 0.安装前的准备，下列软件需要安装。 Maven 3 Java 8 Docker Docker Com…
-
解析Android中Handler机制原理
Handler是Android中提供的一种异步回调机制，也可以理解为线程间的消息机制。为了避免ANR,我们通常会把一些耗时操作（比如：网络请求、I/O操作、复杂计算等）放到子线程中去执行，而当子线程需要修改UI时则子线程需…
-
python中logging会重复写日志的问题分析
现象 小强python全栈自动化测试班的学员问到，会出现重复写日志的情况，如下 原因 当第二次调用log的时候，根据getLogger(name)里的name获取同一个logger，而这个logger里已经有了第一次你添加的handler，第二次调…
-
使用BulkLoad从HDFS批量导入数据到HBase
在向Hbase中写入数据时，常见的写入方法有使用HBase API，Mapreduce批量导入数据，使用这些方式带入数据时，一条数据写入到HBase数据库中的大致流程如图。 数据发出后首先写入到雨鞋日志WAl中，写入到预写日志中之…
-
利用P2P终结者实现机顶盒限速
一、软件简介 为了达到限制机顶盒网速，测试机顶盒在网络较差环境下的运行情况，我们使用P2P终结者这款软件来实现限速的目的。 P2P终结者是由Net.Soft工作室开发的一套专门用来控制企业网络P2P下载流量的网络管理软…
-
MapReduce的典型编程场景2
1.MapReduce 多 Job 串联 介绍：一个稍复杂点的处理逻辑往往需要多个 MapReduce 程序串联处理，多 job 的串联可以借助MapReduce 框架的 JobControl 实现。需求：以下有两个 MapReduce 任务，分别是 Fl…