开源
-
大数据运营之数据分析
数据分析过程包括：数据建模、大数据处理、告警与触发、报告等。 从数据处理的实时性要求角度看，大数据分析可以分为批量和流式两种数据处理方式。批量处理主要适合于实时性要求不高的分析型应用，而流式处理主要适…
-
生产常用Spark累加器剖析之三(自定义累加器)
思路 & 需求 参考IntAccumulatorParam的实现思路（上述文章中有讲）： trait AccumulatorParam[T] extends AccumulableParam[T, T] { def addAccumulator(t1: T, t2: T): T = { // addInPlace有很多具体的实现…
-
junit单体测试（PowerMockito）一
最近刚刚离职，离职前1个月项目尾声，在公司做单体测试，从模仿开始，积累了一些东西，记录下来，留备以后不时之需；在做的时候我也在谷歌之类的搜索想深入学习下，有个感悟就是国内的相关书籍都是比…
-
深度理解HDFS架构
深入理解HDFS架构 副本存放： 优化的副本存放策略是HDFS区分其他分布式系统的重要特性。HDFS采用机架感知策略 来改进副本数据的可靠性，可用性，网络带宽的利用率。 通过机架感知，Namenode可以确定DataNode所属机…
-
什么是软件测试
我所理解的软件测试时：测试人员站在用户的角度对软件进行测试气是否满足用户需求。
-
大数据学习系列之三 ----- HBase Java Api 图文详解
引言 在上一篇中大数据学习系列之二 ----- HBase环境搭建(单机) 中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java 对HBase的一些操作。 一、事前准备 1.确认hadoop和hbase成功启动 2.确认防火墙是否关闭 …
-
sd卡格式化怎么恢复呢？简单恢复小技巧
sd卡格式化怎么恢复呢？简单恢复小方法。我们现在很多的时候会感觉我们的SD卡或许并没有多大的用处，但是有些时候，我们的SD卡上会保存着我们重要的回忆，因此我们对SD卡也是十分重视的。 那若是你删除了我…
-
Loadrunner12.6安装与基本录制手册
Loadrunner12.6安装与基本操作指导 环境要求： 软件要求 版本支持 微软…
-
基于IDEA使用Spark API开发Spark程序
清明假期折腾了两天，总结了两种方式使用IDE进行spark程序，记录一下： 第一种方法比较简单，两种方式都是采用SBT进行编译的。 注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。 一、基于Non-SB…
-
rsync 和keepalive配置
1.keepalive只需在/etc 目录下建一个文件 keepalived.confvrrp_instance VI_1 {state BACKUPnopreemptinterface eth0virtual_router_id 20priority 100advert_int 1authentication {auth_type PASSauth_pass 123456…