大数据
-
jkenins + postman+newman 项目集成
附件有图片版，可自行下载 一、安装包准备： Postman、 inspector插件 、newman、jkenins、tomcat 链接: https://pan.baidu.com/s/1eSnbjvO 密码: h3i6 备注：Postman、 inspector插件 二、Postm…
-
Hadoop--2.NFS结合SSH免密登录
NFS+SSH的应用主要是解决Hadoop集群更换公钥的麻烦。 一、NFS配置 1.安装 [root@kry132 ~]# yum -y install rpcbind nfs-utils rpcbind：用于通信 nfs-utils：nfs程序 2.创建…
-
质量保证
1.在UI设计稿评审通过之后，测试或前端开发开始自动化脚本编写，元素定位先用变量代替 前提：要求前端给每个web元素加上唯一id 价值：在开发提测时，自动化代码编写完毕，不用手工测试，提高测试效率，且可以放到持…
-
分布式系统「伸缩性」大招之——「水平&垂直切分」详解
如果第二次看到我的文章，欢迎文末扫码订阅我个人的公众号（跨界架构师）哟~ 本文长度为5389字，建议阅读14分钟。 坚持原创，每一篇都是用心之作～ 没想到这篇文章写了这么长，一时半会…
-
大数据之数学类知识基础
数学相关的知识： 集合 函数极限，导数，微分，偏导数 向量 正弦余弦定理 最小二乘法 矩阵，正交矩阵 集合：是指具有某种特定性质的事物的总体，组成集合的事物称为元素。 通常使用大写表示集合，小写表示元素；列…
-
5、Window端实现Mapreduce程序完成wordco
程序使用的测试文本数据： Dear River Dear River Bear Spark Car Dear Car Bear Car Dear Car River Car Spark Spark Dear Spark 1编写主要类 （1）Maper类 首先是自定义的Maper类代码 public class WordCountMap …
-
springboot中处理mybatis返回Map时key值的大小写
为了统一不同数据库返回key值大小写不一致的问题，特自定义ObjectWrapperFactory来做统一的处理 1，首先自定义MapWrapper /** * 将Map的key全部转换为小写 * */ public class MapKeyLowerWrapper extends MapWrappe…
-
storm-kafka（storm spout作为kafka的消费端）
storm是grovvy写的 kafka是scala写的 storm-kafka storm连接kafka consumer的插件 下载地址： https://github.com/wurstmeister/storm-kafka-0.8-plus 除了需要storm和kafka相关jar包还需要google-collection…
-
老司机告诉你大数据开发：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。 一、Hadoop与Spark 1.Spark Spark是…