大数据
-
马化腾漫谈“流式大数据处理的三种框架:Storm,Spark和Samza”
Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。…
-
jenkins邮件通知插件
说明 Jenkins默认提供了一个邮件通知,能在构建失败、构建不稳定等状态后发送邮件。但是它本身有很多局限性,比如它的邮件通知无法提供详细的邮件内容、无法定义发送邮件的格式、无法定义灵活的邮件接收配置…
-
为什么要做接口测试
当前互联网产品迭代频繁的背景下,回归测试的时间越来越少,很难在每个迭代周期对所有功能做完整的回归测试。即使有比较完整的UI自动化(版本迭代带来UI在变, 维护成本高,产出率有限), 也非常耗时, 产…
-
Apache Bigtop再论与卖书求生存
快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读…
-
TEZ UI搭建
官方 TEZUI 需要TEZ6+hadoop2.6.0 其实 TEZUI TEZ0.53+hadoop2.4.0+也可以玩 只要hadoop有timelineserver 但是hadoop2.4.0 hadoop2.5.0 timelineserver不支持跨域请求。。所以用ambari2.2中的tez view来搭建…
-
ambari安装hadoop页面问题
卡在registering失败,查看日志发现registering前有报错: INFO 2016-08-19 15:42:58,149 hostname.py:89 - Read public hostname /'hdp-data1/' using socket.…
-
负载产品性能测试——并发测试
1,网络拓扑: 2,测试仪客户端端配置 1)占用端口 2)load配置 3)action配置 4)客户端网段 5)选择端口 6)联合配置 3,服务器端配置 1)http服务器策略 2)http传输数据配置 3)服务器端网段配置 4)选择端口 5…
-
Robot FrameWork通过Jybot运行脚本
Robot FrameWork通过Jybot运行脚本 主要说明如何在Robot Framework中设置通过Jybot模式运行脚本,所以前提为Robot FrameWork能够在pybot模式下正常运行脚本,如不清楚如何安装配置Robot Fr…
-
YARN HA架构
Yarn HA RM: a.启动时会通过向ZK的/hadoop-ha目录写一个lock文件,写成功则为active,否则standyby standy 的RM会一直监控lock文件是否存在,如果不存在就会尝试去创建,争取为active RM b.会接收客户端的任务请求…
-
TDengine--物联网大数据平台初使用(一:安装)
涛思数据的TDengine是创始人陶建辉(Jefft)带领团队开发的物联网大数据平台,据官方https://www.taosdata.com/cn/ 描述不难看出圈内又一大国神器横空出世;恰巧作为一个多年来被动碾转各个技术领域战场的老兵又有…