大数据

  • 马化腾漫谈“流式大数据处理的三种框架:Storm,Spark和Samza”

    Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。…

    大数据 2021年11月17日
  • jenkins邮件通知插件

      说明 Jenkins默认提供了一个邮件通知,能在构建失败、构建不稳定等状态后发送邮件。但是它本身有很多局限性,比如它的邮件通知无法提供详细的邮件内容、无法定义发送邮件的格式、无法定义灵活的邮件接收配置…

    大数据 2021年11月17日
  • 为什么要做接口测试

       当前互联网产品迭代频繁的背景下,回归测试的时间越来越少,很难在每个迭代周期对所有功能做完整的回归测试。即使有比较完整的UI自动化(版本迭代带来UI在变, 维护成本高,产出率有限), 也非常耗时, 产…

    大数据 2021年11月17日
  • Apache Bigtop再论与卖书求生存

    快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读…

    大数据 2021年11月17日
  • TEZ UI搭建

    官方 TEZUI 需要TEZ6+hadoop2.6.0 其实 TEZUI  TEZ0.53+hadoop2.4.0+也可以玩 只要hadoop有timelineserver 但是hadoop2.4.0 hadoop2.5.0 timelineserver不支持跨域请求。。所以用ambari2.2中的tez view来搭建…

    大数据 2021年11月17日
  • ambari安装hadoop页面问题

    卡在registering失败,查看日志发现registering前有报错: INFO 2016-08-19 15:42:58,149 hostname.py:89 - Read public hostname /'hdp-data1/' using socket.…

    大数据 2021年11月17日
  • 负载产品性能测试——并发测试

    1,网络拓扑: 2,测试仪客户端端配置 1)占用端口 2)load配置 3)action配置 4)客户端网段 5)选择端口 6)联合配置 3,服务器端配置 1)http服务器策略 2)http传输数据配置 3)服务器端网段配置 4)选择端口 5…

    大数据 2021年11月17日
  • Robot FrameWork通过Jybot运行脚本

    Robot FrameWork通过Jybot运行脚本     主要说明如何在Robot Framework中设置通过Jybot模式运行脚本,所以前提为Robot FrameWork能够在pybot模式下正常运行脚本,如不清楚如何安装配置Robot Fr…

    大数据 2021年11月17日
  • YARN HA架构

    Yarn HA RM: a.启动时会通过向ZK的/hadoop-ha目录写一个lock文件,写成功则为active,否则standyby standy 的RM会一直监控lock文件是否存在,如果不存在就会尝试去创建,争取为active RM b.会接收客户端的任务请求…

    大数据 2021年11月17日
  • TDengine--物联网大数据平台初使用(一:安装)

    涛思数据的TDengine是创始人陶建辉(Jefft)带领团队开发的物联网大数据平台,据官方https://www.taosdata.com/cn/ 描述不难看出圈内又一大国神器横空出世;恰巧作为一个多年来被动碾转各个技术领域战场的老兵又有…

    大数据 2021年11月17日