开源

  • spark+kafka+redis统计网站访问者IP

    *目的是为了防采集。需要对网站的日志信息,进行一个实时的IP访问监控。 1、kafka版本是最新的0.10.0.0 2、spark版本是1.61 3、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录…

    大数据 2021年11月15日
  • 接口自动化与RPC服务mock平台相结合的应用实践

    原文链接:http://mp.weixin.qq.com/s/xESQTuCyuDLKbeLo1HelBg 内容大纲: 为何要进行 mock? 1、下游服务接口不稳定,环境缺失导致依赖服务不可用,阻塞联调或测试。2、 由于线上环境测试数据无法构造,测试场景单…

    大数据 2021年11月15日
  • Pyhon学习笔记4:异常

    1.文件的异常处理:try   except FileNotFoundError try:     open("abc.txt",'r') except FileNotFoundError:     print("异常了!") 2.name的异常    try except NameError t…

    大数据 2021年11月15日
  • C++中头文件设计

    对于小工具程序而言,用C++编写估计也就几个文件,此时很少设计头文件互相包含引发的编译出错问题。但是当软件功能越来越多,功能越来越复杂,各模块之间的调用关系也越来越不明显,此时很有可能会出现A头文件包含B…

    大数据 2021年11月15日
  • springcloud热部署

    springcloud按照可运行jar包部署时,如果直接将业务脚本groovy打入jar则不支持热部署。 需要将业务脚本groovy放置到另一个git目录下编写,开发时使用linked目标放置到project中,部署是不打入jar中。 nhmicro框架代…

    大数据 2021年11月15日
  • 【自动化测试技术QTP基础系列三】---成为QTP高手必经的四个过程

    成为QTP高手必经的四个过程 QTP要学精,个人认为必须要经历从无到有,从有到懂,从懂到熟,从熟到精这四个过程。   从无到有 - 初级篇 这个过程主要是熟悉QTP的界面设置,以及一些基本的用法,包括…

    大数据 2021年11月15日
  • Java快速搭建平台

      我们的IBPS快速开发平台是一个全新的、可自由搭建企业管理软件的一个新兴工具及应用型软件集成平台。同时也适合Java开发者研发新一代快速开发平台,是我们流辰信息研发的新一代敏捷框架产品,致力于通过极高…

    大数据 2021年11月15日
  • 使用robotframework无法连接webdriver

    在保证RF安装环境都是正确安装的前提,今天发现一个问题,就是无论我怎么使用open browser都报错,提示无法连接webdriver,网上有很多人都说是下载的webdriver版本不匹配,我也尝试去下载了最新版本,还是无法解决,…

    大数据 2021年11月15日
  • elasticsearch索引性能优化

    bulk提交 mapping设置,不需要搜索的field不建索引 refresh间隔加长,默认一秒 flush改异步 时间段索引等方式减少一个索引的数据量 合理分配片数量 可以的话replication改为0

    大数据 2021年11月15日
  • Java代码执行sqoop抽取动作

    执行从MySQL数据库导出数据到HDFS上。 执行前需准备: 在eclipse中写的代码,所以,又新加了sqoop-1.4.6-cdh6.5.2.jar放入原有的hadoop项目中,否则会有编译错误。 同时,在集群上,将此包加入HADOOP_HOME/share/ha…

    大数据 2021年11月15日