开源
-
消息队列之kafka(API)
1.模拟实现kafka的生产者消费者（原生API） 解决相关依赖： <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <…
-
入行IT界，0基础如何学习大数据？
从IT时代到DT时代，伴随着数字化高品质的生活，我们日常餐饮、出行、购物等行为都产生了庞大的数据量。根据预测，2020 年，全球数据总量将达到 44ZB，而我国大数据总量届时将占比全球总量20%。 随着大数据产业的飞…
-
10 行代码提取复杂 Excel 数据
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下，结构化的工作量会比较大，而且很难通用…
-
接口自动化测试系列之PHPUnit-GET请求接口测试方法
接口演示demo说明 接口的具体说明在这里，大家自己看下，里面说的非常详细了，这里我们就不废话了，地址如下： https://www.juhe.cn/docs/api/id/65.html get请求接口测试 如果想把结果格式化输出，可以用该语句pri…
-
您是否能准确量化测试的完整度及软件质量?
我们往往不断重复地对软件做测试，但可能…1. 我们无法衡量及量化测试是否足够，只能期望这次不会有重大瑕疵。2. 无法准确得知测试用例测到哪些源代码，而又有哪些源代码是没有被测试到的。 3. 我们无法知道源代码复…
-
SPARK动态添加节点
spark集群使用hadoop用户运行,集群机器如下: 1 DEV-HADOOP-01 192.168.9.110 Master 2 DEV-HADOOP-02 192.168.9.111 Worker 3 DEV-HADOOP-03 192.168.9.112 Worker 现在需要添加一台192.168.9.113 机器名DEV-HADOOP…
-
Selenium官文翻译--（一）目录
Contents: Note to the Reader - Docs Being Revised for Selenium 2.0! Introduction 介绍 Test Automation for Web Applications Web应用测试自动化 To Automate or Not to Automate? …
-
httpd: Could not reliably determine the server's fully
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 192.168.229.152 for ServerName (2)No such file or directory: httpd: could not open error log file /…
-
spark调优
/etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 性能调优的王道是优化资源调度，或者给更多的资源进行调度 /server/spark/spark-submit --class cn.spark.sparkest.core.WordC…
-
(版本定制)第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密
本期内容： 1、updateStateByKey解密 2、mapWithState解密 背景：整个Spark Streaming是按照Batch Duractions划分Job的。但是很多时候我们需要算过去的一天甚至一周的数据，这个…