大数据
-
Apache Flink官方文档中文版-数据流上有状态的计算
应用生态图 特点 所有流式计算场景 事件驱动的应用程序 流和批量分析 数据管道和ETL 保证正确性 完全一次的语义 事件处理 复杂的后期数据处理 分层PAI 流和批量数据上的SQL DataStream API和DataSet API ProcessFun…
-
折腾Java设计模式之状态模式
原文地址 折腾Java设计模式之状态模式 状态模式 在状态模式（State Pattern）中，类的行为是基于它的状态改变的。这种类型的设计模式属于行为型模式。在状态模式中，我们创建表示各种状态的对象和一个行为随着状态…
-
配置并启动spark的thriftserver网关
1、保证spark-sql已经使用mysql作为metadata存储介质 2、启动thrift网关 $SPARK_HOME/sbin/start-thriftserver.sh --driver-class-path/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6…
-
软件测试不再黑盒—threadingtest带来第二代白盒覆盖率技术
穿线测试对于测试界的一个重大创新在于，在白盒测试理论出现数十年以后，上海零一拼装信息技术有限公司结合在测试理论方面十余年的潜心研究，率先提出了第二代覆盖率技术，这绝对不是一个口号，而是ZOA真正对于白盒…
-
测试过程之过分关注功能性测试
一、定义： 过分强调功能测试，而非测试质量、数据和接口需求。以及测试架构、设计和实现的约束。 二、发生时间段 非功能性需求中。 三、陷阱表现 1.大多数的测试关注验证功能性表现 2.没有验证质量…
-
Selenium IDE DOM元素选择定位器
资源推荐： 视频资源： 软件测试相关系列视频 社区资源： 自动化测试交流群 DOM定位器 DOM（Document ObjectModel）代表整个HTML文档，并且可以通过使用javascript…
-
LR事务、检查点
1. 事务： 注意：思考时间，不要放在事务里。事务里尽可能不要涉及除了本业务之外的逻辑。 2. 检查点 web_reg_find（）函数 注意：web_reg类型的函数，属于注册函数，必须要放在它所作用的请求之前。
-
spark性能优化之使用高性能序列化类库
如果使用序列化技术，在执行序列化操作的时候很慢或者是序列化之后的数据量还是很大，那么会让分布式应用程序性能下降很多，spark自身就会在一些地方对数据进行序列化，比如shuffle写磁盘，还…
-
IDEA集成Spark开发环境
IDEA集成Spark开发环境的pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa…
-
个推用户画像的实践与应用
“以用户为核心”的概念在互联网时代深入人心，然而要真正了解用户懂得用户，就不得不提到“用户画像”。 随着大数据技术的深入研究与应用，借助用户画像，企业或APP可以深入挖掘用户需求，从而实现精细化运营以及为精…