大数据
-
【软件架构】软件架构设计需要考虑的几点
软件架构设计和系统设计有很大的不同，架构设计侧重于软件的框架构建，软件的质量特征以及系统的分解等，主要涉及以下几个方面： 软件架构的目标很定位，确定目标软件的市场定位等； 软件的质量属性及其优先级，如…
-
SPARK的MAster资源调度原理（源码）分析
SPARK的MAster资源分配算法（SPARK1.3） master资调度通过源码中的 org.apache.spark.deploy.master包下的schedule()方法实现 步骤如下： 首先判断master是否是alive状态，如果不是alive则返回，也就是只有活…
-
Hadoop分布式集群实战
HAdoop集群实战一:Zookeeper集群部署 HAdoop集群实战二:Hadoop集群部署 HAdoop集群实战三:Namenode高可用HA部署 HAdoop集群实战四:Hbase集群部署 HAdoop集群实战五:Hive集群部署 HAdoop集群实战六:Kafka集群部署 [H…
-
Maven 配置打不同环境的版本包
Maven 提供了丰富的插件，本文说明了maven 插件打包的步骤： pom.xml 文件如下： <profiles> <!-- dev环境 --> &nb…
-
Apache JMeter 安装说明
本次安装，是Jmeter最新版本在Windows 10环境下的安装。 1.安装环境要求： Java版本 JMeter要求充分满足JVM1.3或更高。 操作系统 …
-
HRMS(人力资源管理系统)-SaaS架构设计-概要设计实践
一、开篇 前期我们针对架构准备阶段及需求分析这块我们写了2篇内容《HRMS(人力资源管理系统)-从单机应用到SaaS应用-架构分析(功能性、非功能性、关键约束)-上篇》《HRMS(人力…
-
大数据、互联网、机器人成大热门
马上就要高考了，除了积极备考，考生和家长们最关心的内容之一，或许就是各大高校的专业设置。 浙江省高校今年新增66个本科专业，同时撤销了19个专业，互联网、大数据、机器人工程等专业成为大热门。 高校为什么新…
-
浅谈HDFS架构
1、HDFS HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它…
-
分析log及校准学习总结
主要是关于QXDM，对于一个log(isf)文件，使用open with打开QXDM professional,通过F11打开item view，全选进行match item或refilter item分别进行筛选，得到filtered item view。 对于refiltered item一般选择log p…
-
测试风险管理
一、风险管理 项目的未来充满风险。风险是一种不确定的事件或条件，一旦发生，会对至少一个项目目标造成影响，如范围、进度、成本和质量。风险可能有一种或多种起因，一旦发生可能有一项或多项影响。…