大数据
-
Hadoop 2.4安装与配置
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。 二、准备工具 1.部署准备两个机器test1为Master，test2为Slave。 在两个机器上分别vim /etc/hosts，加入如下内容： &n…
-
全程软件测试之测试需求分析与计划（2）
2.3测试工作量估算 在确定了测试需求、明确了测试范围之后，就需要明确测试任务，估算测试工作量。基于质量需求和测试的工作量、测试环境、产品发布的设想时间等要求，就可以确定测试进度和所需的测试资源，或者基…
-
Hadoop 系列（五）—— Hadoop 集群环境搭建
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 二、前置条件 Hadoop 的运行依赖 JDK，需要预…
-
Python踩坑之旅其一杀不死的Shell子进程
1.1 踩坑案例 踩坑的程序是个常驻的Agent类管理进程, 包括但不限于如下类型的任务在执行: a. 多线程的网络通信包处理 和控制Master节点交互 有固定Listen端口 b. 定期作业任务, 通过subprocess.Pipe执行shell命令 c…
-
三分钟让你学会，如何做好项目质量管理
在企业进行项目化管理过程中，项目目标是每个人的共识，项目进度虽时有延误但相对容易衡量也比较可控，而项目质量则属于非常重要但却最容易被忽视的要素。 导致项目质量被经常性忽视的原因有两点：首先从广义上讲，…
-
10年老司机告诉你，怎选光缆通讯配件？
写这篇文章主要是给那些奋战在一线的通信业务开拓者们一个参考的，大家的经历或许不同，但总会遇到一些类似的问题。在这里我谨把自己的一些经验与见解分享给大家，并与此共勉！ 光纤通讯的工作经历 本人是一枚联通…
-
zookeeper3.4.14集群搭建
下载release：wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 解压缩 tar -zxvf zookeeper-3.4.14.tar.gz 进入解压后的目录，复制里面conf目录下的zoo_sam…
-
robotframework+selenium2library运行常见问题
问题1: command: pybot.bat --argumentfile c:/users/lenovo/appdata/local/temp/RIDEeoqulh.d/argfile.txt --listener D:/Python27/lib/site-packages/robotide/contrib/testrunner/TestRunnerAgent.py:16115:Fals…
-
Spark：超越Hadoop MapReduce
引言：和 Hadoop 一样，Spark 提供了一个 Map/Reduce API（分布式计算）和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。 本文选自《SparkGraphX实战》…