开源
-
2019全球程序员薪酬，汇众告诉你：软件开发比机器学习更抢手
小汇最近观察市场，发现相比软件开发类岗位，机器学习岗位排名较低。最热门技术岗位洗牌，软件开发技术重登榜首！ 最近，美国一家负责程序员等技术人才招聘的网站，发布了《2019年度薪酬状况报告》。报告主要聚焦在…
-
SPARK安装
使用 安装包： scala-2.10.3.tgz spark-0.9.0-incubating-bin-hadoop2.tgz hadoop-2.3.0-cdh6.0.0.tar.gz jdk1.7.0_45 下载地址：http://mirror.bit.edu.cn/apache/spark/spark-0.9.0-incubating/ spark-0.9.0-incu…
-
windows下kafka源码阅读环境搭建
工具准备：jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz 安装jdk 安装scala 搭建zookeeper kafka源码构建 解压kafka-0.10.0.1-src.tgz，命令行进行kafka-0.1…
-
Greenplum Hadoop分布式平台大数据解决方案实战教程
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析 【上集】百度网盘下载：链接：http://pan.baidu.com/s/1eQJFXZ0 密码：kdx9 【下集】百度网盘下载：链接：http://pan.baidu.com/s/1hq4cO2w 密…
-
Hadoop 2.4安装与配置
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。 二、准备工具 1.部署准备两个机器test1为Master，test2为Slave。 在两个机器上分别vim /etc/hosts，加入如下内容： &n…
-
全程软件测试之测试需求分析与计划（2）
2.3测试工作量估算 在确定了测试需求、明确了测试范围之后，就需要明确测试任务，估算测试工作量。基于质量需求和测试的工作量、测试环境、产品发布的设想时间等要求，就可以确定测试进度和所需的测试资源，或者基…
-
Hadoop 系列（五）—— Hadoop 集群环境搭建
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 二、前置条件 Hadoop 的运行依赖 JDK，需要预…
-
Python踩坑之旅其一杀不死的Shell子进程
1.1 踩坑案例 踩坑的程序是个常驻的Agent类管理进程, 包括但不限于如下类型的任务在执行: a. 多线程的网络通信包处理 和控制Master节点交互 有固定Listen端口 b. 定期作业任务, 通过subprocess.Pipe执行shell命令 c…
-
三分钟让你学会，如何做好项目质量管理
在企业进行项目化管理过程中，项目目标是每个人的共识，项目进度虽时有延误但相对容易衡量也比较可控，而项目质量则属于非常重要但却最容易被忽视的要素。 导致项目质量被经常性忽视的原因有两点：首先从广义上讲，…