大数据
-
大数据是什么？
许多人对于大数据是什么、大数据有什么用比较陌生，那么小编今天给大家讲讲大数据。一、大数据的理解大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强…
-
数据分析：Hive、Pig和Impala
本文主要分享Hadoop三大分析工具：Hive、Pig和Impala。 Hive和Pig是高级数据语言，基于Mapreduce，底层处理的时候会转换成Mapreduce去提交，Hive和Pig都是开源的，Hive最初由Facebook开发，Pig最初由Yahoo!开发，下…
-
spark MLlib之零 构建通用的解析矩阵程序
在使用spark MLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法： 矩阵： package utils import java.util.Random /** &nbs…
-
CDH6集群部署
大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH） 主机： 192.168.0.32：Server+agent 192.168.0.33：agent 192.168.0.34：agent 安装之前准备环境： 网络名称…
-
LoadRunner 测试过程中 报错“[10048] 地址已被使用”
1.运行场景中，报错如下： ction.c(5): 错误 -27796: 连接服务器“192.168.100.101:8081”失败: “[10048] 地址已被使用 请尝试将注册表值HKEY_LOCAL_MACHINE/System/CurrentControlSet/Services/tcpip/Parameters/Tcp…
-
论测试用例的有效更新及杀虫剂悖论
论测试用例的有效更新及杀虫剂悖论 在2014年，我们团队试图推动一件事情——把产品后端（客户、客服、生产制造等等）出现的问题，反向增补为测试用例，扩充到测试用…
-
2019全球程序员薪酬，汇众告诉你：软件开发比机器学习更抢手
小汇最近观察市场，发现相比软件开发类岗位，机器学习岗位排名较低。最热门技术岗位洗牌，软件开发技术重登榜首！ 最近，美国一家负责程序员等技术人才招聘的网站，发布了《2019年度薪酬状况报告》。报告主要聚焦在…
-
SPARK安装
使用 安装包： scala-2.10.3.tgz spark-0.9.0-incubating-bin-hadoop2.tgz hadoop-2.3.0-cdh6.0.0.tar.gz jdk1.7.0_45 下载地址：http://mirror.bit.edu.cn/apache/spark/spark-0.9.0-incubating/ spark-0.9.0-incu…
-
windows下kafka源码阅读环境搭建
工具准备：jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz 安装jdk 安装scala 搭建zookeeper kafka源码构建 解压kafka-0.10.0.1-src.tgz，命令行进行kafka-0.1…
-
Greenplum Hadoop分布式平台大数据解决方案实战教程
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析 【上集】百度网盘下载：链接：http://pan.baidu.com/s/1eQJFXZ0 密码：kdx9 【下集】百度网盘下载：链接：http://pan.baidu.com/s/1hq4cO2w 密…