开源
-
神器：REST测试工具[wiztools.org restclient]客户端Jar依赖Java安装环境
背景 使用Spring Boot开发集群应用，架构风格启用RestFul之后表单Post请求无法Url测试，必须使用专用工具测试 主题 经过亲身感受，测试发现最靠谱的工具非[wiztools.org restclient]莫属 特色 支持本地测试，不依赖…
-
openstack和Hadoop区别
openstack是一个开源的云计算框架，而Hadoop是一个开源的大数据框架，二者的侧重点不同。 区别： 云计算是在云平台上提供存储和计算资源。 而以Hadoop为模型的大数据是提供了一种分布式的存储（HDFS）和计算模型（M…
-
kafka故障排查-consumer处理超时导致的异常
最近遇到一个kafka方面的问题，大致就是由于consumer处理业务超时，导致无法正常提交Offset，进而导致无法消费新消息的问题。下面我想从以下几个方面对此次故障排查进行复盘分析：业务背景、问题描述、排查思路、经…
-
大数据零基础学习路线,新人记得保存收藏哦
有很多人对这个东西感兴趣，但是对编程语言也不太了解 不过大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。 我个人总结了一下 零基础学习大数据的话大概分…
-
几个个用于大数据分析的最好工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志…
-
Jstack查看耗CPU的线程
1、top -查看最耗费cpu的进程 2、先输入top H -p pid，查看具体的某个线程信息 3、把线程号转换成16进制 jstack查找这个线程的信息jstack [进程]|grep -A 10 [线程的16进制]
-
Spark 系列（七）—— 基于 ZooKeeper 搭建 Spark 高可用集群
一、集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务…
-
Apache Spark 黑名单(Blacklist)机制介绍
在使用 Apache Spark 的时候，作业会以分布式的方式在不同的节点上运行;特别是当集群的规模很大时，集群的节点出现各种问题是很常见的，比如某个磁盘出现问题等。我们都知道 ApacheSpark 是一个高性…
-
autotest 设置时间
vim /usr/local/autotest/frontend/settings.py settings.py里: TIME_ZONE = 'Asia/Shanghai'更改系统时区: cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
-
新手必备：大数据框架Hadoop主要模块解析
hadoop Common: 包括Hadoop常用的工具类，由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环…