开源
-
spark基础--rdd的生成
使用parallelize创建RDD 也 可以使用makeRDD来创建RDD。 通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。 通过 .textFile 可以通过文件读取项目路径 和 hdfs 文件路径 * makeRD…
-
linux下安装Elasticsearch
一、简单介绍：Elasticsearch提供了近乎实时的数据操作和搜索功能，es集群中所有节点可以一起提供索引和搜索功能，能够相互发现彼此和自动地加入到集群中二、基础概念：1.索引：表征的文档的集合，索引由一个名字来…
-
Hadoop学习之第四章节：最高温度统计测试程序
1.测试温度数据下载： http://down.51cto.com/data/2213610 2.将数据上传到hdfs中 3.测试代码为： MinTemperature import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import&…
-
一个Hadoop管理员的职责(翻译)
最近看过一篇与Hadoop有关的英文文档，其实就是一本书里的一部分内容。觉得很好，基本阐述了一个hadoop管理员的职责。平时，工作当中接触到hadoop的朋友，可以看下，这篇文档中所描述的知识和技能，大家是否都已经…
-
如何在Hue中使用Sentry创建角色，授权
参照官方文档：http://gethue.com/apache-sentry-made-easy-with-the-new-hue-security-app/#howto 在sentry的admin group中加入你的hue管理员账户的组 打开hue配置，进入[libsentry]#sentry服务所在的节点iphostna…
-
软件测试之功能测试总结
郑重声明：本文出自领测网，非本人原创。 基于实际测试的功能测试点总结 …
-
【总结】使用Scala实现Json与Case Class相互转换
import org.json4s.native.Serialization.{read, write} object Json2CaseClass extends App { implicit val formats = org.json4s.DefaultFormats…
-
这几个质量超高的自学网站，每天逛10分钟，年薪百万不是问题！
现在很多人都会因为工作太过繁忙而没有时间提升自己，今天小编将分享几个质量超高的学习网站，帮助大家不断提升自己~ 一、番薯学院 在网站中有非常多有关大学的学习视频和学习资料，没有任何的门槛，不管是什么人都…
-
monkey简单使用
一、Monkey 简介 Monkey是Android的SDK 里面的tools下的命令行乱点工具，顾名思义，Monkey就是猴子， Monkey测试就像一只猴子 在指定APP下乱点页面进行测试。也是一个压力测试…
-
Markdown写出高大上时序图
上一篇文章分享了如何使用Markdown写流程图，继续挖掘md毫不含糊的功能，再分享一个md格式的时序图。 语法图 时序图4类元素 title: 标题 participant：定义参与的成员，as定义别名 流向箭头 ->：实线黑体箭头，…