开源
-
MapReduce编程实战2——倒排索引(jar包)
任务要求: //输入文件格式 18661629496 110 13107702446 110 1234567 120 2345678 120 987654 110 2897839274 18661629496 //输出文件格式格式 11018661629496|13107702446|987654|18661629496|13107702446|987654…
-
JMeter中BeanShell Sampler
BeanShell是一种轻量级的脚本语言,纯java编写。 在jmeter中可以使用BeanShell Sampler编写脚本。 常用内置变量有3个: log 用于在jmeter.log中打印日志,可以打印字符串、变量 log.info("hello world"); vars 用…
-
高内聚低耦合
背景: 今天在读Robert C.Martin(BOb大叔)的《代码整洁之道》序时,无意中看到“高内聚、低耦合”,闹中翻腾了一下,竟然发现对这个大学一年级就曾学过的知识到现在自己…
-
GitHub 新手详细教程
一.安装Git1.通过官网(https://www.git-scm.com/download/)下载git,进入官网,如下图所示:2.选择对应的操作系统后,页面跳转并自动下载对应的Git版本,如下图所示:3.下载完成后,找到下载文件所在的位置,双击即可进…
-
一、hive基本原理和使用
一、概述 1、什么是hive 由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduc…
-
SparkSQL 初步应用
最近项目中使用SparkSQL来做数据的统计分析,闲来就记录下来。 直接上代码: import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object SparkSQL { /…
-
【Hadoop】Hadoop2.8编译
Hadoop编译步骤: 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p /opt/software [root@hadoop000 sourcecode]# cd /opt/sourcecode # 将hadoop-2.8.1-src.tar.gz…
-
excel写入笔记
excel写入笔记 import org.apache.poi.hssf.usermodel.HSSFCell; import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Cell; import…
-
六、spark--spark调优
[TOC] 一、spark调优概论 1.1 什么是spark调优 spark的计算本质是分布式计算,程序的性能受集群中的任何因素的影响,如:CPU、网络带宽、内存等。一般情况下,如果内存足够大,那么其他因素影响性能。然后出现调…
-
数据库三大范式,不要以为是测试就不需要了解!
数据库的相关知识点,数据库的三大特性可谓是:实体属性和关系。 实体:表; 属性:表中的数据(字段); 关系:表与表之间的关系; 数据库设计三大范式(重点): 第一范式(1NF):数据表中的每一列(每个字段)…