开源

  • MapReduce编程实战2——倒排索引(jar包)

    任务要求: //输入文件格式 18661629496 110 13107702446 110 1234567 120 2345678 120 987654 110 2897839274 18661629496 //输出文件格式格式 11018661629496|13107702446|987654|18661629496|13107702446|987654…

    大数据 2021年11月15日
  • JMeter中BeanShell Sampler

    BeanShell是一种轻量级的脚本语言,纯java编写。 在jmeter中可以使用BeanShell Sampler编写脚本。 常用内置变量有3个: log  用于在jmeter.log中打印日志,可以打印字符串、变量 log.info("hello world"); vars 用…

    大数据 2021年11月15日
  • 高内聚低耦合

    背景:         今天在读Robert C.Martin(BOb大叔)的《代码整洁之道》序时,无意中看到“高内聚、低耦合”,闹中翻腾了一下,竟然发现对这个大学一年级就曾学过的知识到现在自己…

    大数据 2021年11月15日
  • GitHub 新手详细教程

    一.安装Git1.通过官网(https://www.git-scm.com/download/)下载git,进入官网,如下图所示:2.选择对应的操作系统后,页面跳转并自动下载对应的Git版本,如下图所示:3.下载完成后,找到下载文件所在的位置,双击即可进…

    大数据 2021年11月15日
  • 一、hive基本原理和使用

    一、概述 1、什么是hive ​ 由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduc…

    大数据 2021年11月15日
  • SparkSQL 初步应用

    最近项目中使用SparkSQL来做数据的统计分析,闲来就记录下来。 直接上代码: import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object SparkSQL {   /…

    大数据 2021年11月15日
  • 【Hadoop】Hadoop2.8编译

    Hadoop编译步骤: 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p /opt/software [root@hadoop000 sourcecode]# cd /opt/sourcecode # 将hadoop-2.8.1-src.tar.gz…

    大数据 2021年11月15日
  • excel写入笔记

    excel写入笔记 import org.apache.poi.hssf.usermodel.HSSFCell; import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Cell; import…

    大数据 2021年11月15日
  • 六、spark--spark调优

    [TOC] 一、spark调优概论 1.1 什么是spark调优 ​ spark的计算本质是分布式计算,程序的性能受集群中的任何因素的影响,如:CPU、网络带宽、内存等。一般情况下,如果内存足够大,那么其他因素影响性能。然后出现调…

    大数据 2021年11月15日
  • 数据库三大范式,不要以为是测试就不需要了解!

    数据库的相关知识点,数据库的三大特性可谓是:实体属性和关系。 实体:表; 属性:表中的数据(字段); 关系:表与表之间的关系; 数据库设计三大范式(重点): 第一范式(1NF):数据表中的每一列(每个字段)…

    大数据 2021年11月15日