大数据
-
Spark SQL笔记整理（一）：Spark SQL整体背景介绍
[TOC] 基本概述 1、Spark 1.0版本以后，Spark官方推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；比如MR2，我们底层都是运行的MR2模型，底层都是基于Hive的查询引擎。 2、后来Spark提供了Shark；…
-
数据仓库Hive的安装和使用
Hive是一个基于Hadoop的数据仓库工具，可以用于对存储在Hadoop 文件中的数据集进行数据整理、特殊查询和分析处理。 1.下载安装文件 http://mirror.bit.edu.cn/apache/hive/ #下载Hive安装文件 hadoop@dblab:/u…
-
hdfs介绍
HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是HDFS 的架构是基于一组特定的节点构建…
-
Micronaut 教程：如何使用基于 JVM 的框架构建微服务？
本文要点： Micronaut 是一种基于 jvm 的现代化全栈框架，用于构建模块化且易于测试的微服务应用程序。Micronaut 提供完全的编译时、反射无关的依赖注入和 AOP。该框架的开发团队和 Grails 框架的开发团队是同一个…
-
上海立信会计师事务所专场 — 纯前端表格技术应用研讨会
2018年6月20日，由葡萄城举办的“赋能开发者，走进你身边——纯前端表格技术应用研讨会”在美丽的上海成功召开。葡萄城携当下最热门的前端表格数据处理技术，与业务合作伙伴、国内最具影响力的会计事务所之一“上海立信…
-
数组和List 互转
public class TestArrayList { public static void main(String[] args) { List<String> list = new ArrayList<String>() ; list.add("AAA"); list.add("BBB"); list.add("CCC"); System.out.println(A…
-
Hive On Spark
自从公司使用大数据产品之后，就很少碰开源的东西了，集群出问题也是跟研发沟通，前些天有朋友问我，怎么能把hive底层的引擎换成spark，我想了想，是不是将hive的数据库共享给spark然后用spark-shell不就好了，后…
-
软件测试基础课程资料
很多同学在51CTO上学习了我的软件测试基础课程。经常有人找我要讲课的PPT、教材和参考书，现在把这些学习资料的下载方式提供给大家，方便大家学习，祝大家早日学有所成。 软件测试基础课程：h…
-
hadoop 源码包编译
一：系统需求与软件包 二：系统环境初始化 三：hadoop 源代码编译 一：系统需求与软件包 系统 CentOS6.4x64 192.168.3.1 master.hadoop.com 软件需求 Jdk7u76 apache-maven-2.5 protobuf-2.5 apache-ant findbugs h…
-
Hadoop学习--上传文件指定复制因子--day04
import java.io.ByteArrayOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.conf.Configuration; im…