大数据

一、概述 1、什么是hive ​ 由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduc…

最近项目中使用SparkSQL来做数据的统计分析，闲来就记录下来。 直接上代码： import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object SparkSQL {   /…

Hadoop编译步骤： 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p /opt/software [root@hadoop000 sourcecode]# cd /opt/sourcecode # 将hadoop-2.8.1-src.tar.gz…

excel写入笔记 import org.apache.poi.hssf.usermodel.HSSFCell; import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Cell; import…

[TOC] 一、spark调优概论 1.1 什么是spark调优 ​ spark的计算本质是分布式计算，程序的性能受集群中的任何因素的影响，如：CPU、网络带宽、内存等。一般情况下，如果内存足够大，那么其他因素影响性能。然后出现调…

数据库的相关知识点，数据库的三大特性可谓是：实体属性和关系。 实体：表； 属性：表中的数据（字段）； 关系：表与表之间的关系； 数据库设计三大范式（重点）： 第一范式（1NF）：数据表中的每一列（每个字段）…

[2017-11-10 17:14:40,612 pyinotify ERROR] add_watch: cannot watch /usr/local/lib/python2.7/dist-packages/django/contrib/admin/locale/he/LC_MESSAGES/djangojs.mo WD=-1, Errno=No space left on device (E…

Xen 工作原理与体系架构   XEN工作原理 Xen通过hypervisor软件层来访问物理硬件，实现在一台单独的计算机上运行多个各自独立彼此隔离的子操作系统。hypervisor扮演着类似交通警察的角色，指挥硬件访问和…

安森，个推CTO毕业于浙江大学，现全面负责个推技术选型、研发创新、运维管理等工作，已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案。 曾任MSN中国首席架构师，拥有十余年资深技术开发…

最近几年，大数据火了起来,吸引着越来越多的人加入到学习大数据的队伍之中,其中0基础的小白也有不少，甚至有的连编程语言不太了解,所以说有些同学就对自己失去了信心，认为自己学习不了大数据，那么这肯定是错误的…