大数据

PS:后续的文章会把我实践的内容分解成为一个个的小模块，方便大家的学习，交流。文未我也会附上相关的代码。一起加油！    学有三年的大数据原理，一直没有实践过。最近准备离职，正好把自己所学的…

1、JDK配置 JDK必须是1.6以上的版本 在系统变量新建: 变量名:JAVA_HOME 变量值:D:/java/jdk1.7.0_79 编辑系统变量path在尾端加入两个路径:(记住每个路径用分号分隔) %JAVA_HOME%/jre/bin;%JAVA_HOME%/bin; 2、Andro…

1） 配置jdk。 2） 配置ssh。 3） 配置Hadoop相关文件。 配置jdk 下载 jdk1.8.XXXXXXX.tar.gz 解压  tar -zxvf jdk1.8.XXXXXX.tar.gz vim /etc/profile export JAVA_HOME= export PATH= export CLASS_PATH= so…

 hadoop dfs 命令： Overview cat chgrp chmod chown copyFromLocal copyToLocal count cp du dus expunge get getmerge ls lsr mkdir moveFromLocal moveToLocal mv put rm rmr setrep stat tail test text t…

背景   当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为“/default-rack”，这种情况下，任何一台 datanode机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下，此时，…

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load() jdbcDF.createOrReplaceTem…

据台湾媒体最新报道，台湾无线网卡厂商最新推出一款大功率80DBI无线网卡-横空出世8500WN集成机。售价约1180新台币(折合人民币约298元) 　　台湾卡王是全球著名的大功率无线网卡生产厂商，2007年曾最早推出大功率无…

[TOC] spark单机安装部署 1.安装scala 解压：tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名：mv scala-2.10.5/ scala 配置到环境变量： export SCALA_HOME=/home/uplooking/app/scala export PATH=$PATH:$SCALA_…

RIDE（ Robot Framework Test Data Editor）适合用于web的自动化测试。 一、 相关环境的安装 首先搭建python环境，到http://www.python.org下载python.2.7.10版本。 安装的时候，把python加入到path的环境变量。目…

建表 create table mydb.userinfo(name string,addressi string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '/t' LINES TERMINATED BY '/n' STORED AS TEXTFILE; 创建分区表 CREATE TABLE mydb.userinfo --创建表…