开源
-
hive中对多字节的处理
现在有一批数据: 01||zs||18 02||ls||19 03||jj||10 每一行的数据的分割符是||,是一个多字节的分隔符,默认的hive只支持单字节的分隔符,上面的数据时||多字节,不支持。解决方案: method01:使用 RegexSerDe 通…
-
OBD车联网综合管理解决方案
汽车智能管理系统,适配覆盖汽油车,柴油车,电动汽车,油电混合车。 智能车辆管理系统治融合车联网、4G通讯、OBD总线控制、驾驶行为记录、GPS定位、一键启动等技术,可适用于政企车队、汽车租赁、汽车金融、物流运…
-
adb devices指令实例讲解
在讲这个指令之前,我首先启动了一个名称为“Galaxy_Nexus_4.4.2”的手机模拟器(有时我们也管其叫安卓虚拟设备),并且通过USB数据线将我的手机设备和PC进行了连接,而后我应用“Android Screen Monitor”工具捕获到我…
-
lr 远程控制报Vuser compilation failed.
lr 使用本地压力机执行场景没有问题,连接远程机器,执行场景有error ,报Vuser compilation failed. 解决: 在contrler添加压力机时:设置上临时目录
-
大数据学习实践总结(2)--环境搭建,JAVA引导,HADOOP搭建
PS:后续的文章会把我实践的内容分解成为一个个的小模块,方便大家的学习,交流。文未我也会附上相关的代码。一起加油! 学有三年的大数据原理,一直没有实践过。最近准备离职,正好把自己所学的…
-
UIAutomator环境配置
1、JDK配置 JDK必须是1.6以上的版本 在系统变量新建: 变量名:JAVA_HOME 变量值:D:/java/jdk1.7.0_79 编辑系统变量path在尾端加入两个路径:(记住每个路径用分号分隔) %JAVA_HOME%/jre/bin;%JAVA_HOME%/bin; 2、Andro…
-
centos hadoop安装及配置
1) 配置jdk。 2) 配置ssh。 3) 配置Hadoop相关文件。 配置jdk 下载 jdk1.8.XXXXXXX.tar.gz 解压 tar -zxvf jdk1.8.XXXXXX.tar.gz vim /etc/profile export JAVA_HOME= export PATH= export CLASS_PATH= so…
-
Hadoop 实践(三) hadoop dfs 命令
hadoop dfs 命令: Overview cat chgrp chmod chown copyFromLocal copyToLocal count cp du dus expunge get getmerge ls lsr mkdir moveFromLocal moveToLocal mv put rm rmr setrep stat tail test text t…
-
Hadoop之机架感知
背景 当没有配置机架信息时,所有的机器hadoop都默认在同一个默认的机架下,名为“/default-rack”,这种情况下,任何一台 datanode机器,不管物理上是否属于同一个机架,都会被认为是在同一个机架下,此时,…
-
Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load() jdbcDF.createOrReplaceTem…