开源

  • hive中对多字节的处理

    现在有一批数据: 01||zs||18 02||ls||19 03||jj||10 每一行的数据的分割符是||,是一个多字节的分隔符,默认的hive只支持单字节的分隔符,上面的数据时||多字节,不支持。解决方案: method01:使用 RegexSerDe 通…

    大数据 2021年11月16日
  • OBD车联网综合管理解决方案

    汽车智能管理系统,适配覆盖汽油车,柴油车,电动汽车,油电混合车。 智能车辆管理系统治融合车联网、4G通讯、OBD总线控制、驾驶行为记录、GPS定位、一键启动等技术,可适用于政企车队、汽车租赁、汽车金融、物流运…

    大数据 2021年11月16日
  • adb devices指令实例讲解

    在讲这个指令之前,我首先启动了一个名称为“Galaxy_Nexus_4.4.2”的手机模拟器(有时我们也管其叫安卓虚拟设备),并且通过USB数据线将我的手机设备和PC进行了连接,而后我应用“Android Screen Monitor”工具捕获到我…

    大数据 2021年11月16日
  • lr 远程控制报Vuser compilation failed.

    lr 使用本地压力机执行场景没有问题,连接远程机器,执行场景有error ,报Vuser compilation failed. 解决: 在contrler添加压力机时:设置上临时目录   

    大数据 2021年11月16日
  • 大数据学习实践总结(2)--环境搭建,JAVA引导,HADOOP搭建

    PS:后续的文章会把我实践的内容分解成为一个个的小模块,方便大家的学习,交流。文未我也会附上相关的代码。一起加油!    学有三年的大数据原理,一直没有实践过。最近准备离职,正好把自己所学的…

    大数据 2021年11月16日
  • UIAutomator环境配置

    1、JDK配置 JDK必须是1.6以上的版本 在系统变量新建: 变量名:JAVA_HOME 变量值:D:/java/jdk1.7.0_79 编辑系统变量path在尾端加入两个路径:(记住每个路径用分号分隔) %JAVA_HOME%/jre/bin;%JAVA_HOME%/bin; 2、Andro…

    大数据 2021年11月16日
  • centos hadoop安装及配置

    1) 配置jdk。 2) 配置ssh。 3) 配置Hadoop相关文件。 配置jdk 下载 jdk1.8.XXXXXXX.tar.gz 解压  tar -zxvf jdk1.8.XXXXXX.tar.gz vim /etc/profile export JAVA_HOME= export PATH= export CLASS_PATH= so…

    大数据 2021年11月16日
  • Hadoop 实践(三) hadoop dfs 命令

     hadoop dfs 命令: Overview cat chgrp chmod chown copyFromLocal copyToLocal count cp du dus expunge get getmerge ls lsr mkdir moveFromLocal moveToLocal mv put rm rmr setrep stat tail test text t…

    大数据 2021年11月16日
  • Hadoop之机架感知

    背景   当没有配置机架信息时,所有的机器hadoop都默认在同一个默认的机架下,名为“/default-rack”,这种情况下,任何一台 datanode机器,不管物理上是否属于同一个机架,都会被认为是在同一个机架下,此时,…

    大数据 2021年11月16日
  • Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json

    val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load() jdbcDF.createOrReplaceTem…

    大数据 2021年11月16日