大数据

接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码： object SparkSqlTest { def main(args:…

移动互联网时代，精细化运营逐渐成为企业发展的重要竞争力，“用户画像”的概念也应运而生。用户画像是指，在大数据时代，企业通过对海量数据信息进行清洗、聚类、分析，将数据抽象成标签，再利用这些标签将用户形象…

我们在使用 MessagePack 对 List 对象数据进行序列化的时候，发现序列化以后的二进制数组数据偏大的情况。 请注意，不是所有的 List 对象都会出现这种情况，这个根据你 List 对象中存储的内容有关。 有关本问题的测…

在crontab中运行脚本来查看hadoop相关信息，由于hadoop、java默认部署在/usr/local下面， 所以导致crontab执行时出现报错。具体与环境变量有关系，下文描述比较清楚。 ################ 下文出处：   &nb…

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。 当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花…

JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole，还有jps，jmap，jstat，jstack，jhat等小工具。 1. jps(Java Virtual Machine Process Status Tool)   jps -m -l   列出JVM中运行的…

今天帮一个加拿大的朋友解决VB调用QTP的问题，自己写了一个Demo 。 下边是源代码 1.新建工程，引入QuickTest Professional 8.0 object library 2.编写代码如下： Private strScriptName As StringPrivate strRunScr…

一.httpd-2.2版本安装及配置   1.安装httpd-2.2.3     # yun -y install httpd   2.查看httpd安装生成的文件     # rpm -ql httpd | less   3.启动服务     # servic…

单元测试   单元测试是对软件中的基本组成单位进行的测试，如一个模块、一个过程等等。它是软件动态测试的最基本的部分，也是最重要的部分之一，其目的是检验软件基本组成单位的正确性。一个软件单元的正确性…

@EnableAutoConfiguration有这个注解，spring boot 就会根据classpat中的jar依赖，来猜测你将要开发一个什么样的spring应用。比如：spring-boot-starter-web这个依赖，则springboot就会自动嵌入tomcat和springMVC的…