大数据
-
Netflix Archaius 分布式配置管理依赖构件
Archaius 配置管理API，包含一系列配置管理API，提供动态类型化属性、线程安全配置操作、轮询框架、回调机制等功能。 概述 archaius是Netflix公司开源项目之一，基于java的配置管理类库，主要用于多配置存储的动态…
-
值得了解的十大数据发展趋势
当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据(Big data)打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。目前，大数据的作用已经上升到一定…
-
Spark LDA 实例
Spark LDA 实例 一、准备数据 数据格式为：documents: RDD[(Long, Vector)]，其中：Long为文章ID，Vector为文章分词后的词向量； 通过分词以及数据格式的转换，转换成RDD[(Long, Vector)]即可。 二、建立模型 impor…
-
navicat 乱码问题解决策略及过期注册解决方案(Ubuntu)
rm -rf /home/test/.navicat64/ ＃删除navicat当前14天 注册系统信息 sed -i 's/en_us/zh_CN/g' /usr/share/navicat/start_navicat #将软件改成中文字体显示 解决软件内有乱码，按“工具”->"选项"，软…
-
Hive环境搭建及简单使用
前言： 上篇文章我们介绍了Hive源码编译的相关内容，本篇文章将主要介绍Hive环境的搭建步骤及简单使用。 1.下载安装包并解压 # 下载地址http://archive.cloudera.com/cdh6/cdh/5/ 选择hive-1.1.0-cdh6.7.0.tar.gz包…
-
shiro实现不同用户多realm登录
现有app上因功能扩展，需另外一部分用户登录，和原来的用户不在同一张表中。原来的shiro配置和单个realm不能满足多个表中用户（当然也可以在同一个realm中在两个表中查找，一个表查不到就去另一个表查，这种方式太…
-
Ignite 本地多实例
服务端器配置两个不同的XML example1.xml: <bean abstract="true" id="ignite1.cfg" class="org.apache.ignite.configuration.IgniteConfiguration"> …
-
【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结
特点： 1、分层队列：支持队列分层能够保证一个组织的子队列能够在允许其他队列使用资源之前共享资源，提供更多控制和预测性 2、容量保证：分配给队列一小部分容量，一定意义上说，这部分容量由队列掌控。提交到队…
-
Hadoop HA 搭建
四台机器 bei1 bei2 bei3 bei4 NN DN ZK ZKFC JN RM NM（任务管理） bei1 Y Y Y bei2 Y Y Y Y Y Y Y bei3 Y Y Y Y bei4 Y Y Y 1、升级组件以及关闭防火墙 yum -y update &n…