大数据
-
大数据虚拟混算平台Moonbox配置指南
一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载 moonbox-0.3.0-beta下载：https:/…
-
关于archive引擎收集的海量数据表的备份
每天按ID区间备份表数据 #!/bin/bash date -d yesterday +"DATE %Y-%m-%d %H:%M:%S" >> /Mysql_Data/t_collection/ID.log/usr/bin/mysql -uroot --password="admin" -D userbehavior -e "select max(ID) from…
-
Storm 使用非JVM的语言
Storm使用非JVM的语言要点：1、创建topology（官方文档说使用其他语言创建很简单，因为topology本身是一个thrift结构，参考stotm.thrift）2、用其他语言实现spout和bolt，被叫做 multilang components" 或"shelling…
-
洋哥大讲堂之JAVA中JDK环境变量的配置和基本原理
很多学员经常问道JDK环境变量的配置的问题，现在把配置的步骤和基本的原理给大家进行梳理一下，让大家彻底明白并学会独立配置。 一、基本配置： &nb…
-
sqoop的介绍以及部署安装
1.sqoop的介绍 （1）介绍： Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。 导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、HBASE等数据存储系统。&ems…
-
kerberos 巨坑
突然之有一天照常启动kerberos的kadmind和kdc进程后，发现认证一切正常，但是数据库管理kadmin死活连不上了。报错如下 我的kerberos启动了两个域，分别是HZ.DATA.COM 和 NETEASE.COM。 注意到日志上的信息&nb…
-
LoadRunner在移动端性能测试的应用
如果大家之前做过性能测试，我相信一定会应用过大名鼎鼎的性能测试工具－LoadRunner。目前LoadRunner的最新版本为LoadRunner 12.0，结合目前移动市场性能测试的需要，LoadRunner也提供了一些基于移动平台的协议和相…
-
LoadRunner中常见术语
关于性能测试，我们常常会听到一些术语，如最大并发连接数，最大新建连接，吞吐等等。如果第一次接触，这些概念容易乱，下面简单说一下，个人理解。 最大并发连接数 指客户端和服务端之间建立的最大同时保持的连接…
-
MFS分布式存储
rhel6.5系统环境：server1 masterserver2 server3server4 首先server1下载软件包：libpcap-1.4.0-4.20130826git2dbcaa1.el6.x86_64.rpm 依赖环境libpcap-devel-1.4.0-4.20130826git2dbcaa1.el6.x86_64.rpm 依赖环境…
-
文本导出的方方面面—工资好助手
TXT文本文件是我们常用的在应用之间传递数据的途径之一，因为它具有通用、灵活、易维护等诸多优点。不过并不是所有应用都提供了生成txt文件的功能，往往需要额外的程序设计和开发工作才能获得。这时如果能够有一个…