开源
-
敏捷开发培训部分讲义内容
敏捷已经不是陌生的词了，但是对这"熟悉"的词的理解却有很多不同的看法，然而有些本质的东西却基本一致，下面是我的部分敏捷开发培训讲义内容，在我的淘宝上 http://item.taobao.com/item.htm?id=36404412383 有这…
-
搭建部署Hadoop 之 HDFS
HDFS Hadoop 分布式文件系统 分布式文件系统 分布式文件系统可以有效解决数据的存储和管理难题 – 将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统 – 众多的节点组成一个文件系统网络 – 每个…
-
好程序员大数据学习路线分享函数+map映射+元祖
好程序员大数据学习路线分享函数+map映射+元祖，大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数据仓库的工具 …
-
使用OUTPUT从句从SQL Server表删除和归档大量记录
使用OUTPUT从句从SQL Server表删除和归档大量记录 英文原文： http://blog.extreme-advice.com/2013/01/08/delete-and-archive-bulk-record-from-sql-server-table-with-output-clause/ 我Facebook上的一个朋友和老…
-
大数据虚拟混算平台Moonbox配置指南
一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载 moonbox-0.3.0-beta下载：https:/…
-
关于archive引擎收集的海量数据表的备份
每天按ID区间备份表数据 #!/bin/bash date -d yesterday +"DATE %Y-%m-%d %H:%M:%S" >> /Mysql_Data/t_collection/ID.log/usr/bin/mysql -uroot --password="admin" -D userbehavior -e "select max(ID) from…
-
Storm 使用非JVM的语言
Storm使用非JVM的语言要点：1、创建topology（官方文档说使用其他语言创建很简单，因为topology本身是一个thrift结构，参考stotm.thrift）2、用其他语言实现spout和bolt，被叫做 multilang components" 或"shelling…
-
洋哥大讲堂之JAVA中JDK环境变量的配置和基本原理
很多学员经常问道JDK环境变量的配置的问题，现在把配置的步骤和基本的原理给大家进行梳理一下，让大家彻底明白并学会独立配置。 一、基本配置： &nb…
-
sqoop的介绍以及部署安装
1.sqoop的介绍 （1）介绍： Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。 导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、HBASE等数据存储系统。&ems…
-
kerberos 巨坑
突然之有一天照常启动kerberos的kadmind和kdc进程后，发现认证一切正常，但是数据库管理kadmin死活连不上了。报错如下 我的kerberos启动了两个域，分别是HZ.DATA.COM 和 NETEASE.COM。 注意到日志上的信息&nb…