数据采集

常用管理命令   Hadoop管理员的常用命令。  启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关…

既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对 HDFS 的操作…

  海量数据分页，已经无法使用数据库自带的分页机制，比如MySQL 的 Limit ，这会导致严重的性能问题， 经过生产环境大数据量千万级数据量分页实现的 的总结，目前为…

hadoop2.7.2集群搭建 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录，修改hadoop-env.s…

hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.5.0-cdh5.3.6/etc/hadoop目录，修改ha…

此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处 Hbase基础 Hbase基础 Hbase定义 行存储 v s 列存储 Hbase数据模型…

此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处 Hbase环境搭建 Hbase环境搭建 hadoop为HA的Hbase配置 Zookeep…

Java,python操作Hbase 操作Hbase python操作Hbase 安装Thrift之前所需准备 安装Thrift 产生针对Python的Hbase的API 启动Th…

Hive安装及配置 下载hive安装包 此处以hive-0.13.1-cdh5.3.6版本的为例，包名为：hive-0.13.1-cdh5.3.6.tar.gz 解压Hive到安装…

Hive基本使用 创建数据库 创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db create database 库名; 避免要创…