数据开发

1.环境准备 1.1 硬件配置 设备名 参数 数量 6台 系统 centos6.5 内存 64G 硬盘 32T/台 CPU 16核/台 1.2 软件版本 Hadoop-2.x&nb…

1.概要 我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。 2.步骤   注…

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提，必需安装好hadoop环境，可以参考我之前Hadoop社区版搭建，先搭建好hadoop环境…

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单，下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile…

1.概述 　　使用hadoop已经有一段时间了，从最开始懵懂到迷茫，再到各种阅读与写作，再到如今各种组合应用，逐渐已经离不开hadoop了，hadoop在大数据行业的成功，加速了它…

1.概要 1.1HBase的使用场景  大数据量 （100s TB级数据） 且有快速随机访问的需求。  例如淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时…

1.概要     到这一步，若是按照前面到文章一步走来，不出意外，我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参…

1.概述 　　这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述： Hive的结构 Hive的基本操作 Hive…

1.概述　 　　Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动…

1.概述 　　在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下…