数据采集

1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.…

1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一…

1.概述 最近Kafka官网发布了2.8版本，在该版本中引入了KRaft模式。鉴于新版本和新特性的引入，相关使用资料较少，那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。…

1.环境准备 1.1 硬件配置 设备名 参数 数量 6台 系统 centos6.5 内存 64G 硬盘 32T/台 CPU 16核/台 1.2 软件版本 Hadoop-2.x&nb…

1.概要 我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。 2.步骤   注…

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提，必需安装好hadoop环境，可以参考我之前Hadoop社区版搭建，先搭建好hadoop环境…

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单，下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile…

1.概述 　　使用hadoop已经有一段时间了，从最开始懵懂到迷茫，再到各种阅读与写作，再到如今各种组合应用，逐渐已经离不开hadoop了，hadoop在大数据行业的成功，加速了它…

1.概要 1.1HBase的使用场景  大数据量 （100s TB级数据） 且有快速随机访问的需求。  例如淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时…

1.概要     到这一步，若是按照前面到文章一步走来，不出意外，我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参…