数据治理

1.概述 最近有同学咨询Kafka的消费和心跳机制，今天笔者将通过这篇博客来逐一介绍这些内容。 2.内容 2.1 Kafka消费 首先，我们来看看消费。Kafka提供了非常简单的消…

1.概述 Kafka是一个分布式消息中间件系统，里面存储着实际场景中的数据。Kafka原生是不支持点查询的，如果我们想对存储在Topic中的数据进行查询，可能需要对Topic中的数…

1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.…

1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一…

1.概述 最近Kafka官网发布了2.8版本，在该版本中引入了KRaft模式。鉴于新版本和新特性的引入，相关使用资料较少，那边本篇博客笔者将为大家介绍Kafka2.8的安装和使用。…

1.环境准备 1.1 硬件配置 设备名 参数 数量 6台 系统 centos6.5 内存 64G 硬盘 32T/台 CPU 16核/台 1.2 软件版本 Hadoop-2.x&nb…

1.概要 我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。 2.步骤   注…

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提，必需安装好hadoop环境，可以参考我之前Hadoop社区版搭建，先搭建好hadoop环境…

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单，下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile…

1.概述 　　使用hadoop已经有一段时间了，从最开始懵懂到迷茫，再到各种阅读与写作，再到如今各种组合应用，逐渐已经离不开hadoop了，hadoop在大数据行业的成功，加速了它…