数据采集

1.概述 　　本课程的视频教程地址：《Kafka实战项目之编码实践》 　  该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模…

1.概述 　　在 Kafka 中，官方对外提供了两种消费 API，一种是高等级消费 API，另一种是低等级的消费 API。在 《高级消费 API》一文中，介绍了其高级消费的 API…

1.概述 　　在 Kafka 集群中，我们可以对每个 Topic 进行一个或是多个分区，并为该 Topic 指定备份数。这部分元数据信息都是存放在 Zookeeper 上，我们可以…

1.概述 目前Kafka ACL支持多种权限认证，今天笔者给大家介绍一下SCRAM和PLAIN的权限认证。验证环境如下： JDK：1.8 Kafka：2.3.0 Kafka Eag…

1.概述 最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及作用等问题都能详细作答。但是，问到一…

1.概述 最近有很多同学给笔者留言，说在安装Kafka Eagle的时候，会遇到一些问题，请教如何解决？今天笔者就在这里总结一下安装步骤，和一些安装的注意事项，以及解决方式。 2.…

1.概述 最近有同学在学习Kafka的网络通信这块内容时遇到一些疑问，关于网络模型和通信流程的相关内容，这里笔者将通过这篇博客为大家来剖析一下这部分内容。 2.内容 Kafka系统…

1.概述 Kafka Eagle是一款用于管理Kafka的监控系统，且完全开源。当前Kafka Eagle发布了2.0.0版本。今天笔者就为大家来介绍一下2.0.0更新了哪些功能。…

1.概述 最近有同学咨询Kafka的消费和心跳机制，今天笔者将通过这篇博客来逐一介绍这些内容。 2.内容 2.1 Kafka消费 首先，我们来看看消费。Kafka提供了非常简单的消…

1.概述 Kafka是一个分布式消息中间件系统，里面存储着实际场景中的数据。Kafka原生是不支持点查询的，如果我们想对存储在Topic中的数据进行查询，可能需要对Topic中的数…