kafka

项目中需要构造带有中文字符非json的测试数据，格式如下： {‘userid’: 0, ‘ts’: ‘2022-08-0…

今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kaf…

背景 进入6月后，随着一个主要功能版本api的上线，服务端的QPS翻了一倍，平时服务器的CPU使用稳定在30%上下，高峰期则在60%上下，但是偶尔会有单台机器出现持续数分钟突然飙到…

Kafka-java 1. 在写代码前需要导入依赖 <dependency> <groupId>org.apache.flink</groupId&g…

一、前言 　　由于工作原因使用到了 Kafka，而现有的代码并不能满足性能需求，所以需要开发高效读写 Kafka 的工具，本文是一个 Python Kafka Client 的性能…

1 Kafka提供的命令行脚本 Kafka默认提供了多个命令行脚本，用于实现各种各样的功能和运维管理。从2.2版本开始，提供了多达30+个Shell脚本。 今天我们来看一些其中比较…

安装前准备： 安装JDK 安装zookeeper（如果使用kafka内置的zookeeper，可以忽略） 第一步、安装JDK kafka依赖JAVA环境，所以首先要安装jdk 第二…

1 Kafka提供的命令行脚本 Kafka默认提供了多个命令行脚本，用于实现各种各样的功能和运维管理。从2.2版本开始，提供了多达30+个Shell脚本。 今天我们来看一些其中比较…

本地安装Kafka     一、安装方法     前提 ： 本地安装zookeeper     1、下载 kafka_2.13-2.5.1.tgz 文件 （带src是源码 如：ka…

一、报错日志 2022-07-21 09:12:42,274 WARN – [main-SendThread(hadoop01:2181):] ~ Client session t…