Kafka leader election causes Kafka Streams crash
我有一个 Kafka Streams 应用程序从 Kafka 集群消费和生产，该集群有 3 个代理和复制因子 3。除了消费者偏移主题(50 个分区)之外，所有其他主题每个只有一个分区。
当代理尝试首选副本选举时，Streams 应用程序(运行在与代理完全不同的实例上)失败并显示错误：
|
1
2 3 4 5 |
Caused by: org.apache.kafka.streams.errors.StreamsException: task [0_0] exception caught when producing
at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.checkForException(RecordCollectorImpl.java:119) … at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:197) Caused by: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic–partition. |
Streams 应用程序尝试成为分区的领导者是否正常，因为它运行在不属于 Kafka 集群的服务器上？
我可以通过以下方式按需重现此行为：
我的问题似乎与这个报告的失败类似，所以我想知道这是否是一个新的 Kafka Streams 错误。我的完整堆栈跟踪实际上与报告的失败(此处)中链接的要点完全相同。
另一个可能有趣的细节是，在领导选举期间，我在代理的
|
1
2 3 4 5 6 7 8 |
[2017–04–12 11:07:50,940] WARN [Controller–3–to–broker–3–send–thread], Controller 3‘s connection to broker BROKER-3-HOSTNAME:9092 (id: 3 rack: null) was unsuccessful (kafka.controller.RequestSendThread)
java.io.IOException: Connection to BROKER-3-HOSTNAME:9092 (id: 3 rack: null) failed at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:84) at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:94) at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:232) at kafka.controller.RequestSendThread.liftedTree1$1(ControllerChannelManager.scala:185) at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:184) at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) |
我一开始以为是这个连接错误，但是在领导选举导致 Streams 应用程序崩溃后，如果我重新启动 Streams 应用程序，它会正常工作，直到下一次选举，而我根本不需要接触代理。
所有服务器(3 个 Kafka 代理和 Streams 应用程序)都在 EC2 实例上运行。
这个问题现在在 0.10.2.1 中得到修复。如果您无法选择，请确保在您的流配置中按如下方式设置这两个参数：
|
1
2 3 4 |
final Properties props = new Properties();
… props.put(ProducerConfig.RETRIES_CONFIG, 10); props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, Integer.toString(Integer.MAX_VALUE)); |
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/267514.html