热门
最新
红包
立Flag
投票
同城
我的
发布
Druid Kafka Supervisor副本之惑
Druid采集Kafka数据的办法是通过Kafka Supervisor摄取规格的提交，规格配置中就包括了Kafka的broker、topic等信息。
不过规格配置中有两个参数非常有意思，“taskCount”、“replica”，也就是任务数和副本集数，假如taskCount为2，replica也为2，那么Kafka supervisor运行后，就会启动2x2=4个任务，相当于4个任务同时从Kafka中采集数据，但是这4个任务分成了2组，这怎么理解呢？
假如：Kafka Topic的分区我们初始创建的时候划分了6个，那么分区0、2、4就给了supervisor分组一，分区1、3、5就给了supervisor分组二，supervisor分组里面到任务只能采集分组所属的Kafka Topic分区，我们从附图中能看的更清楚。
这就相当于在两个不同数据节点，分别跑了两个不同的supervisor分组任务，它们分别对kafka topic的6个分区数据进行了对半采集，这样就平衡了单数据节点采集的负载压力。
关键现在设置了replica=2，也就是每个supervisor分组都有一个冗余的任务也在采集。
摘自：https://t.zsxq.com/04m6aeYny
数据库交流区
长安公园南门游客服务中心
CSDN App 扫码分享
评论
2
打赏
- 复制链接
- 举报
下一条：
感谢CSDN
我会继续努力
我会继续努力