如何提高kafka消费速度

你好,当前routine load并发取决于min(min(partitionNum,min(desireTaskConcurrentNum,aliveBeNum)),Config.max_routine_load_task_concurrent_num)
partitionNum:kafka分区数
desireTaskConcurrentNum: desired_concurrent_number配置
aliveBeNum:集群存储的be节点
max_routine_load_task_concurrent_num:be的配置项,默认为5

可以看出来主要受限于存活的be节点数,比如您的kafka分区数>be数量的时候,建议拆分成多个routine load任务,比如您的任务可以拆分成两个routine load任务,可以指定每个任务消费3个分区

是的,没用,请根据这个调整