Kafka使用多个分区时 consumer的Assign配置

天天在给自己挖坑排坑。。。

因为要开多线程消费，所以分区加到了10，两个broker。

Producer没有做特殊处理，所以是随机发到Partitions。

但是Consumer只做Subscribe订阅的话，会只消费到Partition = 0 的消息。

因此看了一下有个Assign可以绑定分区和topic。

但是只使用TopiicPartition的话，只能配置成功但是消费不成功，尝试加Subscribe后还是只能消费到partition=0的分区消息。

最后考虑是不是因为offset的问题。

使用Assign(TopicPartitionOffset)之后，成功消费到对应分区对应消息。

（12.13改关于subscribe只消费到0分区的原因是当前分区多个，但是消费者只有一个，因此即使rebalance，还是只能消费到一个分区）

另外关于kafka消费的问题，因为要控制消费的线程数，长时间跑的线程又不太方便用线程池（原因：线程池为了判断是否需要创建一个额外的线程，所采用的逻辑比较复杂，直接为长时间运行的任务创建专用线程，就可以避免这个问题。)，所以直接开了n个线程来消费。

这样的情况下，如果是单例的消费者，对应单个分区是没有问题的，取消息是排队的，但是处理消息还是可以并发的。

另外还有一种方案，就是多个分区对应多个消费者。开多个线程跑。

啊，这里我还查了lambda表达式的匿名传参，大概格式如下

 kafkaThread[i] = new Thread(delegate (object obj)

 {

    //线程代码

 };

此外在测两种方案的QPS，消费平滑度等性能的时候，需要在线程里设置count++，因此又学了一个知识点。

用Interlocked 就可以做到++的原子操作了，代码如下：

 private static int _countConsume = ;

 Interlocked.Increment(ref _countConsume);

都是属于自己学习之路上的干货，记录一下。

昨天晚上加班的比较晚，后来老大来跟我聊了一会儿。聊得东西很多，我本人毕业院校不太好，组里小哥哥是中科大的。所以我当时感到压力挺大，然后老大就跟我讲了一些关于学校里和工作后的区别。

顺带讲了方法论和工具是什么，告诉我怎么去使用一项技术，工作和科研的区别（技术与业务的结合性）。

感觉我老大是人超好的那种，他的境界是我所仰望的，讲真毕业第一份工作有这样一位老大带着，我感觉非常幸运，希望我可以在他带的团队里，学到更多的东西，早日可以独当一面。

巴特西