kafka数据顺序一致

问题：

　　kafka如何发送顺序消息
　　方案：kafka可以通过partitionKey，将某类消息写入同一个partition，一个partition只能对应一个消费线程，以保证数据有序。
　　也就是说生产者在写消息的时候，可以指定一个 key，比如说我们指定了某个订单 id 作为 key，那么这个订单相关的数据，一定会被分发到同一个 partition 中去，而且这个 partition 中的数据一定是有顺序的。

　　Kafka如何保证单partition有序

　　方案：消费者端创建多个内存队列，具有相同 key 的数据都路由到同一个内存队列；然后每个线程分别消费一个内存队列即可，这样就能保证顺序性

总结：若要解决kafka消息顺序性问题有以下方案

方案一，kafka topic 只设置一个partition分区（失去kafka分布式功能）

方案二，producer将消息发送到指定partition分区

解析：

方案一：kafka默认保证同一个partition分区内的消息是有序的，则可以设置topic只使用一个分区，这样消息就是全局有序，缺点是只能被consumer group里的一个消费者消费，降低了性能，不适用高并发的情况

方案二：既然kafka默认保证同一个partition分区内的消息是有序的，则producer可以在发送消息时可以指定需要保证顺序的几条消息发送到同一个分区，这样消费者消费时，消息就是有序。

producer发送消息时具体到topic的哪一个partition分区，提供了三种方式

1）指定分区

2）不指定分区，有指定key 则根据key的hash值与分区数进行运算后确定发送到哪个partition分区

3）不指定分区，不指定key，则轮询各分区发送（若出现网络问题依然还是会出现顺序错误）

注：

可以通过message key来定义，因为同一个key的message可以保证只发送到同一个partition，比如说key是user id，table row id等等，所以同一个user或者同一个record的消息永远只会发送到同一个partition上，保证了同一个user或record的顺序。如果你有key skewness 就有些麻烦，需要特殊处理

巴特西

kafka数据顺序一致

最新文章

热门文章