kafka怎么指定offset读取-开发者知识库平台

kafka怎么指定offset读取

kafka

954

2023/11/22 4:10:08

栏目: 大数据

Kafka在消费消息时，可以通过指定offset来读取特定位置的消息。以下是指定offset读取消息的步骤：

创建一个KafkaConsumer实例，并配置Kafka集群的地址和其他必要的配置参数。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("enable.auto.commit", "false");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

使用assign()方法来指定要消费的topic和partition以及起始的offset。

TopicPartition topicPartition = new TopicPartition("my-topic", 0);
consumer.assign(Collections.singletonList(topicPartition));
consumer.seek(topicPartition, desiredOffset);

开始消费消息。

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
    consumer.commitSync();
}

在上述代码中，desiredOffset是希望从哪个offset开始读取消息的值。assign()方法用于指定要消费的topic和partition，seek()方法用于指定起始的offset。poll()方法用于拉取消息，commitSync()方法用于手动提交消费的偏移量。

请注意，指定offset读取消息时，需要确保指定的offset是有效的，即存在于对应的topic和partition中。否则，可能会读取不到任何消息或者读取到的消息与预期不符。

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

kafka怎么指定offset读取

最新知识库

相关标签