python怎么消费kafka最新数据

1491
2024/1/15 2:15:01
栏目: 编程语言
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

要消费Kafka最新数据,可以使用kafka-python库。下面是一个简单的示例代码:

from kafka import KafkaConsumer

# 配置Kafka连接信息
bootstrap_servers = 'localhost:9092'  # Kafka服务器地址和端口号
topic = 'my_topic'  # Kafka主题名称
group_id = 'my_group'  # 消费者组ID

# 创建KafkaConsumer对象
consumer = KafkaConsumer(topic,
                         bootstrap_servers=bootstrap_servers,
                         group_id=group_id,
                         auto_offset_reset='latest')

# 消费最新数据
for message in consumer:
    print(message.value)

在上面的代码中,首先需要配置Kafka的连接信息,包括Kafka服务器地址和端口号、主题名称和消费者组ID。然后,创建一个KafkaConsumer对象,并指定要消费的主题、Kafka服务器地址、消费者组ID和auto_offset_reset参数设置为'latest',表示从最新的偏移量开始消费。

最后,通过for循环遍历消费者对象,打印每条消息的值。这样就可以消费Kafka的最新数据了。

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: python中spider的用法是什么