要消费Kafka最新数据,可以使用kafka-python
库。下面是一个简单的示例代码:
from kafka import KafkaConsumer
# 配置Kafka连接信息
bootstrap_servers = 'localhost:9092' # Kafka服务器地址和端口号
topic = 'my_topic' # Kafka主题名称
group_id = 'my_group' # 消费者组ID
# 创建KafkaConsumer对象
consumer = KafkaConsumer(topic,
bootstrap_servers=bootstrap_servers,
group_id=group_id,
auto_offset_reset='latest')
# 消费最新数据
for message in consumer:
print(message.value)
在上面的代码中,首先需要配置Kafka的连接信息,包括Kafka服务器地址和端口号、主题名称和消费者组ID。然后,创建一个KafkaConsumer
对象,并指定要消费的主题、Kafka服务器地址、消费者组ID和auto_offset_reset
参数设置为'latest'
,表示从最新的偏移量开始消费。
最后,通过for
循环遍历消费者对象,打印每条消息的值。这样就可以消费Kafka的最新数据了。
辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
推荐阅读: python中spider的用法是什么