求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp

levelworm:我想要读 Kafka topic 最新一条数据的时间戳,然后用这个时间戳在 vertica 里头做为 partition 的依据。不过现在的问题是,使用seek_to_end()之后,就陷入到死循环了,一条数据也没放出来,我觉得应该能放出最后一条消息的啊?请问我哪里弄错了?

这是我的代码:


topic: str = 'mytopic'
broker: str = 'myserver'

consumer = KafkaConsumer(
    bootstrap_servers=[broker],
    enable_auto_commit=True
)

tp = TopicPartition(topic, 0)
consumer.assign([tp])
consumer.poll()
consumer.seek_to_end()

for message in consumer:
    print(message.timestamp)
    print(message)

consumer.close()

levelworm:我又试了下,可以看到 offset,诡异啊。。。照理说能看到 offset 不就应该能够看到消息吗?还是我理解错了。

levelworm:我搞定了我,原来 seek_to_end()之后他给我的是最后一个 offset+1,那我的 Kafka 此时并没有接受新的消息,那肯定是不会显示任何东西了,我只需要把 offset-1 然后再 seek 即可。

如何使用Python在Apache Kafka中以编程方式创建主题 - python

到目前为止,我还没有看到没有使用配置选项自动创建主题的显式实现主题创建的python客户端。 参考方案 您可以使用 kafka-python 或 confluent_kafka 客户端(这是librdkafka的轻量级包装器)以编程方式创建主题。 使用 kafka-python from kafka.admin import KafkaAdminClient…

Python从时间戳开始获得小时 - python

我需要根据小时对时间戳进行分类,例如,如果它是在上午7点到上午9点之间,则应该是上午。我有从csv文件中获取的时间戳,我只需要小时,因此可以使用if语句对数字进行分类。我将从date列获取时间戳,并创建一个名为hour的新列,df['hour'] = df.date.dt.hour 但它给了我以下错误:AttributeError:只能将…

Python 如何查某关键词在百度网页第几页?

cizimo:例如,在百度搜索 XXX 关键词后,想知道包含 YYY 的词在搜索结果的第几页? 这个能做到吗? 或者说有没有教程,砸一个链接给我呗,谢谢大家啦

Python 有没有监听鼠标点击网页相关元素的包呢?

18870715400:具体需求 比如说打开了 www.baidu.com ,当你鼠标点击了“百度一下”就可以获得这个对应的 id 或者是对应的 xpath 语法 如果没有对应的包,那么有什么可以具体实现的思路呢?

Python 现在最好用的包管理是啥?

maichael:最近为了给测试搭自动化测试,重新开始搞起 Python,但是整体工程结构比较苦恼。 重点是版本管理,requirements.txt 感觉不怎么好用。Pipenv? Tox? 还是其它的啥? 以及像 package.json 里 scripts 的用法,python 有类似的吗?cdyrhh:poetry