刚看完kafka 源码,各位随便问 刘备姜子牙:铁…

刚看完kafka 源码,各位随便问[得意]

刘备姜子牙:铁岭怎么走

程序猿.白落提丰和:partition 10个,consumer设置多少合适

楼主:@刘备姜子牙 这个我找本山给你安排下

楼主:@拼多多员工[2] 加钱就不会

前腾讯员工:offset 极限是多少 过了极限然后是多少

腾讯员工:如何实现exactly once?

腾讯员工[2]:@程序猿.白落提丰和 哈哈哈!

楼主:@程序猿.白落提丰和 看你们的qps以及处理速度,一个patition最多被一个实例消费,如果qps很低,一台机器就足够,为了容错最少两台机器消费。如果单个patitionqps很高,消费容易出现lag,可以先扩容partition,把机器数量加到和partition一样

楼主:@前腾讯员工 long_max,代码中没有处理offset溢出

腾讯员工[2]:@程序猿.白落提丰和 这是个很好的问题。如果用kafka 的话,必须要了解的。

程序猿.秃笔翁:kafka一共多少个源文件,每个多少行

腾讯员工[2]:@程序猿.白落提丰和 有个公式的。

程序猿.白落提丰和:@楼主 面试题是选择题,10、5、1、2 多选

携程计算机技术(上海)有限公司员工:书中第十章第二节倒数第三行那句话能解释下吗

程序猿.白落提丰和:@腾讯员工[2] 我只知道要小于等于,避免consumer有空闲浪费

泰山弟子:讲讲exactly once

楼主:@携程计算机技术(上海)有限公司员工 无字天书吗

携程计算机技术(上海)有限公司员工:@楼主 [坏笑]

腾讯员工[2]:@程序猿.白落提丰和 假如你的patition有10个,但你起了6个consumer,那么会有什么现象?

楼主:@腾讯员工 主要是通过增加额外的状态保证1.peoducer增加producerid,没有producer发送时需要保证消息重试的消息不会重复生产offset,所以在peoducer中有一个自增id和消息绑定,在server端收到消息如果有乱序就返回客户端失败,这样可以保证发送端的消息不会重复

老秃驴闭嘴:@腾讯员工[2] 所以整除就行了[坏笑]

楼主:@腾讯员工 2.发送时采用两阶段发送,prepare时写入transaction state 一条消息,然后发送消息,提交事务时写入transaction state precommit,在向每个patition的leader节点发送事务commit的消息,最后写入transaction state commit消息

楼主:@腾讯员工 consumer 在消费时,如果消费到没有commit的消息会把消息放在内存里,知道遇到上面patition 内的事务终结消息,这样可能导致oom

腾讯员工[2]:@程序猿.直拳老师 。。。。会有一个消费者不干活吧。。。

拼多多员工[4]:为什么叫tiger

楼主:@腾讯员工 提交 transaction state 先precommit再commit,是为了避免在发送给leader是,其中一个leader故障,导致消息回滚。消息一旦进入precommit状态,理论上最后一定会commit

腾讯员工[2]:@老秃驴闭嘴 哈哈哈哈!

楼主:@腾讯员工[2] 会有一定得负载不均衡,这种场景下,sticky的分配策略,分配到parititon最多的节点和最少的节点,patition数量差别不超过1,所以理论上不会有空闲节点

楼主:@拼多多员工[4] 你在说风哥虎吗[哈哈]

楼主:@程序猿.秃笔翁 你数数

楼主:@泰山弟子 看上面

华山弟子:总共多少行?

vivo员工:m

拼多多员工[5]:@拼多多员工[4] 哈哈哈,为什么叫tiger不叫pafka?

楼主:@携程计算机技术(上海)有限公司员工 你看看137页,从上到下前四个字是不是你太闲了

楼主:@华山弟子 你和五楼一起数一下,说不定就成cp了[坏笑]

程序猿.衡山弟子:kafka,都有哪些应用场景,举例说说,kafka stream你研究过吗?感觉这个能派上用场么

楼主:@拼多多员工[5] 容易看成papapa[奸笑]

秃笔翁:不用zk,怎么管理集群元数据信息

殷天正:为什么读写log用filechannel,读写index用mmap[害羞]

北京宜通华瑞科技有限公司员工:上班的时候看的,还是回家以后看的?

秃笔翁:副本状态机怎么实现的,leader epoch是怎么保证正确的

迷途中的希望:m

拼多多员工[5]:@楼主 你们组真爽,还有时间看书,基础架构只有几个组还行

曹仁:M

楼主:@程序猿.衡山弟子 业务解耦,日志传输,延迟处理,简单的任务调度分配等场景比较多,kafka stream没用过,不过这种还是学学spark或者flink吧。用冷门的技术栈个人踩坑难解决

程序猿.贾雨村:@北京宜通华瑞科技有限公司员工 肯定上班看啊 不然上班不会亏本么[捂嘴]

楼主:@秃笔翁 这个不知道。。但是kafka中的zk主要用来选举controller,offset,leader选举都不依赖zk

深圳某个科技有限公司员工:分享下看源码的方法,自己硬啃还是对着博客看的?

百度员工:源码有几行

感觉行业内卷到永远升不到总监了,永远是资深xx,xx专家…

感觉行业内卷到永远升不到总监了,永远是资深xx,xx专家这样的title,难受杨不悔:总监也卷,一个干掉一个 程序猿.华山弟子:作为带150团队的测试总监,也很焦虑 楼主:@杨不悔 被干掉再换个地方也还是总监,一日总监终身总监 楼主:@程序猿.华山弟子 为什么呢?150人大部队了 程序猿.方证:@程序猿.华山弟子 哪里有这么大的测试团队 程序猿.华山弟子:@…

校招生的困惑本人是计算机硕士应届毕业生,目前刚刚拿到电信…

校招生的困惑本人是计算机硕士应届毕业生,目前刚刚拿到电信云sp的offer并已签约(手里的搜狗网易都没有谈薪,但是应该是白菜可能还没电信云高)。想问一下前辈们电信云以后可能跳槽到其他公司吗?包括互联网 外企 国企在内的认可度如何呢?衡山弟子:m 广州市百果园信息技术有限公司员工:没有认可度。电信拿户口先 低压锅蒂亚戈:拿户口可以啦,两年以后好好准备再跳槽吧 …

半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成…

半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成绩吧。非科班非竞赛选手,有兴趣,刷题还是很开心,对代码能力提升帮助巨大。现在也坚持打各种比赛,已经成为生活一部分。[哈哈] 饿了么员工:给老哥点赞,老哥每天一般几道啊? 楼主:@饿了么员工 刷的猛的时候30道 口碑(杭州)信息技术有限公司员工:去哪家了 程序猿.小狮子特尔施特根:老哥你是在职刷的半年么 …

百度谈完薪资走offer流程,中间又说涨幅太高,要降一部…

百度谈完薪资走offer流程,中间又说涨幅太高,要降一部分才能审批通过,还有这种操作么?[冷汗]昆仑弟子:有啊。这不就是正常流程吗 程序猿.解宝:涨幅多少啊 程序猿.唐兵甲:同遇到了,也是百度…… 楼主:@昆仑弟子 这些事情谈薪资的时候确定不了吗 昆仑弟子:@楼主 谈薪资只是了解你的期望啊,又不是最后批offer 潘凤:应该是Hr不管薪资,走offer流程走…

目前校招入职几个月,每天开会一开就是几个小时耽误午休吃饭…

目前校招入职几个月,每天开会一开就是几个小时耽误午休吃饭,只分配杂活搞文档,代码都接触不到,还每天加班到九点,毫无收获还没时间自己学习。转正之后,到点就下班硬走,一分钟也不多干,自己回去学习能行吗?不要考核了,有经验的老哥给讲下会不会有什么严重的后果?真心求有经验的老哥指点一下阴吹思挺:M 程序猿.宋兵乙:m 浦发银行员工:那个城市? 上海浦东发展银行员工:…