推荐算法岗面试官问了解transformer吗?说了一下…

推荐算法岗
面试官问了解transformer吗?说了一下其中input到Q K V矩阵的转换,然后进行加权求和,面试官打断说你这是attention,不是transformer。

楼主:我补充说transformer就是attention,而且会有self-attention过程,这个回答哪里不对吗?求教大佬

春城东北王:@楼主 节哀

春城东北王:@楼主 顺便问一下是哪家?

楼主:@春城东北王 求教大佬,是没有get到面试官的问题吗?

狐媚胡梅尔斯:@楼主 我觉得你回答挺对的啊。。。这是哪家

深圳市腾讯计算机系统有限公司员工:self attention 是核心部分,不等价吧

阿里巴巴员工:严格讲你这么说确实不完整,因为除了attention以外transformer还包括两端的encoder和decoder结构。有点像汽车引擎和整车的关系吧,虽然推荐里用的上的主要还是attention机制。

春城东北王:@深圳市腾讯计算机系统有限公司员工 除了self attention和 ffn 还有什么

程序猿.低压锅蒂亚戈:@楼主 你得用官话:采用了注意力机制来替换rnn机制,再加上位置嵌入来对文本建模,因为可以并行训练,所以相较于rnn加快了速度。表达很重要

程序猿.解针:M

楼主:@春城东北王 抱歉,这个不方便透露,担心定位[笑哭]

春城东北王:@阿里巴巴员工 encoder和decoder 不也一样是multihead self attention吗

楼主:@程序猿.低压锅蒂亚戈 嗯嗯,学习了,表达很重要

搜狗员工:[坏笑]

程序猿.曲灵风:@深圳市腾讯计算机系统有限公司员工 还有残差和ln

腾讯员工:这是transformer提出的self-attention,attention从机器翻译开始,到语义匹配再到其他一些标准任务,在transformer之前,KQV都没有成为主流

宋兵甲:U1S1, 面试官这么说倒也没错?

美团员工:m

春城东北王:@程序猿.曲灵风 你赢了

京东员工:你该从block说起

微软中国有限公司员工:@楼主 这面试官水平不太行

百度员工:KQV 不是embeding吗

程序猿.解宝:@楼主 你这说的也不精确吧…transformer怎么就是attention了,按照网络结构,应该有三个子结构吧,此外这里面是self-attention,attention分为好几种呢

游坦之:m

复星云济员工:先谈框架吧,encoder到decoder,然后再是输入position. 接下来就是self attention,细节就是mask和ln,最后谈下解码的过程

京东员工[2]:@楼主 m

程序猿.冯默风:看了评论,大概就是觉得你说的少了

前西安三星电子研究有限公司员工:m

楼主:@程序猿.解宝 和面试官说了,transformer是self-attention。主要面的是推荐算法,推荐一般使用的就是self-attention,所以就没说整体框架

楼主:@程序猿.冯默风 嗯嗯,是这样的

程序猿.冯默风:@楼主 我也遇到过类似的,就讲了核心的一些东西,边边角角没有讲,然后对方就拼命追着问。

楼主:@微软中国有限公司员工 看了大家的评论,再想想当时面试官的反应,我怀疑他当时搜了一下transformer的那个结构图,然后想让我说一下。他可能并不了解transformer的细节

楼主:@微软中国有限公司员工 这是个三面面试官[笑哭]

深圳市腾讯计算机系统有限公司员工:@深圳市腾讯计算机系统有限公司员工 layer norm、 position embedding多着呢

楼主:@程序猿.冯默风 我这边他倒是没细问,说了self-attention以后,就换下个话题了

程序猿.大刷坎特:m

程序猿.岳老三:是我问的?

狐媚胡梅尔斯[2]:m

吴用:m

程序猿.张飞:M

猿辅导员工:@楼主 我觉得吧,Lstm结构的seq2seq也可以加attention,所以\"transformer就是attention\"确实不太精确

蚂蚁金服员工:m

中国邮政储蓄银行员工:m

花荣:兄弟 attention self—attention是机制,transformer是解决机器翻译问题的模型,transformer只是利用attention相关机制做了信息方面的处理,真正要完成翻译任务还有很多其他要素,这俩本身不等价

程序猿.文泰来:@阿里巴巴员工 你这个也是没搞清楚基本概念

阿里巴巴员工:@程序猿.文泰来 那你来说说呗?光挑毛病不说方案可不太厚道。

百度员工[2]:@楼主 太不精准了,给人的感觉就是不熟悉transformer,现在讲transformer大多都是指transformer encoder中的一层,实际上最开始是应该分encoder 和decoder两种。另外transformer 每层都是由两个子层组成的,第一层也是multi self attention,层与层之间,子层与子层之间的残差连接,子层后的ln,位置向量,scale dot这类都很重要。再要细的说还可以了lstm做对比

新浪微博员工:@阿里巴巴员工 我感觉这老哥说的对啊

楼主:@花荣 嗯嗯,推荐里一般主要使用的self-attention这部分

楼主:@百度员工[2] 嗯嗯

有啥想了解涂鸦智能的,在线答疑蒜蓉小龙虾:@楼主 一个月…

有啥想了解涂鸦智能的,在线答疑蒜蓉小龙虾:@楼主 一个月吧 你一周上四天班 加班一天 可以休两天吗 无心法师:测试部门怎么样[微笑] 楼主:@蒜蓉小龙虾 打错了[笑哭][笑哭] 程序猿.薛神医:hr让我用后续offer去battle薪资,请问这是故意压价? 楼主:@无心法师 小姐姐很多,事情多少也是看团队 楼主:大小周,但1月可以调休2天 张鲁:大专的有机会…

半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成…

半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成绩吧。非科班非竞赛选手,有兴趣,刷题还是很开心,对代码能力提升帮助巨大。现在也坚持打各种比赛,已经成为生活一部分。[哈哈] 饿了么员工:给老哥点赞,老哥每天一般几道啊? 楼主:@饿了么员工 刷的猛的时候30道 口碑(杭州)信息技术有限公司员工:去哪家了 程序猿.小狮子特尔施特根:老哥你是在职刷的半年么 …

我是个卑微的后端,天天被前端怼接口的设计,前端总是想什么…

我是个卑微的后端,天天被前端怼接口的设计,前端总是想什么参数都不传就能得到他想要的数据[吐]楼主:比如一个页面进来第一个接口我给了他一些数据,然后下个接口点提交时我希望他能把上个接口给的参数传回来,他觉得要遍历一遍(list里面)很麻烦,让我自己去查[吐血][吐血] 苏星河:理论上不相信前端数据是对的 楼主:@苏星河 这个参数是做筛选的啊,难道你前端什么参数…

国企,银行,互联网都带呆过,有什么要问我的吗?曹休:字节…

国企,银行,互联网都带呆过,有什么要问我的吗?曹休:字节是不是不建议去 硕两年 涨30% 目前在atb 程序猿.桃花仙:先去国企再去互联网的吗 楼主:@曹休 atb?是指百度吗? 楼主:@程序猿.桃花仙 对 曹休:@楼主 重要么 ?透露下字节情况 是不是比较乱和累 而且就给了个1-2 有啥建议么? 程序猿.桃花仙:@楼主 回复楼主:哪家国企,国企跳字节,好跳…

入职华为外包一个月,有什么想了解的通通回复曲灵风:什么价…

入职华为外包一个月,有什么想了解的通通回复曲灵风:什么价位的 华山弟子:薪资多少 产品汪.文鸯:多少级别?多少钱? 程序猿.曾柔father:out dog的感觉,还是家的感觉? 程序猿.少林弟子:M 亚信科技(中国)有限公司员工:说说你的feeling 华为技术有限公司员工:老哥开了多少,我看看能倒挂我几倍 她在南方小镇:m 程序猿.蒋琬:机试面试难度如何…