推荐算法岗
面试官问了解transformer吗?说了一下其中input到Q K V矩阵的转换,然后进行加权求和,面试官打断说你这是attention,不是transformer。
楼主:我补充说transformer就是attention,而且会有self-attention过程,这个回答哪里不对吗?求教大佬
春城东北王:@楼主 节哀
春城东北王:@楼主 顺便问一下是哪家?
楼主:@春城东北王 求教大佬,是没有get到面试官的问题吗?
狐媚胡梅尔斯:@楼主 我觉得你回答挺对的啊。。。这是哪家
深圳市腾讯计算机系统有限公司员工:self attention 是核心部分,不等价吧
阿里巴巴员工:严格讲你这么说确实不完整,因为除了attention以外transformer还包括两端的encoder和decoder结构。有点像汽车引擎和整车的关系吧,虽然推荐里用的上的主要还是attention机制。
春城东北王:@深圳市腾讯计算机系统有限公司员工 除了self attention和 ffn 还有什么
程序猿.低压锅蒂亚戈:@楼主 你得用官话:采用了注意力机制来替换rnn机制,再加上位置嵌入来对文本建模,因为可以并行训练,所以相较于rnn加快了速度。表达很重要
程序猿.解针:M
楼主:@春城东北王 抱歉,这个不方便透露,担心定位[笑哭]
春城东北王:@阿里巴巴员工 encoder和decoder 不也一样是multihead self attention吗
楼主:@程序猿.低压锅蒂亚戈 嗯嗯,学习了,表达很重要
搜狗员工:[坏笑]
程序猿.曲灵风:@深圳市腾讯计算机系统有限公司员工 还有残差和ln
腾讯员工:这是transformer提出的self-attention,attention从机器翻译开始,到语义匹配再到其他一些标准任务,在transformer之前,KQV都没有成为主流
宋兵甲:U1S1, 面试官这么说倒也没错?
美团员工:m
春城东北王:@程序猿.曲灵风 你赢了
京东员工:你该从block说起
微软中国有限公司员工:@楼主 这面试官水平不太行
百度员工:KQV 不是embeding吗
程序猿.解宝:@楼主 你这说的也不精确吧…transformer怎么就是attention了,按照网络结构,应该有三个子结构吧,此外这里面是self-attention,attention分为好几种呢
游坦之:m
复星云济员工:先谈框架吧,encoder到decoder,然后再是输入position. 接下来就是self attention,细节就是mask和ln,最后谈下解码的过程
京东员工[2]:@楼主 m
程序猿.冯默风:看了评论,大概就是觉得你说的少了
前西安三星电子研究有限公司员工:m
楼主:@程序猿.解宝 和面试官说了,transformer是self-attention。主要面的是推荐算法,推荐一般使用的就是self-attention,所以就没说整体框架
楼主:@程序猿.冯默风 嗯嗯,是这样的
程序猿.冯默风:@楼主 我也遇到过类似的,就讲了核心的一些东西,边边角角没有讲,然后对方就拼命追着问。
楼主:@微软中国有限公司员工 看了大家的评论,再想想当时面试官的反应,我怀疑他当时搜了一下transformer的那个结构图,然后想让我说一下。他可能并不了解transformer的细节
楼主:@微软中国有限公司员工 这是个三面面试官[笑哭]
深圳市腾讯计算机系统有限公司员工:@深圳市腾讯计算机系统有限公司员工 layer norm、 position embedding多着呢
楼主:@程序猿.冯默风 我这边他倒是没细问,说了self-attention以后,就换下个话题了
程序猿.大刷坎特:m
程序猿.岳老三:是我问的?
狐媚胡梅尔斯[2]:m
吴用:m
程序猿.张飞:M
猿辅导员工:@楼主 我觉得吧,Lstm结构的seq2seq也可以加attention,所以\"transformer就是attention\"确实不太精确
蚂蚁金服员工:m
中国邮政储蓄银行员工:m
花荣:兄弟 attention self—attention是机制,transformer是解决机器翻译问题的模型,transformer只是利用attention相关机制做了信息方面的处理,真正要完成翻译任务还有很多其他要素,这俩本身不等价
程序猿.文泰来:@阿里巴巴员工 你这个也是没搞清楚基本概念
阿里巴巴员工:@程序猿.文泰来 那你来说说呗?光挑毛病不说方案可不太厚道。
百度员工[2]:@楼主 太不精准了,给人的感觉就是不熟悉transformer,现在讲transformer大多都是指transformer encoder中的一层,实际上最开始是应该分encoder 和decoder两种。另外transformer 每层都是由两个子层组成的,第一层也是multi self attention,层与层之间,子层与子层之间的残差连接,子层后的ln,位置向量,scale dot这类都很重要。再要细的说还可以了lstm做对比
新浪微博员工:@阿里巴巴员工 我感觉这老哥说的对啊
楼主:@花荣 嗯嗯,推荐里一般主要使用的self-attention这部分
楼主:@百度员工[2] 嗯嗯
有啥想了解涂鸦智能的,在线答疑蒜蓉小龙虾:@楼主 一个月…有啥想了解涂鸦智能的,在线答疑蒜蓉小龙虾:@楼主 一个月吧 你一周上四天班 加班一天 可以休两天吗 无心法师:测试部门怎么样[微笑] 楼主:@蒜蓉小龙虾 打错了[笑哭][笑哭] 程序猿.薛神医:hr让我用后续offer去battle薪资,请问这是故意压价? 楼主:@无心法师 小姐姐很多,事情多少也是看团队 楼主:大小周,但1月可以调休2天 张鲁:大专的有机会…
半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成…半年前准备离开阿里,下周入职新公司,晒个刷题截图和周赛成绩吧。非科班非竞赛选手,有兴趣,刷题还是很开心,对代码能力提升帮助巨大。现在也坚持打各种比赛,已经成为生活一部分。[哈哈] 饿了么员工:给老哥点赞,老哥每天一般几道啊? 楼主:@饿了么员工 刷的猛的时候30道 口碑(杭州)信息技术有限公司员工:去哪家了 程序猿.小狮子特尔施特根:老哥你是在职刷的半年么 …
我是个卑微的后端,天天被前端怼接口的设计,前端总是想什么…我是个卑微的后端,天天被前端怼接口的设计,前端总是想什么参数都不传就能得到他想要的数据[吐]楼主:比如一个页面进来第一个接口我给了他一些数据,然后下个接口点提交时我希望他能把上个接口给的参数传回来,他觉得要遍历一遍(list里面)很麻烦,让我自己去查[吐血][吐血] 苏星河:理论上不相信前端数据是对的 楼主:@苏星河 这个参数是做筛选的啊,难道你前端什么参数…
国企,银行,互联网都带呆过,有什么要问我的吗?曹休:字节…国企,银行,互联网都带呆过,有什么要问我的吗?曹休:字节是不是不建议去 硕两年 涨30% 目前在atb 程序猿.桃花仙:先去国企再去互联网的吗 楼主:@曹休 atb?是指百度吗? 楼主:@程序猿.桃花仙 对 曹休:@楼主 重要么 ?透露下字节情况 是不是比较乱和累 而且就给了个1-2 有啥建议么? 程序猿.桃花仙:@楼主 回复楼主:哪家国企,国企跳字节,好跳…
入职华为外包一个月,有什么想了解的通通回复曲灵风:什么价…入职华为外包一个月,有什么想了解的通通回复曲灵风:什么价位的 华山弟子:薪资多少 产品汪.文鸯:多少级别?多少钱? 程序猿.曾柔father:out dog的感觉,还是家的感觉? 程序猿.少林弟子:M 亚信科技(中国)有限公司员工:说说你的feeling 华为技术有限公司员工:老哥开了多少,我看看能倒挂我几倍 她在南方小镇:m 程序猿.蒋琬:机试面试难度如何…