我爬得两个网站今天都把我封杀了,晴天霹雳,当初费了牛劲才…

我爬得两个网站今天都把我封杀了,晴天霹雳,当初费了牛劲才破解的,结果现在被专门盯上了。这可是全公司的命脉啊,如果搞不定公司就要倒闭。早上开会老大说得特别难听。晚上去望京接媳妇下班,路过我抓的第一个公司,去另一个媳妇上班的公司,瞬间感觉他们公司下班出来的人都做反爬,都在瞪着牛眼看我

程序猿.鹿杖客:悠着点爬,别爬太狠,别人都有数据分析的

程序猿.甄士隐:说实话,我是很悠着点,我每天都给别人强调,咱们得悠着点,但是每次都是我破解了,把思路和过程写出来,别人去开发代码了,他们总觉得没事,今天果然出问题了。

美团点评员工:买代理?

程序猿.甄士隐:没啥大用。以后不想做爬虫了,整天代码没有写多少,尽在那里瞎分析了。分析出来了,还轮不到自己做,都给别人做了

程序猿.花名审核未通过:所以我跑路了[吐血]

想有钱又漂亮:你们啥公司啊,专门靠爬别人家网站活着?

程序猿.甄士隐:说真的,还是做后台开发,或者别的,至少还能知道最终的样子,爬虫说真的,没有固定的思路,而且需要公司的大量的投入。否则没法做。而且其实爬虫坑特别多

程序猿.甄士隐:肯定是做数据分析的。哪能只靠爬呢?而且其实这两个公司也在爬我们的数据,我们都发现了。

程序猿.花名审核未通过:楼主有什么避免被反爬的策略?

程序猿.甄士隐:其实理论上来说,避免反爬是不可能的,只看对方要不要搞你了,就像我抓得那个网站,那部分数据有价值,直接搞个登录才能取,这时候想搞你,简直太简单了。

滴滴出行员工:互相为难的时候到了

程序猿.霍都:搞个登录就能反爬了?

阿里巴巴(中国)网络技术有限公司员工:同时接两个媳妇啊

段延庆:另一个媳妇?

程序猿.甄士隐:媳妇在这两个公司中的其中一个

程序猿.甄士隐:媳妇在这两个公司中的一个

程序猿.甄士隐:账号实名制,你要买账号都买不到,

程序猿.甄士隐:是呀

低压锅蒂亚戈:哈哈

程序猿.甄士隐:[吐血][吐血][吐血][吐血][吐血]

想有钱又漂亮:账号实名制,买账号,还是能买到的[坏笑]

程序猿.韦一笑:是不是你?我这边接口最近一直被人爬,我做了限流策略,昨天停了。快说是不是你。

程序猿.武当弟子:做下ip流量分析,还有把短时间内请求过于频繁,还有周期性的请求直接就放黑名单了

华雄:发现爬虫就吐出来假数据,让他爬,哈哈[坏笑]

项目管理.独孤求败:做不出来就倒闭 那你是cto

程序猿.莫声谷:内容有点复杂啊!好乱

镜子大师:注意保护肾啊 两媳妇你着得住嘛

程序猿.司马yi:哈哈哈哈哈

史进:我们也在爬数据,看到这个帖子,很慌[笑哭]

程序猿.补刀:做爬虫的真得小心了,前几天看到文章,一个做爬虫的被对方告了,钱没收了还被拘留了几天。这事其实很可怕的。

数美时代科技员工:m

程序猿.甄士隐:就是爬两个公司的数据,我媳妇在其中一个公司上班,晚上正好路过这两个公司,感觉他们那里出来的人,都以异样的眼光看着我,都在防我呢。

程序猿.甄士隐:是呀,以后不想做爬虫了,想做后台或者大数据开发

程序猿.甄士隐:其实防爬虫并不难做。

程序猿.甄士隐:你是哪个公司的?

宋兵乙:让你们老大去死 让你们公司倒闭去吧 赶紧跳槽

丁春秋:M

程序猿.风波恶:爬虫死路一条

晁盖:便宜公司占,锅你来背?

程序猿.甄士隐:爬虫不好做啊

程序猿.甄士隐:就是给公司干活啊

程序猿.风波恶:这个岗位根本没前途早点转

程序猿.甄士隐:是啊,越做越崩溃

岳老三:轮着换ip和账号爬

小米员工:你这根本就不叫问题啊 买代理就能解决的问题

艾森豪威尔:当初这个技术方案就不行,要登录的那种,想封你太容易了

程序猿.二手东:搞代理

程序猿.风波恶:代理ip在哪买哈

程序猿.甄士隐:要登录的抓起来,崩溃

程序猿.甄士隐:阿布云

阿里巴巴(中国)网络技术有限公司员工:同时接两个媳妇啊

程序猿.鹿杖客:悠着点爬,别爬太狠,别人都有数据分析的

程序猿.甄士隐:没啥大用。以后不想做爬虫了,整天代码没有写多少,尽在那里瞎分析了。分析出来了,还轮不到自己做,都给别人做了

程序猿.甄士隐:说实话,我是很悠着点,我每天都给别人强调,咱们得悠着点,但是每次都是我破解了,把思路和过程写出来,别人去开发代码了,他们总觉得没事,今天果然出问题了。

程序猿.雷横:不用猜都知道楼主在天眼查 启信宝企查查其中的一家?……

程序猿.甄士隐:说真的,还是做后台开发,或者别的,至少还能知道最终的样子,爬虫说真的,没有固定的思路,而且需要公司的大量的投入。否则没法做。而且其实爬虫坑特别多

程序猿.甄士隐:肯定是做数据分析的。哪能只靠爬呢?而且其实这两个公司也在爬我们的数据,我们都发现了。

晁盖:便宜公司占,锅你来背?

程序猿.左脚袜大盗:讲道理做爬虫真的是低端,此低端指的是性价比,辛苦与背锅是家常便饭。爬虫比一般系统的开发难度与维护成本大多了,尤其是面对反爬虫更是蛋疼,但是这些辛酸泪外人并不知道,别人只会感觉你开发慢、系统不稳定,典型的背锅位。