自己国庆没啥事,写了一个爬虫,利用接口抓取数据,可是响应很慢,有啥解决办法?

jhdrfes:利用 github 客户端抓取数据,可是响应很慢,有啥解决办法呢?用啥代理或者服务器吗?

finely:牢里个个都是人才,讲话又好听,楼主不妨跟他们取取经

locoz:响应慢先尝试挂梯子或者放境外服务器看看能不能提速,还不能的话就是服务器本身的响应慢,在这种情况下你是没有办法提升单个请求的效率的。

cccp2020:大部分响应慢是自身网速和对方服务器导致的,小部分是你爬虫被盯上了或者并发请求严重了,弄的对方服务器响应都卡了

小心坐牢

在 GitHub 上发现了个宝藏项目,超牛的爬虫工具箱

zhc666:https://infospider.vercel.app 研究了一下,不错的爬虫项目,but 爬虫玩得好,牢饭吃到饱,不知道开发者在哪里吃饭 项目非常丰富的,里面包括了 GitHub 、QQ 邮箱、网易邮箱、京东、淘宝、支付宝、移动联通电信、知乎、B 站、网易云音乐、QQ 群以及各大技术论坛与社区的爬虫。 最棒的是所有的爬虫脚本相互独立,可以…

Github 上都有哪些奇葩恶搞项目?

watanuki:真是活久见,逛 Github 发现一个项目用的开源协议竟然是 GPL,当然不是你想的那个 GPL (General Public License),而是 Giant Penis License (GPL) ,更离谱的是这个项目 penis.js,具体内容你们自己看吧。 各位都在 Github 上还见过哪些奇葩恶搞项目?dot2017:来,上…

Python 爬虫 js 分析

MrhuangSTR:一般遇到 js 加密参数的,能通过全局搜索定位到对应的 js 文件,然后就没有然后了,试过网上搜索通过打断点调试分析加密逻辑,但是对于那些 js 反混淆比较厉害的就束手无策,网上搜对应的博客看的也是云里雾里,请问当你遇到这种不知道该如何下手的时候你们是怎么处理的?如何提高自己的 js 分析能力

今晚 GitHub pages 突然无法访问

tricia0127:直接输入域名或者访问 xxx.github.io ,ss 为 pac 自动模式时报错说无法解析 ip,全局模式时 500 Internal Privoxy Errorping 域名无法解析,ping xxx.github.io 能 ping 通,访问 ip 地址显示:404There isn't a GitHub Pages site …

蒲公英要人脸认证了

aabbcc112233: 这 tm,之前已经用身份证照片实名认证过了一次了。 现在竟然要人脸数据,这是太不要脸了吧。 上一次服务器丢数据的事情还历历在目。 拜拜了,老帽儿