求教类似天眼查,企查查等爬虫公司,他们的数据源是哪里来的?商业爬虫项目有哪些挑战?

cnscorpions:一直有一个 idea,想要开发一个类似天眼查的项目,不知道他们的数据源怎么来的?商业爬虫项目的挑战有哪些?

有了解相关情况老哥,可以报料下,爬虫经验比较丰富的老哥也说下哈

locoz:天眼查、企查查相关问题可以先看看我在知乎上的这个回答: https://www.zhihu.com/answer/1310865497

商业爬虫项目的挑战…其实就和普通商业开发项目一样,有钱为所欲为、没钱全是挑战。

snw:国家企业信用信息公示系统 www.gsxt.gov.cn
还有各地的税务系统、法律文书系统等等。

至于挑战,除了技术之外,你需要联系好合作或者找到靠山,不然爬着爬着你自己就爬进去了。

cnscorpions:@locoz @snw 谢谢两位老哥,我看下

我有一个梦想

zxCoder:我想像很多技(chui)术(shui)群的那些大佬一样,不管是什么技术,什么方向,什么问题都会,上至应用开发,下至系统底层。 每次不管问什么问题,都能学到很多没学过的名词术语,真不知道是怎么才能学到这样的水平的

请求有并发的时候,该怎么处理数据

rqxiao:系统在接受第三方回调的时候, 第三方如果没有收到成功响应,每隔几秒回调,每次会同时发 2 次请求 但系统又要保证回调记录里同一个订单只要收到过回调记录就不记录剩下的回调了 那要确保间隔很短时间内,只认第一次回调的数据,请教下这个是要在程序里做处理,还是直接在数据库做处理 后台是 springboot 数据库是 mysql 当收到通知进行处理时,…

项目黄了要调岗

crazjieb:项目黄了要调岗, 但是不想要新环境, 新同事, 新项目, 但却是旧工资. 请问这个时节工作好找么? PHPcccp2020:项目黄了调岗不调薪,不调工种就接受吧,不接受估计是裁员或者找你毛病开除了 sisi666:php 现在找工作,要会前端 vue,小程序,(后端要兼顾 golang,mq, k8s ), 大多公司的需求都是 IM 系统,…

接到这么个需求,请问有实现的技术可能吗?

aboutcxj:https://i.postimg.cc/d15SRd1s/STIIITCH-2020-09-19-09-17-46.pngxiangyuecn:接到这么个需求,请问这点钱钱够吗? wysnylc:这得 hook 住整个 windows 吧(猜测 murmur:( 1 )有点好奇这啥需求,点一下所有字体都跟着变,而且不是 ui 字体是创作内…

前端转后端的话需要恶补哪些知识?

zzzrf:做了两年前端了,因为项目组后端这块比较缺人,领导让我转后端开发,学习后端开发,感觉现在公司比较看中后端,后端比较吃香,有点纠结…… 前端转后端难不难,需要恶补哪些知识。。 求解looking0truth:emmm 思维方式?因为公司项目转的那就看公司技术栈呗 whyrookie:羡慕楼主可以直接转后端 seamonster:你们公司现在后端用的什…