标签：scrapy-splash
-
Scrapy选择器不适用于飞溅响应 - python
我正在尝试使用Scrapy抓取一些动态内容。我已经成功设置了Splash并与其一起工作。但是，以下蜘蛛网的选择器将产生空结果: # -*- coding: utf-8 -*- import scrapy from scrapy.selector import Selector from scrapy_splash import SplashRequest c […]
-
Scrapy-splash-lua_script中的splash:go(url)是否再次执行GET请求？ - javascript
我是Scrapy-splash的新手，我正在尝试抓取一个带有AJAX分页的表格的懒惰datatable。 因此，我需要加载网站，等待执行JS，获取表格的html，然后在分页中单击“下一步”按钮。 我的方法可行，但恐怕我要两次访问该网站。 第一次生成SplashRequest时，然后执行lua_script时。 是真的吗如果是，如何使其仅执行一次请求？ cla […]
-
启动画面不会显示整个页面 - javascript
我首先使用以下命令在docker上运行splash docker run -p 8050:8050 scrapinghub/splash 当我转到端口8050并尝试渲染时： http://warframe.market/ 它不会渲染身体。更具体地说，在<section id="warframe_react"><secti […]
-
刮擦，飞溅，lua，按钮单击 - python
我是这里所有乐器的新手。我的目标是从许多页面中提取所有URL，这些页面通过“ Weiter” /“ next”按钮（多个URL）连接得更多。我决定尝试一下。该页面是动态生成的。然后，我了解到我还需要其他仪器，并为此安装了Splash。安装正在运行。我根据教程设置了安装。然后，我通过在搜索输入字段中发送“返回”来设法获得第一页。使用可以给我所需结果的浏览器。我 […]