基于Java的Web登录以进行页面抓取 - javascript

我正在尝试为sbrodds.com编写一个抓取引擎。不幸的是,我需要登录才能获取正确的数据。我研究了机械化和硒化处理,但可悲的是,我在python和web抓取方面很差,并且不了解如何使用它们。

这是登录框的“ Chrome检查元素”页面的屏幕截图:
基于Java的Web登录以进行页面抓取 - javascript

有人可以提出建议,建议我使用哪种技术在Python代码中执行登录到此站点的操作?目标是最终将登录页面的数据加载到BeautifulSoup中。

参考方案

通常只需请求就足够了...为什么需要基于JavaScript的?

import requests
r = requests.Session()
r.post("http://sbrodds.com/login",{"username":"bob","password":"sagat"})

content = r.get("http://sbrodds.com/some_page").text

至少类似这样的东西...(您可能还需要一个csrf_token或其他东西)

JavaScript中的字符串评估函数 - javascript

            JavaScript中是否有任何内置函数,例如Python中的eval内置函数?注意:eval函数将方程式作为字符串并返回结果。例如,假设变量x为2,则eval("2x+5")返回9。 参考方案 是的,JavaScript中也有eval函数。此外,该声明应有效用于评估,即eval("2*x+5"…

Javascript + Python:将数组发送到Python脚本,将结果返回给Javascript - javascript

我想建立一个网页,该网页通过Javascript API进行许多Facebook状态更新,并将它们分类到一个数组中。然后,我想将此数组发送到Python脚本,该脚本可以专门使用NLTK.进行语言分析。在Python中获得合适的结果后,我想将结果从该脚本返回到Javascript,以显示给用户等。听起来可能吗? javascript大神给出的解决方案 是的,完…

Javascript语言中是否存在python式占位符? - javascript

我有Python的经验,但是对Java语言来说还比较陌生。我知道在Python中,如果我想将一个变量替换为一个字符串(例如),我可以这样做:s = "%s:%s" % (mins, secs)但是,我找不到在Javascript中替换值的等效方法。是否存在类似的问题,还是我会以错误的方式处理? 参考方案 在ES5中不可用,但在ES6中可用…

Javascript-从当前网址中删除查询字符串 - javascript

单击提交按钮后,我需要从网址中删除查询字符串值。我可以用jQuery做到这一点吗?当前网址:siteUrl/page.php?key=value 页面提交后:siteUrl/page.php 实际上,我已经从另一个带有查询字符串的页面着陆到当前页面。我需要在页面首次加载时查询字符串值以预填充一些详细信息。但是,一旦我提交了表格,我就需要删除查询字符串值。我已…

Python-spidermonkey:如何获取行号。错误 - javascript

如何检索发生错误的行号?在下一个脚本中,该行输出(作为最后一次加注的结果),但是没有行号。在JS错误对象中。from spidermonkey import Runtime, JSError runtime = Runtime() context = runtime.new_context() try: context.execute( "func…