如何使用Python与javascript网页交互

How to interact with a javascript webpage using Python?

本文关键字:网页 交互 javascript 何使用 Python      更新时间:2023-09-26

我是一个完全的网页抓取新手;我有一个小项目,从COCA上抓取一些数据,但我甚至不知道从哪里开始。似乎这个网页是使用一些Javascript构建的,我想知道是否有一些包可以让我与它交互?

下面是我想让我的程序完成的一些任务:

    使用个人账号登录;
  1. 选择一个选项卡(如搜索、图表等,请参见COCA);
  2. 在课本中输入你想要搜索的单词;
  3. 抓取搜索结果

如有任何建议,不胜感激。

PS:理想情况下,一切都应该在后台工作(不会打开浏览器)。

正如一些人告诉你的,你可以使用selenium。我建议你进入你的浏览器的开发工具,并遵循网络请求,使网站,根据页面的行为,也许你可以用python模块request来模拟你看到的请求,使网站,我个人认为这是更简单的。如果不能模拟请求,则使用selenium.

from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(800, 600))
display.start()
browser = webdriver.Firefox()
browser.get('http://www.google.com')
print browser.title
browser.quit()
display.stop()