206-selenium

Selenium: 是一个用于自动化 web 浏览器的 python 工具,可以模拟用户的行为,执行 JavaScript 代码,并获取渲染后的 HTML 内容

https://github.com/seleniumhq/selenium

实际使用:request 只能爬取 html,不能获取 api 加载后的信息,selenium 可以获取这部分信息

这个库功能很强大,目前只用在爬虫后获取信息等操作

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
from selenium import webdriver

# 创建一个 WebDriver 实例
driver = webdriver.Chrome()

# 访问网页
driver.get("https://www.example.com")

# 获取渲染后的 HTML 内容
html = driver.page_source

# 关闭 WebDriver
driver.quit()

复杂测试案例

  • launch a new Chrome browser

  • load the Selenium documentation page

  • find the “Webdriver” link

  • click the “WebDriver” link

  • close the browser

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
from selenium import webdriver
from selenium.webdriver.common.by import By


driver = webdriver.Chrome()

driver.get('https://selenium.dev/documentation')
assert 'Selenium' in driver.title

elem = driver.find_element(By.ID, 'm-documentationwebdriver')
elem.click()
assert 'WebDriver' in driver.title

driver.quit()