【学习笔记】Py网络爬虫学习记录（更新到selenium）_slbvpv

（2）使用Xpath小技巧

我们可以按F12打开检查，选中想要爬取的标签，可以看到源代码

右键源代码，选择【复制Xpath】，即可获取Xpath语句 

我们在编译器粘贴即可获取标签

（3）Xpath实战：爬取猪八戒网

五、selenium 

       Selenium 是一个用于 Web 应用程序测试的强大工具集合，它支持多种编程语言和浏览器，主要用于自动化 Web 浏览器交互。我们可以通过selenium直接提取网页上的各种信息。

1、环境搭建

（1）在Pycharm终端下载selenium

pip install selenium

（2）下载浏览器驱动

我的浏览器是Edge，其他的浏览器驱动可参考Selenium 安装 | 菜鸟教程

在Edge设置中找到自己浏览器的版本

下载对应版本的驱动 Microsoft Edge WebDriver | Microsoft Edge Developer

下载好的驱动压缩包解压并打开，将exe文件放入py解释器对应文件夹

（3）如何查询py解释器位置？

运行下面的代码即可获取

import sysimport osprint(\'当前 Python 解释器路径：\' + sys.executable)print(\'当前 Python 解释器目录：\' + os.path.dirname(sys.executable))

把驱动文件放入解释器文件夹 

（4）验证配置

通过运行下面的代码进行验证

import timefrom selenium import webdriver# edgedriver = webdriver.Edge()driver.get(\"http://www.baidu.com\")time.sleep(10)

如果允许这段代码，自动唤起浏览器，并显示【Edge 正由自动测试软件控制】，即配置成功

2、基本操作

3、窗口之间切换

 在Selenium中，当点击操作触发新窗口或新标签页打开时，WebDriver默认仍会停留在原始窗口。为了在新窗口中操作，必须显式切换窗口上下文

driver.switch_to.window(driver.window_handles[-1])# 用于切换到最新打开的浏览器窗口/标签页的代码

我们爬取国家标准网试一试

from selenium.webdriver.common.by import Byfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport timedriver = webdriver.Edge()driver.get(\"https://openstd.samr.gov.cn/bzgk/gb/\")# 使用显式等待wait = WebDriverWait(driver, 10)# 点击搜索框触发wait.until(EC.presence_of_element_located( (By.XPATH, \'//input[@id=\"searchInput\"]\'))).click()time.sleep(1)# 输入关键词search_box = driver.find_element(By.XPATH,\'//*[@id=\"searchInput\"]\')search_box.clear()search_box.send_keys(\"电梯\")# 模拟点击搜索按钮wait.until( EC.element_to_be_clickable((By.XPATH, \'//*[@id=\"searchBtn\"]\'))).click()# 切换进入到新窗口driver.switch_to.window(driver.window_handles[-1])# 获取标准列表bz_list = driver.find_elements(By.XPATH, \'//*[@id=\"stage\"]/div/div[2]/div/div/div/div[2]/table/tbody[2]/tr\')for bz in bz_list: bzh = bz.find_element(By.XPATH,\'./td[2]/a\').text print(f\"标准号：{bzh}\\n\") try: cb = bz.find_element(By.XPATH,\'./td[3]/span\').text except : cb = \"否\" print(f\"是否采标？：{cb}\") name = bz.find_element(By.XPATH,\'./td[4]/a\').text print(f\"标准名：{name}\") lb = bz.find_element(By.XPATH,\'./td[5]\').text print(f\"类别：{lb}\") zt = bz.find_element(By.XPATH,\'./td[6]/span\').text print(f\"状态：{zt}\") fb_date = bz.find_element(By.XPATH,\'./td[7]\').text print(f\"发布日期：{fb_date}\") ss_date = bz.find_element(By.XPATH,\'./td[8]\').text print(f\"实施日期：{ss_date}\") print(\"----------------------------------------\\n\")time.sleep(3)driver.quit()

爬取成功

4、无头浏览器 

       无头浏览器像一个看不见的机器人，它能帮你做所有电脑上的网页操作（比如打开网页、点按钮、填表格、抓数据），但全程没有浏览器窗口弹出，甚至看不到它在动，但它确实在后台默默完成了所有任务，适合自动化任务。

（1）无头浏览器格式

# 设置无头浏览器的配置opt = Options()opt.add_argument(\"--headless\")driver = webdriver.Edge(options=opt)driver.get(\"https://www.endata.com.cn/BoxOffice/BO/Year/index.html\")

 这样设置后，爬取数据时浏览器就不会弹出来，而是在后台自动运行

（2）下拉列表爬取方式

       首先用xpath定位到下拉列表的标签，接着利用Select对下拉列表进行包装，for循环遍历选项，获取数据。

Selenium 提供了三种选择下拉框选项的方法 

方法 示例 适用场景

select_by_index(i)

sel.select_by_index(1)

按序号选择（从0开始）

select_by_value(\"value\")

sel.select_by_value(\"2021\")

按  的 value属性选择

select_by_visible_text(\"text\")

sel.select_by_visible_text(\"2021年\")

按选项的可见文本选择

爬取代码如下

from selenium.webdriver.common.by import Byfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support.select import Selectfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.edge.options import Optionsimport time# 设置无头浏览器的配置opt = Options()opt.add_argument(\"--headless\")driver = webdriver.Edge(options=opt)driver.get(\"https://www.endata.com.cn/BoxOffice/BO/Year/index.html\")# 定位到下拉列表sel_el = driver.find_element(By.XPATH,\'//*[@id=\"OptionDate\"]\')# 对元素进行包装，包装成下拉列表sel = Select(sel_el)# 让浏览器遍历选项for i in range(len(sel.options)): sel.select_by_index(i) # 按照索引进行切换 time.sleep(1) table = driver.find_element(By.XPATH, \'//*[@id=\"TableList\"]/table\') print(table.text) print(\"---------------------------------------------------------\")print(\"运行完毕\")driver.quit()