> 技术文档 > 3.springboot2使用selenium(java8)_selenium的jdk版本

3.springboot2使用selenium(java8)_selenium的jdk版本


目录

  • 一、前期准备及排坑
    • 0.背景
    • 1.本地环境
    • 2.坑点1(java版本太低)
    • 2.1解决坑点1
  • 二、部署到linux环境
    • 1.历史遗留问题
    • 2.坑点2
    • 2.1解决坑点2
    • 3.坑点3

一、前期准备及排坑

0.背景

由于需要获取某个网站的cookie数据,但是该网站又一定的反爬机制,导致常规的调用java的那些工具类发送get请求获取不到(包括对请求头进行伪装等等)。最后只能模拟浏览器请求来获取。这时就使用到了selenium。

1.本地环境

本地环境:
jdk:1.8
系统环境:win10
springboot2版本:2.1.3.RELEASE
chrome:137.0.7151.69(当时最新版本)
chromedriver:去网站找到对应的版本即可
注意:chrome和chromedriver版本需要保持一致。

2.坑点1(java版本太低)

首先,我先去找了几个ai去实现我这个功能,也说了使用springboot2和java8版本去实现。但是ai回复都是用org.seleniumhq.selenium的4.x版本,导致入坑。经过一顿报错之后,最后提示jdk版本过低,至少需要jdk11才行。但是企业项目不可能随便让你换jkd版本,此时第一个坑遇到了,只能找其他解决方案。

2.1解决坑点1

一顿排查,结论只能降低依赖版本,我这个springboot2版本,其实本身自带一下selenium依赖的,当时我就怀疑,为啥不能直接用原始的3.x版本呢?我去掉引入的selenium相关依赖,使用框架原始的依赖。
原始依赖版本如下:
3.springboot2使用selenium(java8)_selenium的jdk版本

执行过后还是遇到一点小问题,一些依赖没有成功引入。
最后再原来的基础上,又手动加了一个依赖。(理论上应该不需要这个依赖,因为已经有了,可能是当时频繁换依赖本地仓库的问题之类的吧,暂时没再关心过了。)

 org.seleniumhq.selenium selenium-java 3.14.0

除上述依赖外,没有额外引入任何其它依赖了。

再次进行调试,win10环境成功跑通。

测试代码如下

public static void main(String[] args) { String url = \"https://********\"; if (SysEnv.getEnv().equals(Status.EnvFlag.WIN.getIndex())) { System.setProperty(\"webdriver.chrome.driver\", \"A:\\\\software\\\\work\\\\chromedriver-win64\\\\chromedriver.exe\"); } else { System.setProperty(\"webdriver.chrome.driver\", \"/home/chrome/chromedriver/chromedriver\"); } WebDriver driver = null; try { ChromeOptions options = new ChromeOptions(); //options.addArguments(\"--headless\"); // 创建 WebDriver 实例 driver = new ChromeDriver(options); driver.get(url); // 等待一段时间确保页面加载完成(根据实际情况调整等待时间) Thread.sleep(1000 * 5); driver.navigate().refresh(); Thread.sleep(1000 * 5); } catch (Throwable e) { log.error(\"执行异常:\", e); } finally { if (Objects.nonNull(driver)) { log.info(\"执行关闭浏览器\"); driver.quit(); } }}

二、部署到linux环境

1.历史遗留问题

测试环境为centos7、生产为Ubuntuubuntu14.04。天崩开局
先安装官方的Chrome浏览器linux版本,这个需要加速,然后下载安装包进行安装,当然你也可以查查在线安装方式。
3.springboot2使用selenium(java8)_selenium的jdk版本

centos7勉强还能装上,Ubuntu根本装不上。

2.坑点2

在centos7中验证是否安装成功,执行后先是提示缺少依赖,然后装完依赖又提示系统版本低,解决方法是需要升级centos7系统。到这基本就无解了,系统不能直接简单粗暴的升级系统,风险很高。并且运维还测试了新一些的Ubuntu18装Chrome,也能成功,那么还是得升级系统,到这就不考虑下载官方的新版Chrome了。

2.1解决坑点2

网上一顿搜,总结的方案入下
1.降低Chrome版本
2.部署到docker容器中
3.升级linux系统

先从方案1入手,以为是最简单的方案,但是发现,官方不提供历史版本的下载地址,第三方的Chrome维护的linux版本也不全。耗时好久也找不到合适的,就是chromedriver找旧版本很好找。
方案2实现成本也很高,暂时没验证。
方案3不考虑
最终,在机缘巧合下,发现chromium这个东西,ai了一下这个东西。
3.springboot2使用selenium(java8)_selenium的jdk版本
centos7安装命令

yum install -y chromium

查询版本

chromium-browser --version

最终又使用这个Chromium 进行尝试,先在centos7中安装Chromium ,然后在代码中使用这个浏览器。

ChromeOptions options = new ChromeOptions();options.setBinary(\"/usr/bin/chromium-browser\");

在这个过程中你如果在centos7中还遇到了一些其他问题可以尝试加上这些配置

options.addArguments(\"--headless\"); // 无头模式,在Linux环境下通常需要options.addArguments(\"--disable-gpu\");options.addArguments(\"--no-sandbox\"); // 解决Linux环境下的沙箱问题options.addArguments(\"--disable-dev-shm-usage\"); // 解决/dev/shm空间不足问题

还有一个指定用户数据路径的配置

//userDataDir这个是你自己生成的一个随机不重复的文件夹,使用完selenium后可以直接删掉options.addArguments(\"--user-data-dir=\" + userDataDir);

部署到centos7验证,功能可以实现。

3.坑点3

当在Ubuntu环境安装时,发现由于Ubuntu版本太低,安装Chromium 也不行,能安装的Chromium 最高版本65.0.3325.181,此版本没有支持的driver。最终只能又找了一台centos7服务器进行远程调用获取相关参数,算是一个曲线解决方案,暂时没找到更好的解决方式。