Skip to content

Commit 5721d38

Browse files
committed
feat(crawler): 优化文件处理流程并升级依赖版本
- 优化爬虫文件下载及处理流程,合并PR-37 - 升级多个依赖至最新版本,包括jsoup、selenium、junit等 - 完善JS动态渲染爬虫(Selenium + ChromeDriver)示例 - 更新ChromeDriver下载版本要求及地址链接 - 版本号从1.5.1-SNAPSHOT升级至1.6.0
1 parent eab1822 commit 5721d38

3 files changed

Lines changed: 6 additions & 3 deletions

File tree

doc/XXL-CRAWLER官方文档.md

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -324,9 +324,11 @@ public abstract int getUrlNum(); | 获取待采集URL数量;
324324
- 2、【升级】代码兼容改造,适配JDK17;
325325
- 3、【升级】多个依赖升级至更新版本,如jsoup、selenium等。
326326

327-
### v1.5.1 Release Notes[2025-12-20]
327+
### v1.6.0 Release Notes[2025-12-20]
328328
- 1、【优化】文件处理优化,优化爬虫文件下载及处理流程;合并PR-37;
329329
- 2、【升级】多个依赖升级至更新版本,如jsoup、selenium、junit等。
330+
- 3、【优化】JS动态渲染爬虫(Selenium + ChromeDriver )示例完善;
331+
330332

331333
### v1.5.2 Release Notes[迭代中]
332334
- 1、【TODO】爬虫扩散规则抽象,支持自定义;包括深度、URL正则、以及自定义编码等;

pom.xml

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -3,7 +3,7 @@
33
<modelVersion>4.0.0</modelVersion>
44
<groupId>com.xuxueli</groupId>
55
<artifactId>xxl-crawler</artifactId>
6-
<version>1.5.1-SNAPSHOT</version>
6+
<version>1.6.0</version>
77
<packaging>jar</packaging>
88

99
<name>xxl-crawler</name>

src/test/java/com/xxl/crawler/test/XxlCrawlerTest05.java

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -39,7 +39,8 @@ public void test() {
3939
/**
4040
* 1、下载驱动 chromedriver ,并解压在磁盘空间下;
4141
*
42-
* 下载地址:version:>=143.0.7499.169
42+
* 下载版本:>=143.0.7499.169
43+
* 下载地址:
4344
* a、https://developer.chrome.com/docs/chromedriver?hl=zh-cn
4445
* b、https://googlechromelabs.github.io/chrome-for-testing/#stable
4546
*/

0 commit comments

Comments
 (0)