最近在爬虫的路上一去不复返了，感觉特别有意思。本身就是程序员出身，一开始是使用java+Selenium，然后是python+spider，慢慢接触了易采集EasySpider ，今天居然发现了一款java 开发的图形化爬虫软件—Kspider。太牛掰了！ 大数据算法真的是让人无处藏身啊，只要你搜爬虫，然后就会一直给你推送，不需要也得推

算了，废话不多说，介绍一下今天的重磅产品！

介绍

Kspider号称是在线可视化爬虫&WEB自动化测试平台。不需要编写后端代码，可以自定义函数、脚本、定时任务，支持多种插件、扩展方便、高度灵活。

支持xpath和css选择器、支持正则、json提取、Cookies自管理、支持代理、多种数据源、支持多种插件、多种自定义脚本。

github地址：
https://github.com/kkangert/kspider

目前star已经达到1000，热度一直增加。

部署

环境要求：

JDK >= 11
Mysql >= 5.7（使用Spring Data JPA，数据库层面根据业务需求可更改）
Gradle >= 7.0

1. 本地化部署

#后端服务
git clone https://github.com/kkangert/kspider
#配置geadle,数据库地址
#直接启动

#前端服务
git clone https://github.com/kkangert/kspider-ui.git
npm install
npm run dev

2.容器化部署

docker-compose -f deploy/kspider.yml up -d
-- 使用kspider数据库
use kspider;

-- 创建kspider用户
INSERT INTO kspider_user(username, password) VALUES('kangert', '111111');
#浏览器输入 http://127.0.0.1 就可以访问了 

#更新项目
docker-compose -f deploy/kspider.yml pull

快速开始

开始节点、延时节点、备注节点、循环节点、输出节点、子流程节点、sql节点

基本的表达式都支持，比如三元、算术、比较、链式调用

总结

简单尝试之后发现Kspider 还是很强大的，目前只是做了爬虫测试，web自动化测试还没有尝试，有时间了再去搞一下自动化测试。

想比我之前发的文章EasySpider 还是有一些不足的，不过毕竟开源不易，大家还是要多多支持。

喜欢的小伙伴快去star 了