SpringBoot 入门爬虫项目实战
一、介绍
本项目作为SpringBoot入门实战项目,主要实现异步任务定时爬取百思不得姐数据,并将数据解析入库,提供给前端页面展示。前端采用LayUI相关组件,界面算美观。项目代码没有过度封装(注释详细)。对于刚入门SpringBoot的童鞋,上手这个实战项目还是不错的哈~~ 另外,项目还整合了第三方授权登录(QQ和微信),感兴趣的也可以看看。
二、技术选型
2.1、技术组合
- 数据库:Mysql
- 技术组合:SpringBoot、SpringMvc、Mybatis、PageHelper、Thymeleaf
- 前端框架:Layui
- Lombok、okHttp、jwt、gson序列化与反序列化、ognl(对象图导航,简化json对象解析)
- 其它:QQ登录、微信扫码登录
三、开发环境
3.1、工具与环境
- IDEA 2018.3.5
- Maven 3
- JDK8
- Mysql 5.7+
- Win10 64位系统
四、项目演示
4.1、相关页面截图
注册登录页,管理页面,包括查询、删除、浏览
预览页面,基本上将解析的数据,如视频、图片、动态图、文字都展示出来
五、启动
main 方法运行
1. 主配置文件:application.properties,可以选择生效的配置文件(dev,pro),先导入数据库脚本,然后配置你本地数据库的账户密码
2. 其它配置:config.properties,这个文件主要配置QQ、微信授权登录相关。若使用,需要修改为你相关的信息
3. com.xmlvhy.crawler.CrawlerBsbdjApplication:主函数入口,点击运行
4. 访问:http://localhost:8081/crawler
5. 账户密码:admin/123456
tips:项目中使用了lombok插件,IDE得装lombok插件
备注:
- 项目中用的接口,使用Charles 抓包工具抓取分析获取,接口可能会出现用不了的情况,需要自己抓取分析。但是至今,这几个接口还是可以正常爬取内容的。
- crawler-nodata.sql,数据库脚本是没有任何数据的,因为当前本地数据有几百M大小就不上传了,需要的前往我的 个人博客 留言,打包发给您!
项目源码下载
特别说明
本项目涉及到的内容以及数据仅供学习交流使用,不得用以其它非法用途!!!
本文作者: AI码真香
本文标题: SpringBoot 入门爬虫项目实战
本文网址: https://www.xmlvhy.com/article/81.html
版权说明: 自由转载-非商用-非衍生-保持署名 署名-非商业性使用4.0 国际 (CC BY-NC 4.0)
相关文章
- Spring学习笔记(十二)——SpringBoot基础和快速入门
- SpringBoot的启动流程_springboot启动卡住了
- springboot项目启动原理_常见的科学原理
- springboot项目里面,发送http请求的get方法,post方法,ssl方法的工具类
- 面试 – 如何编写一个SpringBoot-Starter?
- springboot mysql事物_SpringBoot事务详细简介[通俗易懂]
- SpringBoot 中如何使用SwaggerAPI接口文档?
- SpringBoot 整合ShardingJdbc 实现分库分表 缓解单表压力 最强实战
- SpringBoot和SpringCloudStream整合RocketMQ
- SpringBoot之SpringApplication初始化
- 十年老架构教你如何开启第一个springboot项目,不想秃头就别学了
- springboot详细讲解_Springboot项目
- springboot多环境配置文件_Springboot教程
- springboot到底是什么_Springboot注解
- 【SpringBoot】19、SpringBoot中实现启动任务
- 基础入门-SpringBoot-HelloWorld
- SpringBoot之简单部署
- 【Java系列】IDEA一键部署SpringBoot应用
- 【SpringBoot】自动装配原理(简单易懂)
- SpringBoot事件监听机制及观察者/发布订阅模式详解
- SpringBoot(一)走进Springboot的世界详解编程语言
- SpringBoot 超时设置详解编程语言