手把手带你入门Python爬虫(五、CSDN论坛之模型设计)
2023-09-11 14:19:17 时间
CSDN论坛之模型设计
一、CSDN论坛分析
论坛主题列表页:
详情页:
博主个人详情页:
我们根据以上页面分析我们需要抓取的数据,然后设计模型。
二、模型设计与数据表设计
from peewee import *
db = MySQLDatabase("py_spider", host="localhost", port=3307, user="root", password="root")
class BaseModel(Model):
class Meta:
database = db
class Topic(BaseModel):
title = CharField() # 标题
content = TextField(default="") # 内容
id = IntegerField(primary_key=True) # id
author = CharField() # 作者
create_time = DateTimeField() # 创建时间
answer_nums = IntegerField(default=0) # 回复数量
click_nums = IntegerField(default=0) # 查看数量
parised_nums = IntegerField(default=0) # 点赞数量
jtl = FloatField(default=0.0) # 结帖率
score = IntegerField(default=0) # 赏分
status = CharField() # 状态
class Answer(BaseModel):
topic_id = IntegerField()
author = CharField()
content = TextField(default="")
create_time = DateTimeField()
parised_nums = IntegerField(default=0) # 点赞数量
class Author(BaseModel):
name = CharField()
id = IntegerField(primary_key=True)
click_nums = IntegerField(default=0) # 访问数
original_nums = IntegerField(default=0) # 原创数
forward_nums = IntegerField(default=0) # 转发数
rate = IntegerField(default=-1) # 排名
answer_nums = IntegerField(default=0) # 评论数
parised_nums = IntegerField(default=0) # 获赞数
desc = TextField(null=True) # 个人描述签名
industry = CharField(null=True) # 行业
location = CharField(null=True) # 所在地区
follower_nums = IntegerField(default=0) # 粉丝数
following_nums = IntegerField(default=0) # 关注数
if __name__ == "__main__":
db.create_tables([Topic, Answer, Author])
运行后生成的数据表:
相关文章
- Python爬虫从入门到精通——基本库re的使用:正则表达式
- Python - 网络爬虫(Web Scraping)
- 小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础(七)对接 Selenium 实战
- 小白学 Python 爬虫(36):爬虫框架 Scrapy 入门基础(四) Downloader Middleware
- python-爬虫
- 图解爬虫,用几个最简单的例子带你入门Python爬虫
- Python: 爬虫入门-python爬虫入门教程(非常详细)
- 很实用Python爬虫入门实例,建议收藏!!
- 小白如何入门 Python 爬虫?
- 〖Python 数据库开发实战 - Python与MySQL交互篇⑩〗- 创建新闻管理系统的具体python文件
- 通过哪吒动漫豆瓣影评,带你分析python爬虫与BeautifulSoup快速入门
- python爬虫面试总结
- python爬虫:scrapy框架Scrapy类与子类CrawlSpider
- Python爬虫:浏览器请求头参数RequestHeaders
- Python: 爬虫入门
- Python爬虫入门之爬虫解析提取数据的四种方法
- python爬虫从入门到放弃(四)之 Requests库的基本使用(转)
- Python: 爬虫入门-python爬虫入门教程(非常详细)
- 如何入门 Python 爬虫?详细教程在这里
- 第一讲:最能入门的爬虫教程(Python实现)
- 从零开始,学会Python爬虫不再难!!! -- (12)Python自动化解放你的双手丨蓄力计划
- Python爬虫入门之爬虫解析提取数据的四种方法