Python采集本地二手房,一键知晓上万房源信息
Python 信息 本地 一键 采集 知晓
2023-09-14 09:05:34 时间
前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章
所以今天教大家用Python来采集本地房源数据,帮助大家筛选好房。
话不多说,让我们开始愉快的旅程吧~
更多精彩内容、资源皆可点击文章下方名片获取此处跳转
本文涉及知识点
-
采集基本流程
-
requests 发送请求
-
parsel 解析数据
-
csv 保存数据
第三方模块
-
requests >>> pip install requests 数据请求
-
parsel >>> pip install parsel 解析模块 (提取数据)
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
开发环境
Python 3.8
Pycharm
本文思路
一.、思路分析
找到数据来源
二、代码实现
发送请求 & 获取数据
解析数据 (提取你想要的数据)
保存数据
代码展示
使用的模块
import requests
import parsel
import csv
发送请求 & 获取数据
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}
response = requests.get(url, headers=headers, proxies=get_proxies())
html_data = response.text
解析数据
selector = parsel.Selector(html_data)
divs = selector.xpath("//div[@class='property']")
for div in divs:
# 单个房源去提取
title = div.xpath(".//div[@class='property-content']//h3/text()").get().strip()
house_type = ''.join(div.xpath(".//div[@class='property-content-info']//span/text()").getall()).strip()
area = div.xpath(".//div[@class='property-content-info']/p[2]/text()").get().strip()
direction = div.xpath(".//div[@class='property-content-info']/p[3]/text()").get().strip()
floor = div.xpath(".//div[@class='property-content-info']/p[4]/text()").get("").strip()
year = div.xpath(".//div[@class='property-content-info']/p[5]/text()").get("").strip()
price_total = ''.join(div.xpath(".//div[@class='property-price']/p[1]/span/text()").getall()).strip()
price_average = div.xpath(".//div[@class='property-price']/p[2]/text()").get().strip()
print(title, house_type, area, direction, floor, year, price_total, price_average)
保存数据
csv_writer.writerow([title, house_type, area, direction, floor, year, price_total, price_average])
尾语 💝
好了,今天的分享就差不多到这里了!
完整代码、更多资源、疑惑解答直接点击下方名片自取即可。
对下一篇大家想看什么,可在评论区留言哦!看到我会更新哒(ง •_•)ง
喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!
相关文章
- 【python教程入门学习】PyCharm下载和安装教程(包含配置Python解释器)
- 如何为pycharm配置Python解释器_pycharm选择python解释器
- python和pycharm以及anaconda的安装顺序_简述信息消息信号三者的区别与联系
- 自动编码器重建图像及Python实现
- Python学习:基础练习题
- python实现各大视频网站电影下载
- python海龟作图红绿灯_海龟作图—用Python绘图
- 【说站】Python kmeans聚类的使用
- PyCharm找不到解释器no python interpreter configured[通俗易懂]
- 速查!Python某漏洞15年未修,影响35万余个项目
- API接口测试-使用python发送HTTP请求(Requests)
- 【测试开发】python系列教程: 标准数据类型(四)Tuple(元组)
- 新手学Python可行吗?需要什么基础?(新手学python可行吗?需要什么基础)
- python-Python与SQLite数据库-使用Python执行SQLite查询(二)
- Connecting to MSSQL with Python: A Comprehensive Guide for Beginners(python连接mssql)
- Python操作MySQL数据库的必备模块mysqlpython(mysql_python)
- python文件和路径操作函数小结
- python搭建简易服务器分析与实现