爬虫小案例之爬取京东商品链接
观察URL翻页的变化
爬取页面URL如下
base_url='https://search.jd.com/Search?keyword='+keyword
for x in range(1,num+ 1):
url=base_url+'&page=%d'% x
爬取结果如下:
import requests import re headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'} def parse_page(results,text): titles_ret = re.findall(r'<div class="p-name.*?>.*?<em>(.*?)</em>.*?</div>', text, flags=re.DOTALL) titles=[] for title in titles_ret: temp = re.sub("<.*?>", "",title) titles.append(temp.strip()) print('title', titles) prices = re.findall(r'<div class="p-price">.*?<i>(.*?)</i>.*?</div>', text,flags=re.DOTALL) hrefs=re.findall(r'<div class="p-name.*?>.*?<a.*?href="(.*?)".*?>.*?</div>', text, flags=re.DOTALL) for value in zip(titles, prices, hrefs): title, price,href = value results.append([title, price,href]) return results
def getHTMLText(url): '''从网络上获取网页内容''' try: r = requests.get(url, headers=headers,timeout=40) # #如果状态不是200,就会引发HTTPError异常 r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""
def printGoodsList(ilt): tplt = "{:4} {:8} {:40} {:60}" print(tplt.format("序号", "价格", "链接","商品名称")) count = 0 for g in ilt: count = count + 1 print(tplt.format(count, g[1], g[2],g[0]))
def main(): keyword ='女装套装' base_url='https://search.jd.com/Search?keyword='+keyword num=5 list=[] for x in range(1,num+ 1): url=base_url+'&page=%d'% x print(url) text = getHTMLText(url) list = parse_page(list,text) printGoodsList(list) if __name__ == '__main__': main()
股票爬取
相关文章
- Python使用tkinter组件Label显示简单数学公式
- 内网渗透之DCOM横向移动
- 以目标为导向的语义交流的共同语言——一个课程学习框架
- python爬虫前奏【成信笔记】
- HTML 5 File API:文件拖放上传功能
- 教你快速创建 Python 虚拟环境
- pyenv 实现Python多版本自由切换
- 用 Python 对 Excel文件进行批量操作
- Python - 接入钉钉机器人
- Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
- crontab - 解决 mac 下通过 crontab 设置了 Python 脚本的定时任务却无法运行
- [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
- Python科普系列——类与方法(上篇)
- SAP对STO的交货单执行PGI,报错 -Fld selectn for mvmt type 643 acct 400020 differs
- Spring Boot 实现通用 Auth 认证的 4 种方式
- 盘点4种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据
- OushuDB 学习经验分享(三):技术特点
- Java和Python思维方式的不同之处
- Python中日志记录新技能
- 奥比中光Gemini OpenCV—Python使用