zl程序教程

您现在的位置是:首页 >  Python

当前栏目

python采集连续性网页的标题title

2023-04-18 15:44:42 时间

如果网页有连续性比如:baidu.com/1.html......baidu.com/10001.html那么就可以使用本python文件进行采集。

import requests
from bs4 import BeautifulSoup
s=1#网页开始的参数
e=10001#网页结束的参数 for _ in e:
  url = f"http://example.com/{_}.html"
  response = requests.get(url)

  soup = BeautifulSoup(response.text, "html.parser")
  title = soup.title.string

  print(title)