python爬虫基础源代码
2023-06-13 09:11:15 时间
大家好,又见面了,我是你们的朋友全栈君。
1.简单爬取百度网页内容:
爬取百度网页源代码:
import requests
r=requests.get("http://www.baidu.com")
r.status_code
r.encoding
r.encoding=r.apparent_encoding
r.text
结果展示:
2.爬取网页的通用代码框架:(这里继续选用百度网页)
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ =="__main__":
url="http://www.baidu.com"
print(getHTMLText(url))
爬取结果展示
3.京东商品页面爬取
京东商品页面爬取
import requests
url="http://item.jd.com/2967929.html"
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失败")
爬取结果展示:
4.亚马逊商品页面的爬取
亚马逊商品爬取源代码
import requests
url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
kv={
'user-agent':'Mozilla/5.0'}
r=requests.get(url,headers=kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失败")
结果展示:
5.百度搜索全代码
百度搜索全代码
import requests
keyword="Python"
try:
kv={
'wd':'keyword'}
r=requests.get("http://www.baidu.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失败!")
结果展示:
6.360搜索全代码
360搜素全代码
import requests
keyword="Python"
try:
kv={
'q':keyword}
r=requests.get("http://www.so.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失败")
结果展示:
7. 图片爬取全代码:
爬取高清图片源代码
import requests
import os
url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root="D://pics//"
path=root+url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件爬取失败")
except:
print("爬取失败")
8.用requests库获取源代码:
获取源代码
import requests
r=requests.get("http://python123.io/ws/demo.html")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")
print(soup.prettify())
soup.title
爬取结果显示:
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/135839.html原文链接:https://javaforall.cn
相关文章
- python开发环境搭建,pycharm安装运行[通俗易懂]
- origin安装嵌入python_python爬虫之git的使用(origin说明)
- Python 万能代码模版:爬虫代码篇「建议收藏」
- python中矩阵的转置_[转]Python中的矩阵转置[通俗易懂]
- python如何使用继承
- 怎么用python打开csv文件_Python文本处理之csv-csv文件怎么打开[通俗易懂]
- python断点调试2021.7.7
- 【说站】python loguru如何记录日志
- python评分卡代码_python爬虫书籍豆瓣评分
- 上手python之序列
- 如何下载安装Python解释器?Python解释器安装教程步骤图解
- python-Python与MongoDB数据库-处理MongoDB查询结果
- Python使用platform库获取系统信息:操作系统信息、硬件信息、python环境信息
- python监控网站运行异常并发送邮件详解编程语言
- Python玩转Redis:提升缓存效率(python使用redis)
- Python NumPy用法
- 为什么用 Java :一个来自 Python 阵营的程序员告诉你
- python改变日志(logging)存放位置的示例
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- 零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
- 零基础写python爬虫之打包生成exe文件
- 零基础写python爬虫之使用Scrapy框架编写爬虫