爬虫学习(3):获取网站cookies
2023-09-14 09:14:35 时间
先贴代码,还是以爬取CSDN的cookie为例子:
import http.cookiejar,urllib.request #导入要用到的cookiejar,request
coikie=http.cookiejar.CookieJar()#声明CookieJar这个对象
hanlder=urllib.request.HTTPCookieProcessor(coikie)#利用HTTPCookieProcessor创建handler
opener=urllib.request.build_opener(hanlder)#最后用build_opener构建opener
response=opener.open('https://www.csdn.net/')#用opener中的open来打开链接,跟urlopen类似效果
for item in coikie:
print("name=%s" % item.name+'\t\t'+'value=%s' %item.value)#打印名称和值
获取cookie方式,就把这个当作固定的方式背下来就好了,写多了就记住了。
最终结果大概如下:
相关文章
- 学习爬虫之Scrapy框架学习(六)–1.直接使用scrapy;使用scrapy管道;使用scrapy的媒体管道类进行猫咪图片存储。媒体管道类学习。自建媒体管道类存储图片
- 排名前20的网页爬虫工具有哪些_在线爬虫
- 有了这个库,这些爬虫都不用亲自写了!
- 用python爬虫爬取网页信息_爬虫python
- python爬虫scrapy框架_python主流爬虫框架
- 一份解决爬虫错误问题指南
- 豆瓣爬虫数据可视化
- Python爬虫之scrapy框架学习
- 爬虫之异步协程学习总结
- 位图:爬虫URL去重最佳方案
- python数据分析实例:利用爬虫获取数据
- Python爬虫学习——简单爬虫+可视化
- Python学习之路 (三)爬虫(二)详解编程语言
- x86 和 ARM 的 Python 爬虫速度对比
- 使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例