您现在的位置是：首页 > Python

当前栏目

Python之urllib爬虫

Python 数据

2023-03-02 11:47:54 时间

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据

#引入urllib
    import urllib
    import urllib.request
    from urllib.request import Request
    from urllib import parse
    #爬虫地址
    url = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10'
    #POST请求数据
    submit_data = {
    	'start':20,
    	'tags':'喜剧'
    }
    #请求数据编码，注意：这儿需要加上UTF8，否则会报下面的错误
    data = urllib.parse.urlencode(submit_data).encode(encoding='UTF8')
    headers = {
    	"Accept" : "application/json, text/plain, */*",
        "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.7 Safari/537.36",
        "Accept-Language" : "zh-CN,zh;q=0.8"
    }
    #开始请求
    request = urllib.request.Request(url,data,headers)
    #获取请求结果
    content = urllib.request.urlopen(request).read()
    #将结果写入文档
    with open('movies.json','wb+') as f:
    	f.write(content)

爬取结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3MDk4Nw_size_16_color_FFFFFF_t_70]  
错误：  
![在这里插入图片描述][20190118160019959.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3MDk4Nw_size_16_color_FFFFFF_t_70]: /images/20220325/33dbde8f36384e889a7adaefbfbfe056.png
[20190118160019959.png]: /images/20220325/5935406f28c148bdb7533b82c3a963ee.png

猜你喜欢

最长无重复子串
写技术博客的一些心得分享
Java 多线程（七）：线程池
Java 多线程（五）：锁（三）
Java 多线程（四）：锁（二）
Java 多线程（三）：锁（一）
Java 多线程（二）：并发编程的三大特性
线性时间非比较类排序
Java 多线程（一）：基础
合并k个已排序的链表
HDFS 高可用分布式环境搭建
合并两个有序数组
连续子数组的最大和
HDFS 分布式环境搭建
容器盛水问题
大数加法
HDFS 伪分布式环境搭建
设计LRU缓存结构
两数之和
使用单调栈来解决的一些问题

zl程序教程

当前栏目

Python之urllib爬虫

相关文章