您现在的位置是：首页 > Python

当前栏目

python3 爬虫-入门

Python3 文件下载数据入门

2023-03-02 10:58:25 时间

# 1.最简单的爬虫 #

爬百度的首页，并打印数据：

# -*- coding: utf-8 -*-
    # 导入库
    from urllib import request
    # 请求
    response = request.urlopen("http://www.baidu.com/")
    # 解码
    content = response.read().decode('utf-8')
    # 输出
    print(content)

# 2.增加搜索参数 #

在百度中搜索“中国”：

import urllib.request
    
    data = {}
    # word=中国
    data['word'] = '中国'
    
    url_values = urllib.parse.urlencode(data)
    url = "http://www.baidu.com/s?"
    # 组合搜索的get请求
    full_url = url + url_values
    # 请求
    data = urllib.request.urlopen(full_url).read()
    # 解码
    data = data.decode('UTF-8')
    # 打印
    print(data)

# 3.爬出图片地址 #

爬出豆瓣的页面，然后，正则匹配出图片地址。

# -*- coding: UTF-8 -*-
    import urllib.request
    import re
    import ssl
    
    ssl._create_default_https_context = ssl._create_unverified_context
    
    
    # 获取html数据
    def getHtml(url):
        page = urllib.request.urlopen(url)
        html_data = page.read()
        return html_data
    
    
    # 获取图片列表
    def getImg(html_data):
        # src=" 开头 .jpg > 结尾
        reg = r'src="(.+?\.jpg|.png)">'
        image_reg = re.compile(reg)
        image_list = re.findall(image_reg, html_data)
        return image_list
    
    html = getHtml('https://site.douban.com/120100/')
    
    html_str = html.decode('utf-8')
    # 输出图片列表
    print(getImg(html_str))

## 说明： ##

1.现在的网页基本都是https所以要加ssl模块：

import ssl ssl._create_default_https_context = ssl._create_unverified_context

# 4.下载图片 #

# coding=utf-8
    
    import urllib
    import urllib.request
    import re
    import ssl
    
    ssl._create_default_https_context = ssl._create_unverified_context
    
    
    def getHtml(url):
        page = urllib.request.urlopen(url)
        html_data = page.read()
        return html_data
    
    
    def getImg(html_data):
        # src=" 开头 .jpg "> 结尾
        reg = r'src="(.+?\.jpg|.png)">'
        img_reg = re.compile(reg)
        img_list = re.findall(img_reg, html_data)
        return img_list
    
    
    def cbk(a, b, c):
        """ 回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 """
        per = 100.0 * a * b / c
        if per > 100:
            per = 100
        print('%.2f%%' % per)
    
    
    def downloadImg(img_list):
        x = 0
        for img_url in img_list:
            try:
                print('===== download =====')
                print('download image %s' % x)
                # python3 不能用原来的 urllib.urlretrieve 而要用 urllib.request.urlretrieve
                urllib.request.urlretrieve(img_url, 'data/%s.jpg' % x, cbk)
            except urllib.request.HTTPError as e:
                print('HTTPError:', e.code)
                print('HTTPError:', e.reason)
                continue
            except urllib.request.URLError as e:
                print('URLError:', e.reason)
                continue
        x += 1
    
    html = getHtml('https://site.douban.com/120100/')
    html_str = html.decode('utf-8')
    
    # 正则匹配 查找图片
    image_list = getImg(html_str)
    print(image_list)
    
    # 下载图片
    downloadImg(image_list)

## 说明： ##

1.使用urllib.request.urlretrieve 根据地址下载图片.

2.输出下载进度的cbk函数。

def cbk(a, b, c):
        """ 回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 """
        per = 100.0 * a * b / c
        if per > 100:
            per = 100
        print('%.2f%%' % per)
    
    
    # python3 不能用原来的 urllib.urlretrieve 而要用 urllib.request.urlretrieve
    urllib.request.urlretrieve(img_url, 'data/%s.jpg' % x, cbk)

# 5.升级正则匹配 #

使用Beautifulsoup4, 升级正则匹配。

# coding=utf-8
    # beautifulsoup4 的使用
    import urllib
    import urllib.request
    import re
    from bs4 import BeautifulSoup
    import ssl
    
    ssl._create_default_https_context = ssl._create_unverified_context
    
    
    def getHtml(url):
        page = urllib.request.urlopen(url)
        html_data = page.read()
        return html_data
    
    
    def getImg(html_data):
        # src=" 开头 .jpg "> 结尾
        reg = r'src="(.+?\.jpg|.png)">'
        img_reg = re.compile(reg)
        img_list = re.findall(img_reg, html_data)
        return img_list
    
    
    def cbk(a, b, c):
        """ 回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 """
        per = 100.0 * a * b / c
        if per > 100:
            per = 100
        print('%.2f%%' % per)
    
    
    def downloadImg(img_list):
        x = 0
        for img_url in img_list:
            try:
                print('===== download =====')
                print('download image %s' % x)
                # python3 不能用原来的 urllib.urlretrieve 而要用 urllib.request.urlretrieve
                urllib.request.urlretrieve(img_url, 'data/%s.jpg' % x, cbk)
            except urllib.request.HTTPError as e:
                print('HTTPError:', e.code)
                print('HTTPError:', e.reason)
                continue
            except urllib.request.URLError as e:
                print('URLError:', e.reason)
                continue
        x += 1
    
    
    def printImgUrlFromHtml(html_str):
        soup = BeautifulSoup(html_str, 'html.parser')
        img_tag_list = soup.find_all('img')
        x = 0
        for img_tag in img_tag_list:
            img_url = img_tag.get('src')
            print('image[%s]:' % x, img_url)
            x += 1
    
    
    html = getHtml('https://site.douban.com/120100/')
    html_str = html.decode('utf-8')
    
    # 正则匹配 查找图片
    image_list = getImg(html_str)
    
    # 打印图片地址
    printImgUrlFromHtml(html_str)

## 说明： ##

1.使用BeautifulSoup4，将html页面解析成html Dom节点，然后查找想要的元素。

soup = BeautifulSoup(html_str, 'html.parser')
    img_tag_list = soup.find_all('img')

# 6.将爬到的数据保存到文件 #

将爬到的数据，解析完成后，存入txt文件中。

# coding=utf-8
    # 保存到txt文件中
    import urllib
    import urllib.request
    import re
    from bs4 import BeautifulSoup
    import ssl
    
    ssl._create_default_https_context = ssl._create_unverified_context
    
    
    def getHtml(url):
        page = urllib.request.urlopen(url)
        html_data = page.read()
        return html_data
    
    
    def getImg(html_data):
        # src=" 开头 .jpg "> 结尾
        reg = r'src="(.+?\.jpg)">'
        img_reg = re.compile(reg)
        img_list = re.findall(img_reg, html_data)
        return img_list
    
    
    def cbk(a, b, c):
        """ 回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 """
        per = 100.0 * a * b / c
        if per > 100:
            per = 100
        print('%.2f%%' % per)
    
    
    def downloadImg(img_list):
        x = 0
        for img_url in img_list:
            try:
                print('===== download =====')
                print('download image %s' % x)
                # python3 不能用原来的 urllib.urlretrieve 而要用 urllib.request.urlretrieve
                urllib.request.urlretrieve(img_url, 'data/%s.jpg' % x, cbk)
            except urllib.request.HTTPError as e:
                print('HTTPError:', e.code)
                print('HTTPError:', e.reason)
                continue
            except urllib.request.URLError as e:
                print('URLError:', e.reason)
                continue
        x += 1
    
    
    def printImgUrlFromHtml(html_str):
        soup = BeautifulSoup(html_str, 'html.parser')
        img_tag_list = soup.find_all('img')
        img_list = []
        x = 0
        for img_tag in img_tag_list:
            img_url = img_tag.get('src')
            print('image[%s]:' % x, img_url)
            # saveFile(img_url)
            img_list.append('image[%s]: %s \n' % (x, img_url))
            x += 1
        saveLinesFile(img_list)
    
    
    def saveLinesFile(lines_data):
        save_path = 'data/images2.txt'
        # wb 写入二进制
        # w 写入文本
        # 1.打开文件
        file_point = open(save_path, 'w')
        # 2.写入数据
        file_point.writelines(lines_data)
        # 3.关闭文件
        file_point.close()
    
    html = getHtml('https://site.douban.com/120100/')
    html_str = html.decode('utf-8')
    
    # 正则匹配 查找图片
    image_list = getImg(html_str)
    
    # 打印图片地址
    printImgUrlFromHtml(html_str)

## 说明： ##

1.文件的操作封装在saveLinesFile函数中：

def saveLinesFile(lines_data)

![这里写图片描述][SouthEast]

# 7.文件使用日期命名 #

# coding=utf-8
    # 保存到txt文件中
    import urllib
    import urllib.request
    import re
    from bs4 import BeautifulSoup
    import datetime
    import time
    import ssl
    
    ssl._create_default_https_context = ssl._create_unverified_context
    
    
    def getHtml(url):
        page = urllib.request.urlopen(url)
        html_data = page.read()
        return html_data
    
    
    def getImg(html_data):
        # src=" 开头 .jpg "> 结尾
        reg = r'src="(.+?\.jpg)">'
        img_reg = re.compile(reg)
        img_list = re.findall(img_reg, html_data)
        return img_list
    
    
    def cbk(a, b, c):
        """ 回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 """
        per = 100.0 * a * b / c
        if per > 100:
            per = 100
        print('%.2f%%' % per)
    
    
    def downloadImg(img_list):
        x = 0
        for img_url in img_list:
            try:
                print('===== download =====')
                print('download image %s' % x)
                # python3 不能用原来的 urllib.urlretrieve 而要用 urllib.request.urlretrieve
                urllib.request.urlretrieve(img_url, 'data/%s.jpg' % x, cbk)
            except urllib.request.HTTPError as e:
                print('HTTPError:', e.code)
                print('HTTPError:', e.reason)
                continue
            except urllib.request.URLError as e:
                print('URLError:', e.reason)
                continue
        x += 1
    
    
    def printImgUrlFromHtml(html_str):
        soup = BeautifulSoup(html_str, 'html.parser')
        img_tag_list = soup.find_all('img')
        img_list = []
        x = 0
        for img_tag in img_tag_list:
            img_url = img_tag.get('src')
            print('image[%s]:' % x, img_url)
            # saveFile(img_url)
            img_list.append('image[%s]: %s \n' % (x, img_url))
            x += 1
        saveLinesFile(img_list)
    
    def saveFile(data):
        save_path = 'data/images1.txt'
        # wb 写入二进制
        # w 写入文本
        # 1.打开文件
        file_point = open(save_path, 'w+')
        # 2.写入数据
        file_point.write(data)
        # 3.关闭文件
        file_point.close()
    
    
    def saveLinesFile(lines_data):
        time_str = time.strftime("%Y-%m-%d", time.localtime())
        print(time_str)
        save_path = 'data/%s.txt' % time_str
        # wb 写入二进制
        # w 写入文本
        # 1.打开文件
        file_point = open(save_path, 'w')
        # 2.写入数据
        file_point.writelines(lines_data)
        # 3.关闭文件
        file_point.close()
    
    html = getHtml('https://site.douban.com/120100/')
    html_str = html.decode('utf-8')
    
    # 正则匹配 查找图片
    image_list = getImg(html_str)
    
    
    # 打印图片地址
    printImgUrlFromHtml(html_str)

## 说明： ##

1.获取当前日期的字符串：

time_str = time.strftime("%Y-%m-%d", time.localtime())

![这里写图片描述][SouthEast 1]

[SouthEast]: /images/20220614/b995ab0a7e8a40a8ad149b27425378e2.png
[SouthEast 1]: /images/20220614/cf2d2bddea4541c8bb218a4dc64dd711.png

猜你喜欢

oeasy教您玩转vim – 12 – # 词头词尾
Openharmony IPC通信(L2)
域名decent.xyz以中五位数成交！
Edge Canary新特性：帮你在多台设备上更轻松安装网页应用
1元域名注册哪里有
一级域名怎么申请二级域名
Windows 11任务管理器“黑暗模式”上手体验
阿里云服务器是windows吗
旧款路由注意微软Windows 11不再支持WEP等Wi-Fi加密协议
HarmonyOS ArkUI版的冰墩墩来了！为冬奥加油，一起向未来！
云服务器有windows吗
windows云服务器免费的吗
HarmonyOS 基于JS封装渐变圆环进度条组件
云服务器怎么装win
盘点一些常用的Linux小技巧
golang 系列：RWMutex 读写锁分析
Kali Linux 2022.1 发布：引入了新的“全都有”离线 ISO
云服务器怎么装windows
支持实时字幕！Windows 11预览版系统带来诸多新功能
如何在 Kubuntu 21.10 中升级 KDE Plasma 5.24

zl程序教程

当前栏目

python3 爬虫-入门

相关文章