Python线程的创建、执行和管理以及注意事项

# 导入所需的模块

import requests

import re

import sqlite3

import threading



# 定义一个函数，根据关键词和页码获取B站搜索结果页面的HTML内容

def get\_html(keyword, page):

    # 构造请求头和参数

    headers = {

        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"

    }

    params = {

        "keyword": keyword,

        "page": page,

        "order": "totalrank"

    }



    #设置亿牛云爬虫代理加强版 代理IP的服务器地址、端口、用户名和密码

    proxyHost = "www.16yun.cn"

    proxyPort = "31111"



    # 代理验证信息

    proxyUser = "16YUN"

    proxyPass = "16IP"



    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

        "host" : proxyHost,

        "port" : proxyPort,

        "user" : proxyUser,

        "pass" : proxyPass,

    }



    # 设置 http和https访问都是用HTTP代理

    proxies = {

        "http"  : proxyMeta,

        "https" : proxyMeta,

    }

    

    # 发送GET请求，获取响应内容，使用代理IP和用户名密码

    response = requests.get("https://search.bilibili.com/all", headers=headers, params=params, proxies=proxies)

    # 返回HTML内容

    return response.text



# 定义一个函数，从HTML内容中提取视频标题，并将其写入数据库

def extract\_and\_save(html):

    # 连接数据库，创建游标

    conn = sqlite3.connect("bilibili.db")

    cursor = conn.cursor()

    # 创建数据表，如果已存在则忽略

    cursor.execute("CREATE TABLE IF NOT EXISTS videos (title TEXT)")

    # 从HTML内容中提取视频标题，使用正则表达式匹配

    titles = re.findall(r"<a title=\"(.\*?)\" href=", html)

    # 遍历每个标题，将其插入数据表中

    for title in titles:

        cursor.execute("INSERT INTO videos VALUES (?)", (title,))

    # 提交事务，关闭连接

    conn.commit()

    conn.close()



# 定义一个函数，计算数据库中的数据总量，并打印结果

def count\_and\_print():

    # 连接数据库，创建游标

    conn = sqlite3.connect("bilibili.db")

    cursor = conn.cursor()

    # 查询数据表中的记录数

    cursor.execute("SELECT COUNT(\*) FROM videos")

    count = cursor.fetchone()[0]

    # 打印结果

    print(f"共采集了{count}条数据")

    # 关闭连接

    conn.close()



# 定义一个主函数，使用线程进行快速I/O操作

def main():

    # 定义关键词和页码范围

    keyword = "汽车 冰淇淋"

    pages = range(1, 11)

    # 创建一个空列表，用于存储线程对象

    threads = []

    # 遍历每个页码，创建一个线程对象，执行get\_html和extract\_and\_save函数，并将其添加到列表中

    for page in pages:

        thread = threading.Thread(target=lambda: extract\_and\_save(get\_html(keyword, page)))

        thread.start()

        threads.append(thread)

    # 等待所有线程结束

    for thread in threads:

        thread.join()

    # 调用count\_and\_print函数，计算并打印数据总量

    count\_and\_print()



# 调用主函数

if \_\_name\_\_ == "\_\_main\_\_":

    main()