Python多线程爬虫编程中queue.Queue和queue.SimpleQueue的区别和应用

import queue
import threading
import requests

# 定义一个队列对象，用于在多线程中传递数据
q = queue.Queue()

# 定义一个函数，用于在子线程中发送请求，并使用代理IP
def send_request():
    # 从队列中获取数据，如果队列为空，则阻塞等待
    data = q.get()
    # 获取代理IP地址、用户名和密码，以及目标URL
    proxy_ip = data["proxy_ip"]    
    username = data["username"]
    password = data["password"]
    url = data["url"]
    # 设置代理参数，包括代理IP、用户名和密码
    proxies = {
        "http": f"http://{username}:{password}@{proxy_ip}",
        "https": f"http://{username}:{password}@{proxy_ip}"
    }
    # 发送请求，并打印响应状态码和内容
    try:
        response = requests.get(url, proxies=proxies)
        print(f"Response status: {response.status_code}")
        print(f"Response content: {response.text}")
    except Exception as e:
        print(f"Error: {e}")
    # 通知队列任务已完成，并释放资源
    q.task_done()

# 在主线程中创建三个子线程对象，并传入send_request函数作为参数，并设置为守护线程（daemon）
threads = []
for i in range(3):
    thread = threading.Thread(target=send_request, daemon=True)
    threads.append(thread)

# 启动三个子线程，并将它们加入到主线程的等待列表中
for thread in threads:
    thread.start()

# 在主线程中向队列中放入数据，这里假设有三组代理IP和URL的组合
data_list = [
    {"proxy_ip": "www.16yun.cn:3100", "username": "16YUN", "password": "16IP-ps1", "url": "http://example.com/1.html"},
    {"proxy_ip": "www.16yun.cn:3100", "username": "16YUN", "password": "16IP-ps2", "url": "http://example.com/2.html"},
    {"proxy_ip": "www.16yun.cn:3100", "username": "16YUN", "password": "16IP-ps3", "url": "http://example.com/3.html"}
]

for data in data_list:
    q.put(data)

# 等待队列中的所有任务完成，并阻塞主线程直到所有子线程结束
q.join()

import queue
import threading
import requests

# 定义一个SimpleQueue对象，用于在多线程中传递数据
q = queue.SimpleQueue()

# 定义一个函数，用于在子线程中发送请求，并使用代理IP
def send_request():
    # 从队列中获取数据，如果队列为空，则阻塞等待
    data = q.get()
    # 获取代理IP地址和目标URL
    proxy_ip = data["proxy_ip"]
    url = data["url"]
    # 获取用户名和密码
    username = data["username"]
    password = data["password"]
    # 设置代理参数，并添加认证信息
    proxies = {
        "http": f"http://{proxy_ip}",
        "https": f"http://{proxy_ip}"
    }
    auth = requests.auth.HTTPProxyAuth(username, password)
    
    # 发送请求，并打印响应状态码和内容
    try:
        response = requests.get(url, proxies=proxies, auth=auth)
        print(f"Response status: {response.status_code}")
        print(f"Response content: {response.text}")
    except Exception as e:
        print(f"Error: {e}")
    
# 在主线程中创建三个子线程对象，并传入send_request函数作为参数，并设置为守护线程（daemon）
threads = []
for i in range(3):
    thread = threading.Thread(target=send_request, daemon=True)
    threads.append(thread)

# 启动三个子线程，并将它们加入到主线程的等待列表中
for thread in threads:
    thread.start()
    
# 在主线程中向队列中放入数据，这里假设有三组代理IP和URL的组合，以及对应的用户名和密码
data_list = [
    {"proxy_ip": "www.16yun.cn:3100", "url": "http://example.com/1.html", "username": "16YUN", "password": "16IP-ps1"},
    {"proxy_ip": "www.16yun.cn:3100", "url": "http://example.com/2.html", "username": "16YUN", "password": "16IP-ps2"},
    {"proxy_ip": "www.16yun.cn:3100", "url": "http://example.com/3.html", "username": "16YUN", "password": "16IP-ps3"}
]

for data in data_list:
    q.put(data)
# 等待所有子线程结束（由于是守护线程，所以当主线程结束时会自动结束）