您现在的位置是：首页 > Python

当前栏目

python 异步爬虫_PYTHON_异步爬虫(一）

Python 进程线程执行异步

2023-02-26 12:36:17 时间

PYTHON\_异步爬虫(一)

高性能异步爬虫

目的：在爬虫中使用异步实现高性能的数据爬取操作

异步爬虫的方式：

\-多线程，多进程(不建议)：

好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作旧可以异步执行。

弊端：无法无限制的开启多线程或者多进程。

\-线程池、进程池(适当的使用)：

好处：我们可以降低系统对进程或者线程创建和销毁频率，从而很好的降低系统的开销。

弊端：池中线程或进程的数量是有上限。

1、使用单线程串行方式执行

1 import time

2 \#使用单线程串行方式执行

4 def get\_page(str):

5 print("正在下载:",str)

6 time.sleep(2)

7 print("下载成功:",str)

9 name\_list=\['xiaozi','aa','bb','cc'\]

11 start\_time=time.time()

13 for i in range(len(name\_list)):

14 get\_page(name\_list\[i\])

16 end\_time=time.time()

18 print('%d second'%(end\_time-start\_time))

执行结果如下：

2、使用线程池方式执行

1 import time

2 \#导入线程池模块对应的类

3 from multiprocessing.dummy import Pool

4 \#使用线程池方式执行

5 start\_time=time.time()

6 def get\_page(str):

7 print("正在下载:",str)

8 time.sleep(2)

9 print("下载成功:",str)

11 name\_list=\['xiaozi','aa','bb','cc'\]

13 \#实例化一个线程池对象

14 pool=Pool(4)

15 \#将列表中每一个列表元素传递给get\_page进行处理

16 pool.map(get\_page,name\_list)

18 end\_time=time.time()

19 print(end\_time-start\_time)

执行结果：

可以明显看出，使用线程池的方式大大提高执行效率

PYTHON\_异步爬虫(一) 相关文章

Python：for循环 break,continue跳出

for循环是python的最基础循环 以下为for循环： for i in range(10): print('i=',i) 以上代码执行结果为： i= 0i= 1i= 2i= 3i= 4i= 5i= 6i= 7i= 8i= 9 range(10)默认每次循环1，如果想循环多次可以这样： for i in range(0,10,2): print('i=',i) 以上代码执行

\[Flutter Async\]-异步

事件循环Event Loop机制 Future就像是盒子里的巧克力糖 http.get("www.baidu.com").then((value) = null).catchError(onError);//http.get("www.baidu.com")Future刚建成没有完成的状态//then((value) = null)正常完成后得到一个值的状态//catchError(onErro

用原生的方式操作Excel，Python玩转Excel神器xlsxwriter详解！

大家好，在之前的Python办公自动化系列文章中，我们已经介绍了两个Python操作Excel的库openpyxl与xlwings，并且相信大家已经了解这两者之间的异同。 但是在Python中操作Excel库可不止这两个，本文就将介绍另一个强大的库xlsxwriter。来学习如何用原生的方式

Python复习02\_分支循环02

接Python复习01\_简要01 十、选择结构 (1)练习 age\_ip=eval(input('please input your age:'))if age\_ip = 18:print("chengnian")else:print('yes') (2)比较(关系)运算符 == 检查两个值是否相等 != = = (3)逻辑运算符 and 同真则真 or 有真则真 not 假则真,真

用Python制作汇率转换小程序

1.分析网页 下面我们来看看爬虫数据的代码，首先我们看看这个网址： https://www.huilv.cc/USD\_CNY/ 我们来分析一下这个网页的数据页面： 2.爬取数据 import requestsfrom lxml import etreeheaders = \{ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64

批量执行异步任务CompletionService

批量执行异步任务CompletionService 核心思想，就是将异步结果放入到阻塞队列中，然后再消费队列，实现异步任务批量执行 接口方法说明 FutureV submit(CallableV task);FutureV submit(Runnable task, V result);FutureV take() throws InterruptedException

Python的整除和取余

最近做题发现-123%10=7，于是查阅了一下python的取余机制，这里记录。 参考：https://blog.csdn.net/sun\_\_\_M/article/details/83142126 //：向下取整 int()：向0取整 正数的取余比较直接： print(123%10) \#3 这里结果为3。 但是换为负数取余，情况就有所不同

《Fluent Python》CH.11\_面向对象\_接口：从协议到抽象基类

主要内容 首先，本章说明抽象基类的常见用途：实现接口时作为超类使用 说明抽象基类如何检查具体子类是否符合接口定义，以及如何使 用注册机制声明一个类实现了某个接口，而不进行子类化操作 最后， 说明如何让抽象基类自动“识别”任何符合接口的类——不进

探究Python源码，终于弄懂了字符串驻留技术

摘要： 在本文中，我们将深入研究 Python 的内部实现，并了解 Python 如何使用一种名为字符串驻留(String Interning)的技术，实现解释器的高性能。 每种编程语言为了表现出色，并且实现卓越的性能，都需要有大量编译器级与解释器级的优化。 由于字符串是任

python confusion matrix 混淆矩阵

【1】混淆矩阵(Confusion Matrix)概念 【2】混淆矩阵-百度百科 【3】Python中生成并绘制混淆矩阵(confusion matrix) 【4】使用python绘制混淆矩阵(confusion\_matrix) 示例： 程序摘自【4】。 from sklearn.metrics import confusion\_matriximport matp

猜你喜欢

搞了个线上故障，被老板骂了....
CSS3伸缩盒Flexible Box
移动端图片操作（二）——预览、旋转、合成
移动端图片操作（一）——上传
实现tap的多种方式
Hammer.js分析（四）——recognizer.js
Hammer.js分析（三）——input.js
Hammer.js分析（二）——manager.js
Hammer.js分析（一）——基础结构
触屏touch事件记录
前端自动化构建工具gulp记录
《从程序员到项目经理》内容记录
JavaScript中Promises/A+规范的实现
jQuery中的Sizzle引擎分析
PHP类的原理
PHP变量和数据类型
PHP代码的执行
前端面试题目搜集
JavaScript中事件处理
JavaScript中typeof、toString、instanceof、constructor与in