连Python产生器(Generator)的原理都解释不了,还敢说Python用了5年?
2023-09-14 09:12:22 时间
最近有很多学Python同学问我,Python Generator到底是什么东西,如何理解和使用。Ok,现在就用这篇文章对Python Generator做一个敲骨沥髓的深入解析。
为了更好地理解产生器(Generator),还需要掌握另外两个东西:yield和迭代(iterables)。下面就迭代、产生器和yield分别做一个深入的解析。
1. 迭代
当创建一个列表对象后,可以一个接一个读取列表中的值,这个过程就叫做迭代。
mylist = [1, 2, 3] for i in mylist: print(i, end = ' ')
mylist对象是可迭代的。在创建列表时,可以使用列表推导表达式,所以从直观上看,列表是可迭代的。
mylist = [x*x for x in range(3)] for i in mylist: print(i, end=' ')
只要使用for ... in...语句,那么in子句后面的部分一定是一个可迭代的对象,如列表、字典、字符串等。
这些可迭代的对象在使用上非常容易理解,我们可以用自己期望的方式读取其中的值。但会带来一个严重的问题。就拿列表为例,如果需要迭代的值非常多,这就意味着需要先将所有的值都放到列表中,而且即使迭代完了列表中所有的值,这些值也不会从内存中消失(至少还会存在一会)。而且如果这些值只需要迭代一次就不再使用,那么这些值在内存中长期存在是没有必要的,所有就产生了产生器(Generator)的概念。
2. 产生器(Generator)
要理解产生器,首先要清楚产生器到底要解决什么问题,以及产生器的特性。
产生器只解决一个问题,就是让需要迭代的值不再常驻内存,也就是解决的内存资源消耗的问题。
为了解决这个问题,产生器也要付出一定的代价,这个代价就是产生器中的值只能访问一次,这也是产生器的特性。
下面先看一个最简单的产生器的例子:
# 创建产生器 data_generator = (x*x for x in range(3)) print(data_generator) for i in data_generator: print(i, end=' ') print() print('第二次迭代data_generator,什么都不会输出') print() for i in data_generator: print(i, end=' ')
乍一看这段代码,好像与前面的代码没什么区别。其实,只有一点点区别,就是在创建data_generator对象时使用了一对圆括号,而不是一对方括号。使用一对方括号创建的是列表对象,而使用一对圆括号创建的就是迭代器对象,如果直接输出,会输出迭代器对象的地址,只有通过for...in...语句或调用迭代器的相应方法才能输出迭代器对象中的值。而且第二次对迭代器对象进行迭代,什么都不会输出,这是因为迭代器只能被迭代一次,而且被迭代的值使用完,是不会再保存在内存中的。有点类似熊瞎子摘苞米,摘一穗,丢一穗。
![](https://img2020.cnblogs.com/blog/32818/202010/32818-20201012154856915-2072597547.png)
执行这段代码,会输出如下结果:
<generator object <genexpr> at 0x7f95e0154150> 0 1 4 第二次迭代data_generator,什么都不会输出
3. yield
到现在为止,我们已经对产生器要解决的问题,以及特性有了一个基本了解,那么产生器是如何做到这一点的呢?这就要依靠yield语句了。
现在让我们先来看一个使用yield的例子。
# 编写产生器函数 def generate_even(max): for i in range(0, max + 1): if i % 2 == 0: yield i print(generate_even(10)) even_generator = generate_even(10) for n in even_generator: print(n, end=' ')
这段代码的目的是输出不大于10的所有偶数,其中generator_even是一个产生器函数。我们注意到,在该函数中每找到一个偶数,就会通过yield语句指定这个偶数。那么这个yield起什么作用呢?
再看看后面的代码,首先调用generator_even函数,并将返回值赋给even_generator变量,这个变量的类型其实是一个产生器对象。而for...in...循环中的in子句后面则是这个产生器对象,而n则是产生器中的每一个值(偶数)。执行这段代码,会输出如下结果:
<generator object generate_even at 0x7f814826c450> 0 2 4 6 8 10
现在先谈谈执行yield语句会起到什么效果。其实yield语句与return语句一样,都起到返回的作用。但yield与return不同,如果执行return语句,会直接返回return后面表达式的值。但执行yield语句,返回的是一个产生器对象,而且这个产生器对象的当前值就是yield语句后面跟着的表达式的值。调用yield语句后,当前函数就会返回一个迭代器,而且函数会暂停执行,直到对该函数进行下一次迭代。
可能读到这些解释,有的读者还是不太明白,什么时候进行下一次迭代呢?如果不使用for...in...语句,是否可以对产生器进行迭代呢?其实迭代器有一个特殊方法__next__。每次对迭代器的迭代,本质上都是在调用__next__方法。
那么还有最后一个问题,for...in...语句在什么时候才会停止迭代呢?其实for...in...语句在底层会不断调用in子句后面的可迭代对象的__next__方法,直到该方法抛出StopIteration异常为止。也就是说,可以将上面的for...in...循环改成下面的代码。连续调用6次__next__方法,返回0到10,一共6个偶数,当第7次调用__next__方法时,产生器中已经没有值了,所以会抛出StopIteration异常。由于for...in...语句自动处理了StopIteration异常,所以循环就会自动停止,但当直接调用__next__方法时,如果产生器中没有值了,就会直接抛出StopIteration异常,除非使用try...except...语句捕获该异常,否则程序会异常中断。
even_generator = generate_even(10) print(even_generator.__next__()) print(even_generator.__next__()) print(even_generator.__next__()) print(even_generator.__next__()) print(even_generator.__next__()) print(even_generator.__next__()) # print(even_generator.__next__()) # 抛出StopIteration异常
总结:产生器本质上就是动态产生待迭代的值,使用完就直接扔掉了,这样非常节省内存空间,但这些值只能被迭代一次。
4. 用普通函数模拟产生器函数的效果
如果你看到一个函数中使用了yield语句,说明该函数是一个产生器。其实可以按下面的步骤将该产生器函数改造成普通函数。
1. 在函数的开始部分定义一个列表变量,代码如下:
result = []
2. 将所有的yield expr语句都替换成下面的语句:
result.append(expr)
3. 函数的最后执行return result返回这个列表对象
为了更清晰表明这个转换过程,现在给出一个实际的案例:
# 产生不大于max的偶数 def generate_even(max): for i in range(0, max + 1): if i % 2 == 0: yield i even_generator = generate_even(10) for n in even_generator: print(n, end=' ') # 将产生器函数改造成普通函数,实际上,就是将yield后面表达式的值都添加在列表中 def generate_even1(max): evens = [] for i in range(0, max + 1): if i % 2 == 0: evens.append(i) return evens print() even_list = generate_even1(10) for n in even_list: print(n, end=' ')
在这段代码中有两个函数:generate_even和generate_even1,其中generate_even是产生器函数,generate_even1是普通函数(与generate_even函数的功能完全相同)。按着前面的步骤,将所有产生的偶数都添加到了列表变量evens中,最后返回这个列表变量。这两个函数在使用方式上完全相同。不过从本质上说,generate_even函数是动态生成的偶数,用完了就扔,而generate_even1函数事先将所有产生的偶数都添加到列表中,最后返回。所以从generate_even1函数的改造过程来看,yield的作用就相当于使用append方法将表达式的值添加到列表中,只不过yield并不会保存表达式的值,而append方法会保存表达式的值。
5.与迭代相关的API
这一节来看一看Python为我们提供了哪些与迭代相关的API
Python SDK提供了一个itertools模块,该模块中的API都与迭代相关,例如,可以通过chain.from_iterable方法合并多个可迭代对象,通过permutations函数以可迭代对象形式返回列表的全排列。
from itertools import * # 这里每一个yield的值必须是可迭代的,才能用chain.from_iterable方法合并 def make_iterables_to_chain(): yield [1,2,3] yield ['a','b','c'] yield ['hello','world'] for v in make_iterables_to_chain(): print(v) # 将所有可迭代对象合并成一个可迭代对象 for v in chain.from_iterable(make_iterables_to_chain()): print('<',v,'>', end = ' ') print('-------上面的代码相当于下面的写法-------') a = [1,2,3] a.extend(['a','b','c']) a.extend(['hello','world']) print(a) for v in a: print('[',v,']', end = ' ') # 以可迭代对象形式返回列表的全排列 values = [1,2,3,4] values_permutations = permutations(values) for p in values_permutations: print(p)
执行这段代码,会输出如下内容:
[1, 2, 3] ['a', 'b', 'c'] ['hello', 'world'] < 1 > < 2 > < 3 > < a > < b > < c > < hello > < world > -------上面的代码相当于下面的写法------- [1, 2, 3, 'a', 'b', 'c', 'hello', 'world'] [ 1 ] [ 2 ] [ 3 ] [ a ] [ b ] [ c ] [ hello ] [ world ] (1, 2, 3, 4) (1, 2, 4, 3) (1, 3, 2, 4) (1, 3, 4, 2) (1, 4, 2, 3) (1, 4, 3, 2) (2, 1, 3, 4) (2, 1, 4, 3) (2, 3, 1, 4) (2, 3, 4, 1) (2, 4, 1, 3) (2, 4, 3, 1) (3, 1, 2, 4) (3, 1, 4, 2) (3, 2, 1, 4) (3, 2, 4, 1) (3, 4, 1, 2) (3, 4, 2, 1) (4, 1, 2, 3) (4, 1, 3, 2) (4, 2, 1, 3) (4, 2, 3, 1) (4, 3, 1, 2) (4, 3, 2, 1)
相关文章
- Python实现的寻找前5个默尼森数算法示例
- python中的实例方法、静态方法、类方法、类变量和实例变量浅析
- Python 日期和时间_python 当前日期时间_python日期格式化
- Python打包发布
- python:pip升级pip本身和setuptools(Python 3.7.15)
- Python 刷Leetcode题库,顺带学英语单词(20)
- Atitit.提升软件Web应用程序 app性能的方法原理 h5 js java c# php python android .net
- Python语言学习:Python语言学习之python包/库package的简介(模块的封装/模块路径搜索/模块导入方法/自定义导入模块实现华氏-摄氏温度转换案例应用)、使用方法、管理工具之详细攻略
- Python:利用python编程将上海十六区,2020年5月份房价实时地图(数据来源房天下)进行柱状图、热图可视化
- Python语言学习之打印输出那些事:python输出图表和各种吊炸天的字符串或图画、版权声明(如README.md)等之详细攻略
- Python之tkinter:动态演示调用python库的tkinter带你进入GUI世界(text.insert/link各种事件)
- Python语言学习:解决python版本升级问题集合(python2系列→Python3系列)导致错误的总结集合
- python --> Python初阶 --> 基础语法 --> 条件和分支
- 〖Python自动化办公篇⑳〗 - python实现邮件自动化 - 发送html邮件和带附件的邮件
- Python 没有函数重载?如何用装饰器实现函数重载?
- 【阶段四】Python深度学习05篇:深度学习项目实战:卷积神经网络的定义、卷积网络的结构与卷积层的原理
- Ubuntu下完美切换Python版,即设置系统默认的python版本(亲测有效)
- Python编程:安装python环境以及virtualenv虚拟环境
- Python编程:腾讯防水墙原理浅析与Flask结合测试
- Python:mysql-connector-python模块对MySQL数据库进行增删改查
- python里使用正则表达式来替换匹配成功的组名
- python memcache操作-安装、连接memcache
- 多版本Python共存时pip给指定版本的python安装package的方法
- Python编程语言学习:python中浅复制/深复制(或浅拷贝/深拷贝)的简介、案例应用注意事项之详细攻略
- 第六篇 python 基本语法(二)
- 从零开始,学会Python爬虫不再难!!! -- (7)线程、互斥锁、线程池丨蓄力计划
- python使用技巧(二十五):*args, **kwargs生成可变列表与字典
- python 继承
- elasticsearch python API
- 2021年26家大厂软件测试面试题整理了158道(软测基础+Python+APP)