Python源代码--整数对象(PyIntObject)的内存池
【背景】
原文链接:http://blog.csdn.net/ordeder/article/details/25343633
Python整数对象是不可变对象,什么意思呢?比如运行例如以下python语句
>>>a = 1023
>>>a = 1024
>>>b = a
>>>c = 1024
>>>d = 195
>>>e = 195
python的整数对象结构为:
typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;
第一条命令运行后。python vm 创建了一个PyIntObject A,当中的ob_ival=1023记录了该整数对象的值,名字a引用该对象。即A 的 ob_refcnt=1。
当运行第二条语句的时候。python vm 又建立了新的PyIntObject B,其ob_ival值为1024.且名字a解引用AA的ob_refcnt-1变成0,系统将其回收。名字a引用对象B,B的ob_refcnt=1;
运行第三条语句,名字b引用名字a引用的对象,故而B的ob_refcnt+1。即为2。
第四条语句:c引用了不同于B的还有一个整数对象
第五条语句:d引用了小整数对象195
第六条语句: e和d引用的是同一个对象。及小整数对象
p.s. 小整数的范围为[-5,257)
在python中的PyIntObject对象ob_ival内容是不可变的。
【Python中整数对象的存储优化】
因为python中的整数对象记录的整数值是不可变的,所以在名字a的值不断变化的过程中。就就涉及到了多次对象的创建和销毁。所以python为整数对象申请空间进行了两种优化:
优化1:为通用整数对象存储池
优化2:为小整数对象构建特殊的缓冲
PyIntObject分为小整数对象[-5~257)及大整数对象。小整数对象在py启动过程中初始化。从而实现小整数对象的缓存,缓冲中的小整数对象在py执行期间不会被销毁。 大整数对象须要程序猿动态申请,对象在执行过程中依据ob_refcnt引用计数确定是否销毁(计数为0)。
其次。py为了优化整数对象的申请工作。为大整数对象引入了缓冲池的概念。为何引入缓冲池?我的理解是:对于系统来说。alloc一个PyIntObject对象,须要一次系统调用,为了避免每次创建对象都去调用alloc,便引入整数缓冲池的概念。
【小整数缓冲】
看着名字感觉挺奇妙。事实上就是在vm启动的时候预先将[-5~257)这些整数构建对应的整数对象。
这些整数
对象的构建所在的内存空间相同是在:通用整数对象的缓冲池。
仅仅只是这些个小整数对象的ob_refcnt不会改变
且永远>0,所以在vm执行过程中不会被销毁。所以起到了缓冲的作用。
【通用整数对象的缓冲池】
为了降低alloc系统调用申请空间,内存池一次性申请的空间不是当个PyIntObject大小,而是一个以PyIntBlock块为结构的大小的空间,每一个PyIntBlock块容纳了n个PyIntObject对象。内存池的基本数据结构例如以下:
#define BLOCK_SIZE 1000 /* 1K less typical malloc overhead */ #define BHEAD_SIZE 8 /* Enough for a 64-bit pointer */ #define N_INTOBJECTS ((BLOCK_SIZE - BHEAD_SIZE) / sizeof(PyIntObject)) struct _intblock { struct _intblock *next; PyIntObject objects[N_INTOBJECTS]; }; typedef struct _intblock PyIntBlock; static PyIntBlock *block_list = NULL; static PyIntObject *free_list = NULL;系统在启动的时候。PyIntBlock *block_list为空的,在执行过程中,假设须要创建整数对象,系统会先判定block_list是否有空暇的空间供创建对象,通过fill_free_list()函数从缓冲池中获取可用的PyIntObject。
假设free_list有空暇的PyIntObject可用,则直接在缓冲池中获取该空暇空间,你懂得。
假设没得,系统将通过alloc申请一个PyIntBlock挂入block_list中,同一时候将该块分为N_INTOBJECTS整数对象PyIntObject挂入到free_list中。
1. fill_free_list()的函数实现
static PyIntObject * fill_free_list(void) { PyIntObject *p, *q; /* Python's object allocator isn't appropriate for large blocks. */ p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock)); if (p == NULL) return (PyIntObject *) PyErr_NoMemory(); ((PyIntBlock *)p)->next = block_list; block_list = (PyIntBlock *)p; /* Link the int objects together, from rear to front, then return the address of the last int object in the block. */ p = &((PyIntBlock *)p)->objects[0]; q = p + N_INTOBJECTS; while (--q > p) Py_TYPE(q) = (struct _typeobject *)(q-1); //[1] Py_TYPE(q) = NULL; return p + N_INTOBJECTS - 1; }说明[1]
py将PyIntObject->ob_type作为free_list的暂时next指针,使用了指针强制转换。尽管破坏了指针的安全原则。可是重用了>ob_type内存空间。不失为一种好方法!下图描绘了两个PyIntBlock构成的通用整数缓冲池:
2. 其余两个构建和删除整数对象相关函数:
//构建intobj PyObject * PyInt_FromLong(long ival) { register PyIntObject *v; #if NSMALLNEGINTS + NSMALLPOSINTS > 0 if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) { v = small_ints[ival + NSMALLNEGINTS]; Py_INCREF(v); #ifdef COUNT_ALLOCS if (ival >= 0) quick_int_allocs++; else quick_neg_int_allocs++; #endif return (PyObject *) v; } #endif if (free_list == NULL) { //[1] if ((free_list = fill_free_list()) == NULL) return NULL; } /* Inline PyObject_New */ v = free_list; //[2] free_list = (PyIntObject *)Py_TYPE(v); PyObject_INIT(v, &PyInt_Type); v->ob_ival = ival; return (PyObject *) v; } [1]缓冲池的空暇链表为空,通过fill_free_list()去申请新的PyIntBlock [2](PyIntObject *)Py_TYPE(v)相当于是PyIntObject在free_list中的next指针。 //删除intobj static void int_dealloc(PyIntObject *v) { if (PyInt_CheckExact(v)) { //[1] Py_TYPE(v) = (struct _typeobject *)free_list; free_list = v; } else //[2] Py_TYPE(v)->tp_free((PyObject *)v); } [1] 判定假设v的引用计数为1(经过本次解引用变为0)。则将该PyIntObject空间增加到缓冲池的空暇队列。以便重用 [2]引用计数>2 将该对象引用计数减1
相关文章
- Python 字符串_python 字符串截取_python 字符串替换_python 字符串连接
- 笔记14:Docker 部署Python项目
- Python生成随机数组的方法小结
- Python 字符串_python 字符串截取_python 字符串替换_python 字符串连接
- 【Python】python对象与json相互转换
- nodejs,python,sublime和Eclipse的包管理器
- Python编程语言学习:python语言中快速查询python自带模块&函数的用法及其属性方法、如何查询某个函数&关键词的用法、输出一个类或者实例化对象的所有属性和方法名之详细攻略
- Python编程语言学习:python中与数字相关的函数(取整等)、案例应用之详细攻略
- Python:Python语言的简介(语言特点/pyc介绍/Python版本语言兼容问题(python2 VS Python3))、安装、学习路线(数据分析/机器学习/网页爬等编程案例分析)之详细攻略
- 成功解决Command "python setup.py egg_info" failed with error code 1 in C:UsersAppData
- Python小游戏(XO大战)
- Python MySQL选择
- 【华为机试 Python实现】HJ15 求int型正整数在内存中存储时1的个数(简单)
- Python编程:python中的计时器timeit模块
- Python编程:StringIO和BytesIO内存中读写操作
- Python标准库:内置函数super([type[, object-or-type]])
- python web py入门(23)- javascript的减法
- python实战===2017年30个惊艳的Python开源项目 (转)
- python如何实现文件下载进度条呢?
- 【面试】北京Python后端开发