【python进阶】Garbage collection垃圾回收2
前言
在上一篇文章【python进阶】Garbage collection垃圾回收1，我们讲述了Garbage collection(GC垃圾回收)，画说Ruby与Python垃圾回收，Python中的循环数据结构以及引⽤计数以及Python中的GC阈值，这一节我们将继续介绍GC模块的一些应用和注意事项，下面开始今天的讲解~~
一、垃圾回收机制
Python中的垃圾回收是以引⽤计数为主，分代收集为辅。
1、导致引⽤计数+1的情况
- 对象被创建，例如a=23
- 对象被引⽤，例如b=a
- 对象被作为参数，传⼊到⼀个函数中，例如func(a)
- 对象作为⼀个元素，存储在容器中，例如list1=[a,a]
2、导致引⽤计数-1的情况
- 对象的别名被显式销毁，例如del a
- 对象的别名被赋予新的对象，例如a=24
- ⼀个对象离开它的作⽤域，例如f函数执⾏完毕时，func函数中的局部变量（全局变量不会）
- 对象所在的容器被销毁，或从容器中删除对象
3、查看⼀个对象的引⽤计数
In [1]: import sys In [2]: a = "hello world" In [3]: sys.getrefcount(a) Out[3]: 2
可以查看a对象的引⽤计数，但是⽐正常计数⼤1，因为调⽤函数的时候传⼊ a，这会让a的引⽤计数+1
二、循环引⽤导致内存泄露
引⽤计数的缺陷是循环引⽤的问题
import sys a = "hello world" sys.getrefcount(a) import gc class ClassA(): def __init__(self): print('object born,id:%s'%str(hex(id(self)))) def f2(): while True: c1 = ClassA() c2 = ClassA() c1.t = c2 c2.t = c1 del c1 del c2 #把python的gc关闭 gc.disable() f2()
执⾏f2()，进程占⽤的内存会不断增⼤。
- 创建了c1，c2后这两块内存的引⽤计数都是1，执⾏ c1.t=c2 和 c2.t=c1 后，这两块内存的引⽤计数变成2.
- 在del c1后，内存1的对象的引⽤计数变为1，由于不是为0，所以内存1的对象不会被销毁，所以内存2的对象的引⽤数依然是2，在del c2后， 同理，内存1的对象，内存2的对象的引⽤数都是1。
-
虽然它们两个的对象都是可以被销毁的，但是由于循环引⽤，导致垃圾 回收器都不会回收它们，所以就会导致内存泄露。
三、垃圾回收
import gc class ClassA(): def __init__(self): print('object born,id:%s'%str(hex(id(self)))) #def __del__(self): # print('object del,id:%s'%str(hex(id(self)))) def f3(): print("-----0------") #print(gc.collect()) c1 = ClassA() c2 = ClassA() c1.t = c2 c2.t = c1 print("-----1------") del c1 del c2 print("-----2------") print(gc.garbage) print("-----3------") print(gc.collect())#显式执⾏垃圾回收 print("-----4------") print(gc.garbage) print("-----5------") if __name__ == '__main__': gc.set_debug(gc.DEBUG_LEAK)#设置gc模块的日志 f3()
python3结果如下：
-----0------ object born,id:0x7fcd059190f0 object born,id:0x7fcd05919240 -----1------ -----2------ [] -----3------ gc: collectable <ClassA 0x7fcd059190f0> gc: collectable <ClassA 0x7fcd05919240> gc: collectable <dict 0x7fcd05989d48> gc: collectable <dict 0x7fcd058f24c8> 4 -----4------ [<__main__.ClassA object at 0x7fcd059190f0>, <__main__.ClassA object at 0x7fcd05919240>, {'t': <__main__.ClassA object at 0x7fcd05919240>}, {'t': <__main__.ClassA object at 0x7fcd059190f0>}] -----5------ gc: collectable <module 0x7fcd059715e8> gc: collectable <dict 0x7fcd0597af08> gc: collectable <builtin_function_or_method 0x7fcd0596fdc8> ...
说明:
- 垃圾回收后的对象会放在gc.garbage列表⾥⾯
-
gc.collect()会返回不可达的对象数⽬，4等于两个对象以及它们对应的 dict
有三种情况会触发垃圾回收：
- 调⽤gc.collect(),
- 当gc模块的计数器达到阀值的时候。
-
程序退出的时候
四、gc模块常⽤功能解析
gc模块提供⼀个接⼝给开发者设置垃圾回收的选项 。上⾯说到，采⽤引⽤计数的⽅法管理内存的⼀个缺陷是循环引⽤，⽽gc模块的⼀个主要功能就是解决循环引⽤的问题。
常⽤函数：
1、gc.set_debug(flags) 设置gc的debug⽇志，⼀般设置为gc.DEBUG_LEAK
2、gc.collect([generation]) 显式进⾏垃圾回收，可以输⼊参数，0代表只检查第⼀代的对象，1代表检查⼀，⼆代的对象，2代表检查⼀，⼆，三代的对象，如果不传参数，执⾏⼀个full collection，也就是等于传2。 返回不可达(unreachable objects)对象的数⽬
3、gc.get_threshold() 获取的gc模块中⾃动执⾏垃圾回收的频率。
4、gc.set_threshold(threshold0[, threshold1[, threshold2]) 设置⾃动执⾏垃圾回收的频率。
5、gc.get_count() 获取当前⾃动执⾏垃圾回收的计数器，返回⼀个⻓度为3的列表。
gc模块的⾃动垃圾回收机制
必须要import gc模块，并且 is_enable()=True 才会启动⾃动垃圾回收。
这个机制的主要作⽤就是发现并处理不可达的垃圾对象 。
垃圾回收=垃圾检查+垃圾回收
在Python中，采⽤分代收集的⽅法。把对象分为三代，⼀开始，对象在创建的时候，放在⼀代中，如果在⼀次⼀代的垃圾检查中，改对象存活下来，就会被放到⼆代中，同理在⼀次⼆代的垃圾检查中，该对象存活下来，就会被放到三代中。
gc模块⾥⾯会有⼀个⻓度为3的列表的计数器，可以通过gc.get_count()获取。
例如(488,3,0)，其中488是指距离上⼀次⼀代垃圾检查，Python分配内存的 数⽬减去释放内存的数⽬，注意是内存分配，⽽不是引⽤计数的增加。例如：
print(gc.get_count())#(590,8,0) a = ClassA() print(gc.get_count())#(590,8,0) del a print(gc.get_count())#(590,8,0)
3是指距离上⼀次⼆代垃圾检查，⼀代垃圾检查的次数，同理，0是指距离上 ⼀次三代垃圾检查，⼆代垃圾检查的次数。
gc模快有⼀个⾃动垃圾回收的阀值 ，即通过gc.get_threshold函数获取到的 ⻓度为3的元组，例如(700,10,10) 每⼀次计数器的增加，gc模块就会检查增加后的计数是否达到阀值的数⽬，如果是，就会执⾏对应的代数的垃圾检查，然后重置计数器.
例如，假设阀值是(700,10,10)：
当计数器从(699,3,0)增加到(700,3,0)，gc模块就会执⾏gc.collect(0),即检查⼀代对象的垃圾，并重置计数器 当计数器从(699,9,0)增加到(700,9,0)，gc模块就会执⾏gc.collect(1),即检查⼀、⼆代对象的垃圾，并重置计数器 当计数器从(699,9,9)增加到(700,9,9)，gc模块就会执⾏gc.collect(2),即检查⼀、⼆、三对象的垃圾，并重置计数器
注意点
gc模块唯⼀处理不了的是循环引⽤的类都有__del__⽅法，所以项⽬中要避免 定义__del__⽅法
import gc class ClassA(): pass #def __del__(self): # print('object born,id:%s'%str(hex(id(self)))) gc.set_debug(gc.DEBUG_LEAK) a = ClassA() b = ClassA() a.next = b b.prev = a print("--1--") print(gc.collect()) print("--2--") del a print("--3--") del b print("--3-1--") print(gc.collect()) print("--4--")
运行结果如下：
--1-- 0 --2-- --3-- --3-1-- gc: collectable <ClassA 0x7f599dc690f0> gc: collectable <ClassA 0x7f599dc69160> gc: collectable <dict 0x7f599dcdcd48> gc: collectable <dict 0x7f599dcdcdc8> 4 --4-- gc: collectable <module 0x7f599dcc45e8> gc: collectable <dict 0x7f599dccdf08> gc: collectable <builtin_function_or_method 0x7f599dcc2dc8> ...
如果把del打开，运⾏结果为:
--1-- 0 --2-- --3-- --3-1-- gc: collectable <ClassA 0x7fb236853128> gc: collectable <ClassA 0x7fb236853160> gc: collectable <dict 0x7fb2368c5d48> gc: collectable <dict 0x7fb2368c5ec8> object born,id:0x7fb236853128 object born,id:0x7fb236853160 4 --4-- gc: collectable <module 0x7fb2368ad5e8> gc: collectable <dict 0x7fb2368b6f08> gc: collectable <builtin_function_or_method 0x7fb2368abdc8> ...