云社区 博客 博客详情
云社区 博客 博客详情

浅谈__del__()方法的特殊用法

竹叶青 发表于 2020-02-17 18:13:37 02-17 18:13
竹叶青 发表于 2020-02-17 18:13:37 2020/02/17
0
0

【摘要】 Python中有一些特殊方法,它们允许我们的类和Python更好地集成。在标准库参考(Standard Library Reference)中,它们被称为基本特殊方法,是与Python的其他特性无缝集成的基础。__del__()方法有一个让人费解的使用场景。这个方法的目的是在将一个对象从内存中清除之前,可以有机会做一些清理工作。如果使用上下文管理对象或者with语句来处理这种需求会更加清晰。...

Python中有一些特殊方法,它们允许我们的类和Python更好地集成。在标准库参考(Standard Library Reference)中,它们被称为基本特殊方法,是与Python的其他特性无缝集成的基础。

__del__()方法有一个让人费解的使用场景。

这个方法的目的是在将一个对象从内存中清除之前,可以有机会做一些清理工作。如果使用上下文管理对象或者with语句来处理这种需求会更加清晰。对于Python的垃圾回收机制而言,创建一个上下文比使用__del__()更加容易预判。

但是,如果一个Python对象包含了一些操作系统的资源,__del__()方法是把资源从程序中释放的最后机会。例如,引用了一个打开的文件、安装好的设备或者子进程的对象,如果我们将资源释放作为__del__()方法的一部分实现,那么我们就可以保证这些资源最后会被释放。

很难预测什么时候__del__()方法会被调用。它并不总是在使用del语句删除对象时被调用,当一个对象因为命名空间被移除而被删除时,它也不一定被调用。Python文档中用不稳定来描述__del__()方法的这种行为,并且提供了额外的关于异常处理的注释:运行期的异常会被忽略,相对地,会使用sys.stderr打印一个警告。

基于上面的这些原因,通常更倾向于使用上下文管理器,而不是实现__del__()。

1. 引用计数和对象销毁

CPython的实现中,对象会包括一个引用计数器。当对象被赋值给一个变量时,这个计数器会递增;当变量被删除时,这个计数器会递减。当引用计数器的值为0时,表示我们的程序不再需要这个对象,并且可以销毁这个对象。对于简单对象,当执行删除对象的操作时会调用__del__()方法。

对于包含循环引用的复杂对象,引用计数器有可能永远也不会归零,这样就很难让__del__()方法被调用。

我们用下面的一个类来看看这个过程中到底发生了什么。

class Noisy:   def __del__( self ):     print( "Removing {0}".format(id(self)) )

我们可以像下面这样创建和删除这个对象。

>>> x= Noisy() >>>del x Removing 4313946640

我们先创建,然后删除了Noisy对象,几乎是立刻就看到了__del__()方法中输出的消息。这也就是说,当变量x被删除后,引用计数器正确地归零了。一旦变量被删除,就没有任何地方引用Noisy实例,所以它也可以被清除。

下面是浅复制中一种常见的情形。

>>> ln = [ Noisy(), Noisy() ] >>> ln2= ln[:] >>> del ln

Python没有响应del语句。这说明这些Noisy对象的引用计数器还没有归零,肯定还有其他地方引用了它们,下面的代码验证了这一点。

>>> del ln2 Removing 4313920336 Removing 4313920208

ln2变量是ln列表的一个浅复制。有两个列表引用了Noisy对象,所以在这两个列表被删除并且引用计数器归零之前,Python不会销毁这两个Noisy对象。

还有很多种创建浅复制的方法。下面是其中的一些。

a = b = Noisy() c = [ Noisy() ] * 2

这里的关键是,由于浅复制在Python中非常普遍,所以我们往往对存在的对象的引用感到非常困惑。

2. 循环引用和垃圾回收

下面是一种常见的循环引用的情形。一个父类包含一个子类的集合,同时集合中的每个子类实例又包含父类的引用。

下面我们用这两个类来看看循环引用。

class Parent:   def __init__( self, *children ):     self.children= list(children)     for child in self.children:       child.parent= self   def __del__( self ):     print( "Removing {__class__.__name__} {id:d}". format( __class__=self.__class__, id=id(self)) ) class Child:   def __del__( self ):     print( "Removing {__class__.__name__} {id:d}". format( __class__=self.__class__, id=id(self)) )

一个Parent的instance包括一个children的列表。

每一个Child的实例都有一个指向Parent类的引用。当向Parent内部的集合中插入新的Child实例时,这个引用就会被创建。

我们故意把这两个类写得比较复杂,所以下面让我们看看当试图删除对象时,会发生什么。

>>>> p = Parent( Child(), Child() ) >>> id(p) 4313921808 >>> del p

Parent和它的两个初始Child实例都不能被删除,因为它们之间互相引用。

下面,我们创建一个没有Child集合的Parent实例。

>>> p= Parent() >>> id(p) 4313921744 >>> del p Removing Parent 4313921744

和我们预期的一样,这个Parent实例成功地被删除了。

由于互相之间有引用存在,因此我们不能从内存中删除Parent实例和它包含的Child实例的集合。如果我们导入垃圾回收器的接口——gc,我们就可以回收和显示这些不能被删除的对象。

下面的代码中,我们使用了gc.collect()方法回收所有定义了__del__()方法但是无法被删除的对象。

>>> import gc >>> gc.collect() 174 >>> gc.garbage [<__main__.Parent object at 0x101213910>, <__main__.Child object at 0x101213890>, <__main__.Child object at 0x101213650>, <__main__.Parent object at 0x101213850>, <__main__.Child object at 0x1012130d0>, <__main__.Child object at 0x101219a10>, <__main__.Parent object at 0x101213250>, <__main__.Child object at 0x101213090>, <__main__.Child object at 0x101219810>, <__main__.Parent object at 0x101213050>, <__main__.Child object at 0x101213210>, <__main__.Child object at 0x101219f90>, <__main__.Parent object at 0x101213810>, <__main__.Child object at 0x1012137d0>, <__main__.Child object at 0x101213790>]

可以看到,我们的Parent对象(例如,4313921808的ID = 0x101213910)在不可删除的垃圾对象列表中很突出。为了让引用计数器归零,我们需要删除所有Parent对象中的children列表,或者删除所有Child实例中对Parent的引用。

注意,即使把清理资源的代码放在__del__()方法中,我们也没办法解决循环引用的问题。因为__del__()方法是在循环引用被解除并且引用计数器已经归零之后被调用的。当有循环引用时,我们不能只是简单地依赖于Python中计算引用数量的机制来清理内存中的无用对象。我们必须显式地解除循环引用或者使用可以保证垃圾回收的weakref引用。

3. 循环引用和weakref模块

如果我们需要循环引用,但是又希望将清理资源的代码写在__del__()中,这时候我们可以使用弱引用。循环引用的一个常见场景是互相引用:一个父类中包含了一个集合,集合中的每一个实例也包含了一个指向父类的引用。如果一个Player对象中包含多个Hand实例,那么在每一个Hand对象中都包括一个指向对应的Player类的引用可能会更方便。

默认的对象间的引用可以被称为强引用,但是,叫直接引用可能更好。Python的引用计数机制会直接使用它们,而且如果引用计数无法删除这些对象的话,垃圾回收机器也能及时发现。它们是不可忽略的对象。

对一个对象的强引用就是直接引用,下面是一个例子。

当我们遇到如下语句。

a= B()

变量a直接引用了B类的一个对象。此时B的引用计数至少是1,因为a变量包含了一个指向它的引用。

想要找个一个弱引用相关的对象需要两个步骤。一个弱引用会调用x.parent(),这个函数将弱引用作为一个可调用对象来查找它真正的父对象。这个过程让引用计数器得以归零,垃圾回收器可以回收引用的对象,但是不回收这个弱引用。

weakref定义了一系列使用了弱引用而没有使用强引用的集合。它让我们可以创建一种特殊的字典类型,当这种字典的对象没有用时,可以保证被垃圾回收。

我们可以修改Parent和Child类,在Child指向Parent的引用中使用弱引用,这样就可以简单地保证无用对象会被销毁。

下面是修改后的类,它在Child指向Parent的引用中使用了弱引用。

import weakref class Parent2:   def __init__( self, *children ):     self.children= list(children)     for child in self.children:       child.parent= weakref.ref(self)   def __del__( self ):     print( "Removing {__class__.__name__} {id:d}".format( __class__= self.__class__, id=id(self)) )

我们将Child中的parent引用改为一个weakref对象的引用。

在Child类中,我们必须用上面说的两步操作来定位parent对象。

p = self.parent() if p is not None:   # process p, the Parent instance else:   # the parent instance was garbage collected.

我们可以显式地确认引用的对象是否已经找到,因为有可能该引用已经变成虚引用。

当我们使用这个新的Parent2类时,可以看到引用计数成功地归零同时对象也被删除了。

>>> p = Parent2( Child(), Child() ) >>> del p Removing Parent2 4303253584 Removing Child 4303256464 Removing Child 4303043344

当一个weakref引用变成死引用时(因为引用被销毁了),我们有3个可能的方案。

  • 重新创建引用对象,或重新从数据库中加载。

  • 当垃圾回收器在低内存情况下错误地删除了一些对象时,使用warnings模块记录调试信息。

  • 忽略这个问题。

通常,weakref引用变成死引用是因为响应的对象已经被删除了。例如,变量的作用域已经执行结束,一个没有用的命名空间,应用程序正在关闭。对于这个原因,通常我们会采取第3种响应方法。因为试图创建这个引用的对象时很可能马上就会被删除。

4. __del__()方法和close()方法

__del__()方法最常见的用途是确保文件被关闭。

通常,包含文件操作的类都会有类似下面这样的代码。

__del__ = close

这会保证__del__()方法同时也是close()方法。

其他更复杂的情况最好使用上下文管理器。



以上内容节选自Python面向对象编程指南


作者:

Steven F. Lott的编程生涯开始于20世纪70年代,那时候计算机体积很大、昂贵并且非常少见。作为软件工程师和架构师,他参与了100多个不同规模的项目研发。在使用Python解决业务问题方面,他已经有10多年的经验了。

Steven目前是自由职业者,居住在美国东海岸。他的技术博客是:http://slott-softwarearchitect.blogspot.com


译者:

张心韬——新加坡国立大学系统分析硕士,北京航空航天大学北海学院软件工程学士。曾经就职于NEC(新加坡)和MobileOne(新加坡),目前投身金融领域,就职于GoSwiff(新加坡),担任.NET软件工程师,负责支付系统的研发工作。

他在编程领域耕耘数年,涉猎甚广,但自认“既非菜鸟,也非高人”。目前长期专注于.NET平台,对Python也甚为喜爱。业余时间爱好甚广,尤其喜欢学习中医知识,对时间管理、经济和历史也略有涉猎。

兰亮:北京航空航天大学北海学院软件工程学士,IT行业一线“码农”,曾获评“微软2014年度MVP”和“微软2015年度MVP”。曾一度混迹于飞信(中国)、NEC(新加坡)和MobileOne(新加坡),现就职于Keritos(新加坡),从事在线游戏研发工作。

他虽然涉猎广泛,但钟爱开源,长期关注前沿技术,并且对算法、函数式编程、设计模式以及IT文化等有着浓厚兴趣。工作之余,他喜欢在Coursera蹭课。作为一个热爱生活的人,他在钻研技术之余,还喜欢健身、旅行,立志成为一个阳光、向上的“码农”。


兰亮个人网站 : www.lan-liang.me

博客:http://blog.csdn.net/lan_liang

本文转载自异步社区

原文链接:

https://www.epubit.com/articleDetails?id=NC7E3EF907D500001134335201FEEA180


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消