Python进阶系列(七)

举报
zhulin1028 发表于 2022/06/22 00:24:12 2022/06/22
【摘要】 目录 对象变动(Mutation) __slots__魔法 对象变动(Mutation) Python中可变(mutable)与不可变(immutable)的数据类型让新手很是头痛。简单的说,可变(mutable)意味着"可以被改动",而不可变(immutable)的意思是“常量(constant)”。想把脑筋转动起来吗?...

目录

对象变动(Mutation)

__slots__魔法


对象变动(Mutation)

Python中可变(mutable)与不可变(immutable)的数据类型让新手很是头痛。简单的说,可变(mutable)意味着"可以被改动",而不可变(immutable)的意思是“常量(constant)”。想把脑筋转动起来吗?考虑下这个例子:


  
  1. foo = ['hi']
  2. print(foo)
  3. # Output: ['hi']
  4. bar = foo
  5. bar += ['bye']
  6. print(foo)
  7. # Output: ['hi', 'bye']

刚刚发生了什么?我们预期的不是那样!我们期望看到是这样的:


  
  1. foo = ['hi']
  2. print(foo)
  3. # Output: ['hi']
  4. bar = foo
  5. bar += ['bye']
  6. print(foo)
  7. # Output: ['hi']
  8. print(bar)
  9. # Output: ['hi', 'bye']

这不是一个bug。这是对象可变性(mutability)在作怪。每当你将一个变量赋值为另一个可变类型的变量时,对这个数据的任意改动会同时反映到这两个变量上去。新变量只不过是老变量的一个别名而已。这个情况只是针对可变数据类型。下面的函数和可变数据类型让你一下就明白了:


  
  1. def add_to(num, target=[]):
  2.     target.append(num)
  3.     return target
  4. add_to(1)
  5. # Output: [1]
  6. add_to(2)
  7. # Output: [1, 2]
  8. add_to(3)
  9. # Output: [1, 2, 3]

你可能预期它表现的不是这样子。你可能希望,当你调用add_to时,有一个新的列表被创建,就像这样:


  
  1. def add_to(num, target=[]):
  2.     target.append(num)
  3.     return target
  4. add_to(1)
  5. # Output: [1]
  6. add_to(2)
  7. # Output: [2]
  8. add_to(3)
  9. # Output: [3]

啊哈!这次又没有达到预期,是列表的可变性在作怪。在Python中当函数被定义时,默认参数只会运算一次,而不是每次被调用时都会重新运算。你应该永远不要定义可变类型的默认参数,除非你知道你正在做什么。你应该像这样做:


  
  1. def add_to(element, target=None):
  2.     if target is None:
  3.         target = []
  4.     target.append(element)
  5.     return target

现在每当你在调用这个函数不传入target参数的时候,一个新的列表会被创建。举个例子:


  
  1. add_to(42)
  2. # Output: [42]
  3. add_to(42)
  4. # Output: [42]
  5. add_to(42)
  6. # Output: [42]

__slots__魔法

在Python中,每个类都有实例属性。默认情况下Python用一个字典来保存一个对象的实例属性。这非常有用。因为它允许我们在运行时去设置任意的新属性。

然而,对于有着已知属性的小类来说,它可能是个瓶颈。这个字典浪费了很多内存。

Python不能在对象创建时直接分配一个固定量的内存来保存所有的属性。因此如果你创建许多对象(我指的是成千上万个),它会消耗掉很多内存。

不过还是有一个方法来规避这个问题。这个方法需要使用__slots__来告诉Python不要使用字典,而且只给一个固定集合的属性分配空间。

这里是一个使用与不使用__slots__的例子:

不使用__slots__:


  
  1. class MyClass(object):
  2.     def __init__(self, name, identifier):
  3.         self.name = name
  4.         self.identifier = identifier
  5.         self.set_up()

使用__slots__:


  
  1. class MyClass(object):
  2.     __slots__ = ['name', 'identifier']
  3.     def __init__(self, name, identifier):
  4.         self.name = name
  5.         self.identifier = identifier
  6.         self.set_up()

第二段代码会为你的内存减轻负担。通过这个技巧,有些人已经看到内存占用率几乎40%~50%的减少。

*稍微备注一下,你也许需要试一下PyPy。它已经默认地做了所有这些优化。

以下你可以看到一个例子,它用IPython来展示在有与没有__slots__情况下的精确内存

占用。

Python 3.4.3 (default, Jun 6 2015, 13:32:34)

Type "copyright", "credits" or "license" for more information.

IPython 4.0.0 -- An enhanced Interactive Python.

?           -> Introduction and overview of IPython's features.

%quickref   -> Quick reference.

help        -> Python's own help system.

object?     -> Details about 'object', use 'object??' for extra details.

In [1]: import ipython_memory_usage.ipython_memory_usage as imu

In [2]: imu.start_watching_memory()

In [2] used 0.0000 MiB RAM in 5.31s, peaked 0.00 MiB above current, total RAM

In [3]: %cat slots.py


  
  1. class MyClass(object):
  2.     __slots__ = ['name', 'identifier']
  3.     def __init__(self, name, identifier):
  4.         self.name = name
  5.         self.identifier = identifier

num = 1024*256

x = [MyClass(1,1) for i in range(num)]

In [3] used 0.2305 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM

In [4]: from slots import *

In [4] used 9.3008 MiB RAM in 0.72s, peaked 0.00 MiB above current, total RAM

In [5]: %cat noslots.py


  
  1. class MyClass(object):
  2.     def __init__(self, name, identifier):
  3.         self.name = name
  4.         self.identifier = identifier

num = 1024*256

x = [MyClass(1,1) for i in range(num)]

In [5] used 0.1758 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM

In [6]: from noslots import *

In [6] used 22.6680 MiB RAM in 0.80s, peaked 0.00 MiB above current

文章来源: zhulin1028.blog.csdn.net,作者:zhulin1028,版权归原作者所有,如需转载,请联系作者。

原文链接:zhulin1028.blog.csdn.net/article/details/125040217

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。