collections 使用教程

举报
清风Python 发表于 2018/04/23 09:38:12 2018/04/23
【摘要】 引言Python为我们提供了4种基本的数据结构:list, tuple, dict, set,但是在处理数据量较大的情形的时候,这4种数据结构就明显过于单一了,比如list作为单向链表在某些情形插入的效率会比较低,有时候我们也需要维护一个有序的dict。所以这个时候我们就要用到Python标准库为我们提供的collections包了,它提供了多个有用的集合类,熟练掌握这些集合类,不仅可以让我...

引言


Python为我们提供了4种基本的数据结构:list, tuple, dict, set,但是在处理数据量较大的情形的时候,这4种数据结构就明显过于单一了,比如list作为单向链表在某些情形插入的效率会比较低,有时候我们也需要维护一个有序的dict。所以这个时候我们就要用到Python标准库为我们提供的collections包了,它提供了多个有用的集合类,熟练掌握这些集合类,不仅可以让我们让写出的代码更加Pythonic,也可以提高我们程序的运行效率。


defaultdict的使用


defaultdict(default_factory)在普通的dict(字典)之上添加了default_factory,使得key(键)不存在时会自动生成相应类型的value(值),default_factory参数可以指定成list, set, int等各种合法类型。


example1


>>> from collections import defaultdict

>>> s = [('red', 1), ('blue', 2), ('red', 3), ('blue', 4), ('red', 1), ('blue', 4)]


我们现在有上面这样一组list(列表),虽然我们有6组数据,但是仔细观察后发现其实我们只有两种color(颜色),但是每一个color对应多个值。现在我们想要将这个list转换成一个dict(字典),这个dict的key(键)对应一种color,dict的value(值)设置为一个list存放color对应的多个值。我们可以使用defaultdict(list)来解决这个问题。


# d可以看作一个dict(字典),dict的value是一个list(列表)

>>> d = defaultdict(list)

>>> for k, v in s:

...     d[k].append(v)

...

>>> d

defaultdict(<class 'list'>, {'blue'[2, 4, 4], 'red'[1, 3, 1]})


example2


上面这个例子中有一些不完美的地方,比如说{‘blue’: [2, 4, 4], ‘red’: [1, 3, 1]}这个defaultdict中blue颜色中包含两个4,red颜色中包含两个1,但是我们不希望含有重复的元素,这个时候可以考虑使用defaultdict(set)来解决这个问题。set(集合)相比list(列表)的不同之处在于set中不允许存在相同的元素。


>>> d = defaultdict(set)

>>> for k, v in s:

...     d[k].add(v)

...

>>> d

defaultdict(<class 'set'>, {'blue'{2, 4}, 'red'{1, 3}})


example3


>>> s = 'hello world'


通过使用defaultdict(int)的形式我们来统计一个字符串中每个字符出现的个数。


>>> d = defaultdict(int)

>>> for k in s:

...     d[k] += 1

...

>>> d

defaultdict(<class 'int'>, {'o'2, 'h'1, 'w'1, 'l'3, ' '1, 'd'1, 'e'1, 'r'1})


OrderedDict的使用


我们知道默认的dict(字典)是无序的,但是在某些情形我们需要保持dict的有序性,这个时候可以使用OrderedDict,它是dict的一个subclass(子类),但是在dict的基础上保持了dict的有序型,下面我们来看一下使用方法。


example1


>>> from collections import OrderedDict

# 无序的dict

>>> d = {'banana'3, 'apple'4, 'pear'1, 'orange'2}


这是一个无序的dict(字典),现在我们可以使用OrderedDict来让这个dict变得有序。


# 将d按照key来排序

>>> OrderedDict(sorted(d.items(), key=lambda tt[0]))

OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])

# 将d按照value来排序

>>> OrderedDict(sorted(d.items(), key=lambda tt[1]))

OrderedDict([('pear', 1), ('orange', 2), ('banana', 3), ('apple', 4)])

# 将d按照key的长度来排序

>>> OrderedDict(sorted(d.items(), key=lambda tlen(t[0])))

OrderedDict([('pear', 1), ('apple', 4), ('orange', 2), ('banana', 3)])


example2


使用popitem(last=True)方法可以让我们按照LIFO(先进后出)的顺序删除dict中的key-value,即删除最后一个插入的键值对,如果last=False就按照FIFO(先进先出)删除dict中key-value。


>>> d = {'banana'3, 'apple'4, 'pear'1, 'orange'2}

# 将d按照key来排序

>>> d = OrderedDict(sorted(d.items(), key=lambda tt[0]))

>>> d

OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])

# 使用popitem()方法来移除最后一个key-value对

>>> d.popitem()

('pear', 1)

# 使用popitem(last=False)来移除第一个key-value对

>>> d.popitem(last=False)

('apple', 4)


example3


使用move_to_end(key, last=True)来改变有序的OrderedDict对象的key-value顺序,通过这个方法我们可以将排序好的OrderedDict对象中的任意一个key-value插入到字典的开头或者结尾。


>>> d = OrderedDict.fromkeys('abcde')

>>> d

OrderedDict([('a', None), ('b', None), ('c', None), ('d', None), ('e', None)])

# 将key为b的key-value对移动到dict的最后

>>> d.move_to_end('b')

>>> d

OrderedDict([('a', None), ('c', None), ('d', None), ('e', None), ('b', None)])

>>> ''.join(d.keys())

'acdeb'

# 将key为b的key-value对移动到dict的最前面

>>> d.move_to_end('b', last=False)

>>> ''.join(d.keys())

'bacde'


deque的使用


list存储数据的优势在于按找索引查找元素会很快,但是插入和删除元素就很慢了,因为它是是单链表的数据结构。deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈,而且线程安全。


list只提供了append和pop方法来从list的尾部插入/删除元素,但是deque新增了appendleft/popleft允许我们高效的在元素的开头来插入/删除元素。而且使用deque在队列两端添加(append)或弹出(pop)元素的算法复杂度大约是O(1),但是对于list对象改变列表长度和数据位置的操作例如 pop(0)和insert(0, v)操作的复杂度高达O(n)。由于对deque的操作和list基本一致,这里就不重复了。


ChainMap的使用


ChainMap用来将多个dict(字典)组成一个list(只是比喻),可以理解成合并多个字典,但和update不同,而且效率更高。


>>> from collections import ChainMap

>>> a = {'a''A', 'c''C'}

>>> b = {'b''B', 'c''D'}

>>> m = ChainMap(a, b)

# 构造一个ChainMap对象

>>> m

ChainMap({'a''A', 'c''C'}, {'b''B', 'c''D'})

>>> m['a']

'A'

>>> m['b']

'B'

# 将m变成一个list

>>> m.maps

[{'a''A', 'c''C'}, {'b''B', 'c''D'}]


# 更新a中的值也会对ChainMap对象造成影响

>>> a['c'] = 'E'

>>> m['c']

'E'

# 从m复制一个ChainMap对象,更新这个复制的对象并不会对m造成影响

>>> m2 = m.new_child()

>>> m2['c'] = 'f'

>>> m['c']

'E'

>>> a['c']

'E'

>>> m2.parents

ChainMap({'a''A', 'c''C'}, {'b''B', 'c''D'})


Counter的使用


example1


Counter也是dict的一个subclass,它是一个无序容器,可以看做一个计数器,用来统计相关元素出现的个数。


>>> from collections import Counter

>>> cnt = Counter()

# 统计列表中元素出现的个数

>>> for word in ['red', 'blue', 'red', 'green', 'blue', 'blue']:

...  cnt[word] += 1

...

>>> cnt

Counter({'blue'3, 'red'2, 'green'1})

# 统计字符串中元素出现的个数

>>> cnt = Counter()

>>> for ch in 'hello':

...     cnt[ch] = cnt[ch] + 1

...

>>> cnt

Counter({'l'2, 'o'1, 'h'1, 'e'1})


example2


使用elements()方法按照元素的出现次数返回一个iterator(迭代器),元素以任意的顺序返回,如果元素的计数小于1,将忽略它。


>>> c = Counter(a=4, b=2, c=0, d=-2)

>>> c

Counter({'a'4, 'b'2, 'c'0, 'd': -2})

>>> c.elements()

<itertools.chain object at 0x7fb0a069ccf8>

>>> next(c)

'a'

# 排序

>>> sorted(c.elements())

['a', 'a', 'a', 'a', 'b', 'b']


使用most_common(n)返回一个list, list中包含Counter对象中出现最多前n个元素。


>>> c = Counter('abracadabra')

>>> c

Counter({'a'5, 'b'2, 'r'2, 'd'1, 'c'1})

>>> c.most_common(3)

[('a', 5), ('b', 2), ('r', 2)]


namedtuple的使用


使用namedtuple(typename, field_names)命名tuple中的元素来使程序更具可读性。


>>> from collections import namedtuple

>>> Point = namedtuple('PointExtension', ['x', 'y'])

>>> p = Point(1, 2)

>>> p.__class__.__name__

'PointExtension'

>>> p.x

1

>>> p.y

2


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。