NumPy 系列(五):通用函数、聚合运算与计算效率

举报
yd_299290000 发表于 2026/11/16 22:32:04 2026/11/16
【摘要】 NumPy 系列(五):通用函数、聚合运算与计算效率 一、NumPy 的计算模型前几篇介绍了 NumPy 的数组结构、内存布局、索引及广播机制。本篇进一步讨论 NumPy 如何执行数值计算。NumPy 的计算能力主要建立在两个方面:一是通过通用函数执行逐元素运算,二是通过聚合操作将多个元素归约为较少的结果。与 Python 原生循环相比,这些操作通常将重复计算交给底层编译实现,从而减少解释...

NumPy 系列(五):通用函数、聚合运算与计算效率

一、NumPy 的计算模型

前几篇介绍了 NumPy 的数组结构、内存布局、索引及广播机制。本篇进一步讨论 NumPy 如何执行数值计算。

NumPy 的计算能力主要建立在两个方面:一是通过通用函数执行逐元素运算,二是通过聚合操作将多个元素归约为较少的结果。

与 Python 原生循环相比,这些操作通常将重复计算交给底层编译实现,从而减少解释器的逐元素执行开销。

但计算效率不仅取决于执行速度,还与数据类型、内存访问方式和中间数组的分配密切相关。

二、通用函数:ufunc

通用函数(Universal Function,简称 ufunc)是 NumPy 数值计算的核心机制之一。

常规 ufunc 对数组执行逐元素计算,同时支持广播、类型转换及输出数组控制。

例如:

import numpy as np

a = np.array([1.0, 2.0, 3.0])

np.add(a, 2)      # [3. 4. 5.]
np.multiply(a, 2) # [2. 4. 6.]
np.sqrt(a)        # 逐元素开平方
np.exp(a)         # 逐元素计算指数

对于数组,表达式 a + 2 通常相当于调用 np.add(a, 2)。

与普通 Python 函数不同,NumPy 内置的许多通用函数具有针对不同数据类型的底层计算实现。这使得连续处理大量数值时,可以避免逐元素调用 Python 函数的额外成本。

需要注意,np.vectorize() 虽然能够将普通 Python 函数包装为支持数组输入的形式,但主要提供接口便利,并不意味着获得了编译实现的性能优势。

三、聚合运算与 axis 参数

逐元素运算通常保持数组形状,而聚合运算(Reduction)会沿指定维度合并多个元素。

常见的聚合函数包括 sum()、mean()、min()、max()、std() 和 var()。

a = np.array([
    [1, 2, 3],
    [4, 5, 6]
])

np.sum(a)          # 21
np.sum(a, axis=0)  # [5, 7, 9]
np.sum(a, axis=1)  # [6, 15]

其中,axis 指定被归约的维度,而不是结果保留的维度。

当 axis=0 时,NumPy 沿第一个维度聚合;当 axis=1 时,则沿第二个维度聚合。

默认情况下,被归约的维度会从结果形状中移除。如果需要保留维度,可以使用 keepdims=True:

mean = np.mean(a, axis=1, keepdims=True)

print(mean.shape)  # (2, 1)

这一设计能够使聚合结果继续参与广播运算。

四、归约与累积计算

部分通用函数还提供归约方法,例如 reduce() 和 accumulate()。

a = np.array([1, 2, 3, 4])

np.add.reduce(a)
# 10

np.add.accumulate(a)
# [1, 3, 6, 10]

reduce() 将一系列元素逐步合并为最终结果,而 accumulate() 保留每一步的累积结果。

对于加法,二者分别对应求和与累积求和的基本过程。

NumPy 也提供更直接的 np.sum() 和 np.cumsum() 接口。

需要区分的是,并非所有聚合函数都是 ufunc。例如,np.mean() 是更高层的统计计算函数。

五、中间数组与内存开销

向量化可以减少 Python 循环开销,但连续执行多个数组运算,可能产生额外的中间结果。

例如:

a = np.arange(1_000_000, dtype=np.float64)

result = (a + 10) * 2

这段代码通常会先计算 a + 10,生成中间数组,然后执行乘法并产生最终结果。

对于大型数组,多次内存分配和数据读写可能成为性能瓶颈。

NumPy 允许通过 out 参数指定输出位置:

result = np.empty_like(a)

np.add(a, 10, out=result)
np.multiply(result, 2, out=result)

这里使用同一个输出数组保存两次计算结果,避免了额外的完整中间数组分配。

不过,原地写入可能改变已有数据,实际使用时必须考虑数组是否共享内存,以及是否仍需保留原始数值。

六、数据类型与数值精度

数值计算的正确性还受到数据类型的影响。

对于固定宽度整数,当运算结果超出类型范围时,可能发生整数溢出。

对于浮点数,有限精度意味着运算结果可能存在舍入误差,尤其在大量元素累积求和时更加明显。

例如:

a = np.array([0.1] * 10000, dtype=np.float32)

mean = np.mean(a)
mean64 = np.mean(a, dtype=np.float64)

第二次计算使用更高精度的累加类型,可以降低部分累积误差,但无法恢复输入数据在存储为 float32 时已经丢失的精度。

因此,计算性能与数值精度需要结合具体任务共同评估,而不能简单认为数据类型越小越好。

七、结语

NumPy 的高效计算并非来自某个单独的函数,而是统一数组表示、底层计算实现与内存访问机制共同作用的结果。

理解其性能特征,需要区分逐元素计算与聚合计算,并关注中间数组、数据类型和内存读写成本。

在此基础上,才能进一步判断哪些操作可以通过向量化获得优势,哪些计算需要重新组织数据或减少内存分配。

下一篇将讨论 NumPy 的形状变换与数组拼接,分析 reshape、transpose、concatenate 等操作的执行机制及内存成本。


下一篇:NumPy 系列(六):形状变换、维度操作与数组拼接

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。