NumPy 系列(五):通用函数、聚合运算与计算效率
NumPy 系列(五):通用函数、聚合运算与计算效率
一、NumPy 的计算模型
前几篇介绍了 NumPy 的数组结构、内存布局、索引及广播机制。本篇进一步讨论 NumPy 如何执行数值计算。
NumPy 的计算能力主要建立在两个方面:一是通过通用函数执行逐元素运算,二是通过聚合操作将多个元素归约为较少的结果。
与 Python 原生循环相比,这些操作通常将重复计算交给底层编译实现,从而减少解释器的逐元素执行开销。
但计算效率不仅取决于执行速度,还与数据类型、内存访问方式和中间数组的分配密切相关。
二、通用函数:ufunc
通用函数(Universal Function,简称 ufunc)是 NumPy 数值计算的核心机制之一。
常规 ufunc 对数组执行逐元素计算,同时支持广播、类型转换及输出数组控制。
例如:
import numpy as np
a = np.array([1.0, 2.0, 3.0])
np.add(a, 2) # [3. 4. 5.]
np.multiply(a, 2) # [2. 4. 6.]
np.sqrt(a) # 逐元素开平方
np.exp(a) # 逐元素计算指数
对于数组,表达式 a + 2 通常相当于调用 np.add(a, 2)。
与普通 Python 函数不同,NumPy 内置的许多通用函数具有针对不同数据类型的底层计算实现。这使得连续处理大量数值时,可以避免逐元素调用 Python 函数的额外成本。
需要注意,np.vectorize() 虽然能够将普通 Python 函数包装为支持数组输入的形式,但主要提供接口便利,并不意味着获得了编译实现的性能优势。
三、聚合运算与 axis 参数
逐元素运算通常保持数组形状,而聚合运算(Reduction)会沿指定维度合并多个元素。
常见的聚合函数包括 sum()、mean()、min()、max()、std() 和 var()。
a = np.array([
[1, 2, 3],
[4, 5, 6]
])
np.sum(a) # 21
np.sum(a, axis=0) # [5, 7, 9]
np.sum(a, axis=1) # [6, 15]
其中,axis 指定被归约的维度,而不是结果保留的维度。
当 axis=0 时,NumPy 沿第一个维度聚合;当 axis=1 时,则沿第二个维度聚合。
默认情况下,被归约的维度会从结果形状中移除。如果需要保留维度,可以使用 keepdims=True:
mean = np.mean(a, axis=1, keepdims=True)
print(mean.shape) # (2, 1)
这一设计能够使聚合结果继续参与广播运算。
四、归约与累积计算
部分通用函数还提供归约方法,例如 reduce() 和 accumulate()。
a = np.array([1, 2, 3, 4])
np.add.reduce(a)
# 10
np.add.accumulate(a)
# [1, 3, 6, 10]
reduce() 将一系列元素逐步合并为最终结果,而 accumulate() 保留每一步的累积结果。
对于加法,二者分别对应求和与累积求和的基本过程。
NumPy 也提供更直接的 np.sum() 和 np.cumsum() 接口。
需要区分的是,并非所有聚合函数都是 ufunc。例如,np.mean() 是更高层的统计计算函数。
五、中间数组与内存开销
向量化可以减少 Python 循环开销,但连续执行多个数组运算,可能产生额外的中间结果。
例如:
a = np.arange(1_000_000, dtype=np.float64)
result = (a + 10) * 2
这段代码通常会先计算 a + 10,生成中间数组,然后执行乘法并产生最终结果。
对于大型数组,多次内存分配和数据读写可能成为性能瓶颈。
NumPy 允许通过 out 参数指定输出位置:
result = np.empty_like(a)
np.add(a, 10, out=result)
np.multiply(result, 2, out=result)
这里使用同一个输出数组保存两次计算结果,避免了额外的完整中间数组分配。
不过,原地写入可能改变已有数据,实际使用时必须考虑数组是否共享内存,以及是否仍需保留原始数值。
六、数据类型与数值精度
数值计算的正确性还受到数据类型的影响。
对于固定宽度整数,当运算结果超出类型范围时,可能发生整数溢出。
对于浮点数,有限精度意味着运算结果可能存在舍入误差,尤其在大量元素累积求和时更加明显。
例如:
a = np.array([0.1] * 10000, dtype=np.float32)
mean = np.mean(a)
mean64 = np.mean(a, dtype=np.float64)
第二次计算使用更高精度的累加类型,可以降低部分累积误差,但无法恢复输入数据在存储为 float32 时已经丢失的精度。
因此,计算性能与数值精度需要结合具体任务共同评估,而不能简单认为数据类型越小越好。
七、结语
NumPy 的高效计算并非来自某个单独的函数,而是统一数组表示、底层计算实现与内存访问机制共同作用的结果。
理解其性能特征,需要区分逐元素计算与聚合计算,并关注中间数组、数据类型和内存读写成本。
在此基础上,才能进一步判断哪些操作可以通过向量化获得优势,哪些计算需要重新组织数据或减少内存分配。
下一篇将讨论 NumPy 的形状变换与数组拼接,分析 reshape、transpose、concatenate 等操作的执行机制及内存成本。
下一篇:NumPy 系列(六):形状变换、维度操作与数组拼接
- 点赞
- 收藏
- 关注作者
评论(0)