解决numpy.core._exceptions.MemoryError: Unable to allocate 1.04 Mi

举报
AiCharm 发表于 2023/05/14 17:07:26 2023/05/14
【摘要】 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足,因为需要处理的数据量太大,GPU性能不够,存在内存溢出现象但实际上它保存的不是模型文件,而是参数文件文件。在模型文件...

报错

numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64

原因

最主要的还是电脑内存不足,因为需要处理的数据量太大,GPU性能不够,存在内存溢出现象

但实际上它保存的不是模型文件,而是参数文件文件。在模型文件中,存储完整的模型,而在状态文件中,仅存储参数。因此,collections.OrderedDict只是模型的值。

解决方案

1.修改float精度

在代码中我使用的是flaot 64 类型。但是实际上未必需要这么大的精度,这时候可以使用numpy中的float32, float16等,这样可以降低很多的内存需求。

2. python库、Pandas和Numpy库更新为64位

ython原始的数据类型是32位,但是最大只能使用 2G 内存,超过 2G 报错MemoryError。

如果你的Python用的是32位的,那么你的pandas和Numpy也只能是32位的,那么当你的内存使用超过2G时,就会自动终止内存。而 64bit python则无此限制,所以建议使用 64bit python。

解决方法就是:检查自己安装的python是多少位的,CMD输入python,如果是32位,那么就重装64位的Python。

如果你的python本来安装的就是64位的,可以采用下面的方法!

3. 扩充虚拟内存

在运行代码的过程中发现,内存其实只用到了一半不到,但是为什么会出现Memory的错误呢?
进过百度发现说是内存被限制了,所以考虑采用扩大虚拟内存的方法。
扩大虚拟内存的方法:

  1. 打开 控制面板
  2. 点击 系统 这一项;
  3. 点击 高级系统设置 这一项;
  4. 点击 性能 模块的 设置 按钮;
  5. 选择高级面板,点击更改 虚拟内存 模块;
  6. 记得 不要选中自动管理所有驱动器的分页文件大小”,然后选择一个驱动器,也就是一个盘,选中自定义大小,手动输入初始大小和最大值,但是不要太大!
  7. 都设置好之后,记得点击 “设置”, 然后再确定,否则无效,最后 重启电脑 就可以了。

4. 更改Python读取大文件的方法

出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,这里将介绍这两种读取方法。

Preliminary

我们谈到“文本处理”时,我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法: .read().readline().readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容最直接的字符串表示,但对于连续的面向行的处理,它却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。下面是read()方法示例:

try:
    f = open('/path/to/file', 'r')
    print f.read()
finally:
    if f:
        f.close()

调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。
  如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

for line in f.readlines():
    process(line) # <do something with line>

Read In Chunks

处理大文件是很容易想到的就是将大文件分割成若干小文件处理,处理完每个小文件后释放该部分内存。这里用了 iter & yield

def read_in_chunks(filePath, chunk_size=1024*1024):
    """
    Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1M
    You can set your own chunk size 
    """
    file_object = open(filePath)
    while True:
        chunk_data = file_object.read(chunk_size)
        if not chunk_data:
            break
        yield chunk_data
if __name__ == "__main__":
    filePath = './path/filename'
    for chunk in read_in_chunks(filePath):
        process(chunk) # <do something with chunk>

Using with open()

with语句打开和关闭文件,包括抛出一个内部块异常。for line in f文件对象f视为一个迭代器,会自动的采用缓冲IO和内存管理,所以你不必担心大文件。

#If the file is line based
with open(...) as f:
    for line in f:
        process(line) # <do something with line>
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。