使用 Python 标准库逐行统计 CSV:处理引号、空值与金额

举报
yd_217337598 发表于 2026/10/30 12:37:02 2026/10/30
【摘要】 本文由 AI 辅助撰写,示例使用虚构数据。CSV 字段可能包含逗号或换行,直接按逗号拆分会产生错误。Python 的 csv.DictReader 可逐条解析记录,避免将整个文件载入内存。下面按类别汇总金额,并统计无法解析的记录。假设 UTF-8 文件 orders.csv 内容为:category,amount"文具,办公",12.50图书,20.00图书,import csvfrom c...

本文由 AI 辅助撰写,示例使用虚构数据。

CSV 字段可能包含逗号或换行,直接按逗号拆分会产生错误。Python 的 csv.DictReader 可逐条解析记录,避免将整个文件载入内存。下面按类别汇总金额,并统计无法解析的记录。

假设 UTF-8 文件 orders.csv 内容为:

category,amount
"文具,办公",12.50
图书,20.00
图书,
import csv
from collections import defaultdict
from decimal import Decimal, InvalidOperation

sums = defaultdict(Decimal)
valid = invalid = 0
with open('orders.csv', encoding='utf-8-sig', newline='') as source:
    reader = csv.DictReader(source)
    if not reader.fieldnames or not {'category', 'amount'} <= set(reader.fieldnames):
        raise ValueError('CSV 缺少 category 或 amount 列')
    for row in reader:
        category = (row.get('category') or '').strip()
        raw_amount = (row.get('amount') or '').strip()
        try:
            amount = Decimal(raw_amount)
            if not category or not amount.is_finite():
                raise ValueError('类别为空或金额不是有限数值')
        except (InvalidOperation, ValueError):
            invalid += 1
            continue
        sums[category] += amount
        valid += 1

print(f'有效记录: {valid}, 无效记录: {invalid}')
for category, total in sorted(sums.items()):
    print(f'{category}: {total:.2f}')

示例结果:有效记录 2 条、无效记录 1 条;图书为 20.00,文具,办公为 12.50。utf-8-sig 可兼容带 BOM 的 UTF-8 文件;其他编码需要按来源明确指定。newline=‘’ 让 CSV 解析器处理换行,Decimal 避免用二进制浮点数做金额累加。

逐行读取不等于恒定内存:这里的字典仍随类别数增长。若类别接近记录数,可考虑 SQLite 等磁盘聚合;极大的单字段也受 CSV 解析器字段大小限制。生产使用还应约定重复表头、列数不匹配、金额精度及无效行审计策略,先用小样本核对结果。

参考:Python 官方 csv 标准库文档和 decimal 文档。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。