使用 Python 标准库逐行统计 CSV:处理引号、空值与金额
【摘要】 本文由 AI 辅助撰写,示例使用虚构数据。CSV 字段可能包含逗号或换行,直接按逗号拆分会产生错误。Python 的 csv.DictReader 可逐条解析记录,避免将整个文件载入内存。下面按类别汇总金额,并统计无法解析的记录。假设 UTF-8 文件 orders.csv 内容为:category,amount"文具,办公",12.50图书,20.00图书,import csvfrom c...
本文由 AI 辅助撰写,示例使用虚构数据。
CSV 字段可能包含逗号或换行,直接按逗号拆分会产生错误。Python 的 csv.DictReader 可逐条解析记录,避免将整个文件载入内存。下面按类别汇总金额,并统计无法解析的记录。
假设 UTF-8 文件 orders.csv 内容为:
category,amount
"文具,办公",12.50
图书,20.00
图书,
import csv
from collections import defaultdict
from decimal import Decimal, InvalidOperation
sums = defaultdict(Decimal)
valid = invalid = 0
with open('orders.csv', encoding='utf-8-sig', newline='') as source:
reader = csv.DictReader(source)
if not reader.fieldnames or not {'category', 'amount'} <= set(reader.fieldnames):
raise ValueError('CSV 缺少 category 或 amount 列')
for row in reader:
category = (row.get('category') or '').strip()
raw_amount = (row.get('amount') or '').strip()
try:
amount = Decimal(raw_amount)
if not category or not amount.is_finite():
raise ValueError('类别为空或金额不是有限数值')
except (InvalidOperation, ValueError):
invalid += 1
continue
sums[category] += amount
valid += 1
print(f'有效记录: {valid}, 无效记录: {invalid}')
for category, total in sorted(sums.items()):
print(f'{category}: {total:.2f}')
示例结果:有效记录 2 条、无效记录 1 条;图书为 20.00,文具,办公为 12.50。utf-8-sig 可兼容带 BOM 的 UTF-8 文件;其他编码需要按来源明确指定。newline=‘’ 让 CSV 解析器处理换行,Decimal 避免用二进制浮点数做金额累加。
逐行读取不等于恒定内存:这里的字典仍随类别数增长。若类别接近记录数,可考虑 SQLite 等磁盘聚合;极大的单字段也受 CSV 解析器字段大小限制。生产使用还应约定重复表头、列数不匹配、金额精度及无效行审计策略,先用小样本核对结果。
参考:Python 官方 csv 标准库文档和 decimal 文档。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)