[Python3 网络爬虫开发实战] 5.1.3-CSV 文件存储

举报
崔庆才丨静觅 发表于 2021/05/22 00:01:26 2021/05/22
【摘要】 CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简...

CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简介，XLS 文本是电子表格，它包含了文本、数值、公式和格式等内容，而 CSV 中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用 CSV 来保存数据是比较方便的。本节中，我们来讲解 Python 读取和写入 CSV 文件的过程。

1. 写入

这里先看一个最简单的例子：

1
2
3
4
5
6
7
8
 
import csv

with open('data.csv', 'w') as csvfile:
 writer = csv.writer(csvfile)
 writer.writerow(['id', 'name', 'age'])
 writer.writerow(['10001', 'Mike', 20])
 writer.writerow(['10002', 'Bob', 22])
 writer.writerow(['10003', 'Jordan', 21])

首先，打开 data.csv 文件，然后指定打开的模式为 w（即写入），获得文件句柄，随后调用 csv 库的 writer() 方法初始化写入对象，传入该句柄，然后调用 writerow() 方法传入每行的数据即可完成写入。

运行结束后，会生成一个名为 data.csv 的文件，此时数据就成功写入了。直接以文本形式打开的话，其内容如下：

1
2
3
4
 
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21

可以看到，写入的文本默认以逗号分隔，调用一次 writerow() 方法即可写入一行数据。用 Excel 打开的结果如图 5-6 所示。

图 5-6 打开结果

如果想修改列与列之间的分隔符，可以传入 delimiter 参数，其代码如下：

1
2
3
4
5
6
7
8
 
import csv

with open('data.csv', 'w') as csvfile:
 writer = csv.writer(csvfile, delimiter=' ')
 writer.writerow(['id', 'name', 'age'])
 writer.writerow(['10001', 'Mike', 20])
 writer.writerow(['10002', 'Bob', 22])
 writer.writerow(['10003', 'Jordan', 21])

这里在初始化写入对象时传入 delimiter 为空格，此时输出结果的每一列就是以空格分隔了，内容如下：

1
2
3
4
 
id name age
10001 Mike 20
10002 Bob 22
10003 Jordan 21

另外，我们也可以调用 writerows() 方法同时写入多行，此时参数就需要为二维列表，例如：

1
2
3
4
5
6
 
import csv

with open('data.csv', 'w') as csvfile:
 writer = csv.writer(csvfile)
 writer.writerow(['id', 'name', 'age'])
 writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])

输出效果是相同的，内容如下：

1
2
3
4
 
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21

但是一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。在 csv 库中也提供了字典的写入方式，示例如下：

1
2
3
4
5
6
7
8
9
 
import csv

with open('data.csv', 'w') as csvfile:
 fieldnames = ['id', 'name', 'age']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
 writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
 writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

这里先定义 3 个字段，用 fieldnames 表示，然后将其传给 DictWriter 来初始化一个字典写入对象，接着可以调用 writeheader() 方法先写入头信息，然后再调用 writerow() 方法传入相应字典即可。最终写入的结果是完全相同的，内容如下：

1
2
3
4
 
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21

这样就可以完成字典到 CSV 文件的写入了。

另外，如果想追加写入的话，可以修改文件的打开模式，即将 open() 函数的第二个参数改成 a，代码如下：

1
2
3
4
5
6
 
import csv

with open('data.csv', 'a') as csvfile:
 fieldnames = ['id', 'name', 'age']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})

这样在上面的基础上再执行这段代码，文件内容便会变成：

1
2
3
4
5
 
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
10004,Durant,22

可见，数据被追加写入到文件中。

如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给 open() 参数指定编码格式。比如，这里再写入一行包含中文的数据，代码需要改写如下：

1
2
3
4
5
6
 
import csv

with open('data.csv', 'a', encoding='utf-8') as csvfile:
 fieldnames = ['id', 'name', 'age']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writerow({'id': '10005', 'name': '王伟', 'age': 22})

这里需要给 open() 函数指定编码，否则可能发生编码错误。

另外，如果接触过 pandas 等库的话，可以调用 DataFrame 对象的 to_csv() 方法来将数据写入 CSV 文件中。

2. 读取

我们同样可以使用 csv 库来读取 CSV 文件。例如，将刚才写入的文件内容读取出来，相关代码如下：

1
2
3
4
5
6
 
import csv

with open('data.csv', 'r', encoding='utf-8') as csvfile:
 reader = csv.reader(csvfile)
 for row in reader:
 print(row)

运行结果如下：

1
2
3
4
5
6
 
['id', 'name', 'age']
['10001', 'Mike', '20']
['10002', 'Bob', '22']
['10003', 'Jordan', '21']
['10004', 'Durant', '22']
['10005', '王伟', '22']

这里我们构造的是 Reader 对象，通过遍历输出了每行的内容，每一行都是一个列表形式。注意，如果 CSV 文件中包含中文的话，还需要指定文件编码。

另外，如果接触过 pandas 的话，可以利用 read_csv() 方法将数据从 CSV 中读取出来，例如：

1
2
3
4
 
import pandas  as pd

df = pd.read_csv('data.csv')
print(df)

运行结果如下：

1
2
3
4
5
6
 
 id name  age
0  10001 Mike   20
1  10002 Bob   22
2  10003  Jordan   21
3  10004  Durant   22
4  10005 王伟   22

在做数据分析的时候，此种方法用得比较多，也是一种比较方便地读取 CSV 文件的方法。

本节中，我们了解了 CSV 文件的写入和读取方式。这也是一种常用的数据存储方式，需要熟练掌握。

文章来源: cuiqingcai.com，作者：崔庆才，版权归原作者所有，如需转载，请联系作者。

原文链接：cuiqingcai.com/5571.html

【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Python 网络
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入