Python 读取 JSONL:为什么整个文件会报 Extra data?
【摘要】 有些日志或数据导出文件每行都是一条 JSON 记录:{"name":"小云","status":"ok"}{"name":"Sky","status":"ok"}这类格式通常称为 JSON Lines,简称 JSONL。每一行是一个独立的 JSON 值;上面两行合在一起并不是一个 JSON 文档。直接用 json.load() 读取整个文件时,解析器处理完第一行后还会遇到第二个值,因此可能报...
有些日志或数据导出文件每行都是一条 JSON 记录:
{"name":"小云","status":"ok"}
{"name":"Sky","status":"ok"}
这类格式通常称为 JSON Lines,简称 JSONL。每一行是一个独立的 JSON 值;上面两行合在一起并不是一个 JSON 文档。直接用 json.load() 读取整个文件时,解析器处理完第一行后还会遇到第二个值,因此可能报 JSONDecodeError: Extra data。
按行读取并标出错误位置
import json
def read_jsonl(path):
with open(path, encoding="utf-8") as stream:
for line_number, line in enumerate(stream, start=1):
if not line.strip():
continue # 这里选择跳过空行
try:
yield json.loads(line)
except json.JSONDecodeError as error:
raise ValueError(
f"第 {line_number} 行不是有效的 JSON:{error.msg}"
) from error
for record in read_jsonl("records.jsonl"):
print(record["name"])
逐行处理不需要先把整个文件读入内存。上面的代码选择宽容地跳过空行;如果你的数据规范要求每行都必须是 JSON,应该改成对空行报错。
写入时也要一行一条
import json
records = [
{"name": "小云", "status": "ok"},
{"name": "Sky", "status": "ok"},
]
with open("records.jsonl", "w", encoding="utf-8") as stream:
for record in records:
stream.write(json.dumps(record, ensure_ascii=False) + "\n")
json.dumps() 将每条记录编码为一行,换行符负责分隔记录。字符串中原有的换行会被 JSON 转义;ensure_ascii=False 保留可读的中文,文件仍明确以 UTF-8 写入。
如果文件实际上是一个完整 JSON 数组,例如 [{"name":"小云"}, {"name":"Sky"}],就应使用 json.load() 读取整个数组;不要按 JSONL 逐行解析。先看清文件的组织方式,再选择读取方法。
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)