Python 读取 JSONL:为什么整个文件会报 Extra data?

举报
yd_259541464 发表于 2026/11/19 14:23:15 2026/11/19
【摘要】 有些日志或数据导出文件每行都是一条 JSON 记录:{"name":"小云","status":"ok"}{"name":"Sky","status":"ok"}这类格式通常称为 JSON Lines,简称 JSONL。每一行是一个独立的 JSON 值;上面两行合在一起并不是一个 JSON 文档。直接用 json.load() 读取整个文件时,解析器处理完第一行后还会遇到第二个值,因此可能报...

有些日志或数据导出文件每行都是一条 JSON 记录:

{"name":"小云","status":"ok"}
{"name":"Sky","status":"ok"}

这类格式通常称为 JSON Lines,简称 JSONL。每一行是一个独立的 JSON 值;上面两行合在一起并不是一个 JSON 文档。直接用 json.load() 读取整个文件时,解析器处理完第一行后还会遇到第二个值,因此可能报 JSONDecodeError: Extra data。

按行读取并标出错误位置

import json

def read_jsonl(path):
    with open(path, encoding="utf-8") as stream:
        for line_number, line in enumerate(stream, start=1):
            if not line.strip():
                continue  # 这里选择跳过空行
            try:
                yield json.loads(line)
            except json.JSONDecodeError as error:
                raise ValueError(
                    f"第 {line_number} 行不是有效的 JSON:{error.msg}"
                ) from error

for record in read_jsonl("records.jsonl"):
    print(record["name"])

逐行处理不需要先把整个文件读入内存。上面的代码选择宽容地跳过空行;如果你的数据规范要求每行都必须是 JSON,应该改成对空行报错。

写入时也要一行一条

import json

records = [
    {"name": "小云", "status": "ok"},
    {"name": "Sky", "status": "ok"},
]

with open("records.jsonl", "w", encoding="utf-8") as stream:
    for record in records:
        stream.write(json.dumps(record, ensure_ascii=False) + "\n")

json.dumps() 将每条记录编码为一行,换行符负责分隔记录。字符串中原有的换行会被 JSON 转义;ensure_ascii=False 保留可读的中文,文件仍明确以 UTF-8 写入。

如果文件实际上是一个完整 JSON 数组,例如 [{"name":"小云"}, {"name":"Sky"}],就应使用 json.load() 读取整个数组;不要按 JSONL 逐行解析。先看清文件的组织方式,再选择读取方法。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。