用 Python 清洗跨境电商商品数据：去重、补全与格式统一的实用做法

做跨境电商时，商品数据往往来自多个平台导出的表格：字段名不统一、同一商品重复出现、价格带货币符号、尺码写法五花八门。直接拿这样的表去上架或做分析，很容易出错。下面是我在实际整理商品表时常用的清洗思路，用 Python 的 pandas 就能完成，不需要额外搭建系统。

一、先去重，再谈其他

去重的关键是先定好“什么算同一件商品”。只看标题不可靠，因为同一商品在不同平台的标题可能差几个词。更稳的做法是以平台加 SKU 或条码作为主键，再按更新时间保留最新的一行。操作上先把标题、SKU 前后的空格去掉，统一转小写，再用 drop_duplicates 按主键去重。去重前一定要把原始表另存一份，清洗只在副本上做，删掉的行单独导出一份清单，方便事后复核。

二、补全缺失字段要有规则，不能凭空编

先列一张必填字段清单，例如标题、SKU、价格、库存、类目、主图链接。缺失时分三类处理：能推断的按规则补，比如根据标题关键词归类目；能从其他表关联到的，用 SKU 去关联补；实在没有的，标记为“待补”并列入待办，而不是编一个假值填上去。主图缺失、价格缺失的商品不要直接上架，先放进异常清单人工确认。

三、格式统一是省力的大头

价格字段常带有货币符号和千分位逗号，先去掉符号和逗号，再转成数字，转换失败的行不要丢弃，单独输出检查。尺码是最容易乱的字段，M、m、Medium、均码可能指同一个尺码，建议建一张映射表统一成标准写法。日期统一转成 ISO 格式，重量、尺寸统一单位。文本字段统一去除首尾空格和多余换行，编码统一用 UTF-8 保存，避免在不同系统间打开出现乱码。

四、一个可复用的小流程

我的常用顺序是：读表、统一列名、去空格、去重、补全、格式转换、生成校验报告。校验报告里至少包含三项：去重删了多少行、各字段缺失数量、格式转换失败的行数。每次清洗完先看报告，确认异常行都可解释，再把结果表保存为新文件，原始表不动。这样下次换一批商品数据，只需要改映射表和必填清单，流程本身不用重写。

小结：商品数据清洗的核心不是写多复杂的代码，而是先把规则定清楚：主键是什么、哪些字段必填、每种格式的标准写法是什么。规则清楚了，Python 只是把重复劳动自动化。把清洗过程和异常清单留下来，团队里其他人接手时也能按同样的标准执行，出错的概率会明显降低。