Excel处理10万行数据卡死？Python pandas 3秒搞定实战

为什么Excel会卡死？

• 它运行在Python环境中，可以利用多核CPU
• 它只处理纯数据，不加载任何格式信息
• 底层用C语言优化过，向量化运算速度极快
• 数据以DataFrame（二维表格）形式存在内存中，操作效率极高

环境准备（5分钟搞定）

第一步：安装Python

第二步：安装pandas

pip install pandas openpyxl

实战一：3秒读取10万行数据

import pandas as pd
import time

start = time.time()

# 读取Excel文件
df = pd.read_excel('sales_data.xlsx')

end = time.time()
print(f"读取完成！共 {len(df)} 行数据")
print(f"耗时：{end - start:.2f} 秒")
print(df.head())  # 查看前5行

读取完成！共 100000 行数据
耗时：2.87 秒
   订单ID       日期   产品名称  销售数量   单价   地区
0  10001  2024-01-15  产品A     50  29.9  华东
1  10002  2024-01-15  产品B    120  15.5  华南
2  10003  2024-01-16  产品A     30  29.9  华北
3  10004  2024-01-16  产品C     80  45.0  华东
4  10005  2024-01-17  产品B     60  15.5  西南

💡 小技巧：如果你的数据量更大（50万行以上），建议把Excel另存为CSV格式再用 pd.read_csv() 读取，速度还能再快一倍。

实战二：数据清洗（比Excel快10倍）

场景1：删除重复行

df_clean = df.drop_duplicates()
print(f"去重前：{len(df)} 行，去重后：{len(df_clean)} 行")

场景2：处理空值

# 查看哪些列有空值
print(df.isnull().sum())

# 删除包含空值的行
df_clean = df.dropna()

# 或者用指定值填充空值
df_filled = df.fillna({'销售数量': 0, '单价': df['单价'].mean()})

场景3：新增计算列

df['销售总额'] = df['销售数量'] * df['单价']

实战三：数据分析（告别数据透视表）

场景：按地区统计销售总额

region_summary = df.groupby('地区')['销售总额'].agg(['sum', 'mean', 'count'])
print(region_summary)

sum        mean  count
地区
华东   1523450    456.2   3340
华南   1389021    389.1   3570
华北   1204532    412.8   2918
西南    987654    378.5   2608
东北    876543    401.2   2185

场景：按产品统计销量Top10

top_products = df.groupby('产品名称')['销售数量'].sum().sort_values(ascending=False).head(10)
print(top_products)

实战四：多表合并（VLOOKUP的终极替代）

# 读取产品信息表
products = pd.read_excel('product_info.xlsx')

# 合并（类似VLOOKUP）
df_merged = df.merge(products, on='产品名称', how='left')

print(df_merged.head())

实战五：结果导出

# 导出为Excel
df_merged.to_excel('分析结果.xlsx', index=False)

# 导出为CSV（更快，文件更小）
df_merged.to_csv('分析结果.csv', index=False, encoding='utf-8-sig')

完整实战脚本

import pandas as pd
import time

start = time.time()

# 1. 读取数据
print("正在读取数据...")
df = pd.read_excel('sales_data.xlsx')
print(f"读取完成，共 {len(df)} 行")

# 2. 数据清洗
print("正在清洗数据...")
df = df.drop_duplicates()          # 去重
df = df.dropna()                   # 删除空值
df['销售总额'] = df['销售数量'] * df['单价']  # 新增计算列

# 3. 数据分析
print("正在分析数据...")
region_summary = df.groupby('地区')['销售总额'].agg(['sum', 'mean', 'count'])
top_products = df.groupby('产品名称')['销售数量'].sum().sort_values(ascending=False).head(10)

# 4. 导出结果
print("正在导出结果...")
with pd.ExcelWriter('分析结果.xlsx') as writer:
    region_summary.to_excel(writer, sheet_name='地区汇总')
    top_products.to_excel(writer, sheet_name='产品Top10')
    df.to_excel(writer, sheet_name='明细数据', index=False)

end = time.time()
print(f"\n✅ 全部完成！总耗时：{end - start:.2f} 秒")

性能对比

常见问题

写在最后

• 几千行数据，简单分析​ → Excel完全够用
• 几万到几十万行，需要频繁处理​ → pandas是你的救星
• 百万行以上​ → 该考虑数据库了