数据整理

• 定义
  • 在数据清洗过程中，很多时候需要将不同的数据整理在一起，方便后续的分析，这个过程也叫数据合并
• 合并方法
  • 常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠和纵向堆叠，按主键合并类似于sql里面的关联操作
• 横向堆叠将两张表或多张表在X轴方向，即横向拼接在一起
• 纵向堆叠将两张表或多张表在Y轴方向，即纵向拼接在一起
• 注意join 取inner或者outer，分别代表交集和并集

# 用于读取excel文件
import xlrd
import os
import pandas as pd
import numpy as np

  

 

  
1
  
2
  
3
  
4
  
5
 

os.getcwd()

  

 

  
1
 

'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之数据表处理'

  

 

  
1
 

os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据')

  

 

  
1
 

workbook = xlrd.open_workbook('meal_order_detail.xlsx')

  

 

  
1
 

# 获取工作表的名称
sheet_name = workbook.sheet_names()

  

 

  
1
  
2
 

sheet_name

  

 

  
1
 

['meal_order_detail1', 'meal_order_detail2', 'meal_order_detail3']

  

 

  
1
 

order1 = pd.read_excel('meal_order_detail.xlsx', sheet_name='meal_order_detail1')
order2 = pd.read_excel('meal_order_detail.xlsx', sheet_name='meal_order_detail2')
order3 = pd.read_excel('meal_order_detail.xlsx', sheet_name='meal_order_detail3')

  

 

  
1
  
2
  
3
 

# ignore_index=True, 表示重置索引
order = pd.concat([order1, order2, order3], axis=0, ignore_index=True)

  

 

  
1
  
2
 

# 获取末5行
order.tail(5)

  

 

  
1
  
2
 

basic = pd.DataFrame()

  

 

  
1
 

# 可以使用for循环进行合并
for i in sheet_name: basic_i = pd.read_excel('meal_order_detail.xlsx', sheet_name=i) basic = pd.concat([basic, basic_i], axis=0, ignore_index=True)

  

 

  
1
  
2
  
3
  
4
 

basic.shape

  

 

  
1
 

(10037, 19)

  

 

  
1
 

basic.tail(5)

  

 

  
1
 

df = pd.read_csv('baby_trade_history.csv', dtype={'user_id': str})

  

 

  
1
 

df1 = pd.read_csv('sam_tianchi_mum_baby.csv', dtype={'user_id': str})

  

 

  
1
 

# 基本信息数据
df1.head(5)

  

 

  
1
  
2
 

# 交易数据
df.head(5)

  

 

  
1
  
2
 

# 将df1添加到df右边，关联字段为 "user_id"
df2 = pd.merge(left=df, right=df1, how='inner', left_on='user_id', right_on='user_id')

  

 

  
1
  
2
 

df2.head(5)

  

 

  
1
 

文章来源: ruochen.blog.csdn.net，作者：若尘，版权归原作者所有，如需转载，请联系作者。

原文链接：ruochen.blog.csdn.net/article/details/105523421