Python—pandas中DataFrame类型数据操作函数

python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 
本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。 
1）查看DataFrame数据及属性

  

   

    

     

    
    

     

      df_obj = DataFrame() #创建DataFrame对象
     
    
   

    

     

    
    

     

      df_obj.dtypes #查看各行的数据格式
     
    
   

    

     

    
    

     

      df_obj['列名'].astype(int)#转换某列的数据类型
     
    
   

    

     

    
    

     

      df_obj.head() #查看前几行的数据,默认前5行
     
    
   

    

     

    
    

     

      df_obj.tail() #查看后几行的数据,默认后5行
     
    
   

    

     

    
    

     

      df_obj.index #查看索引
     
    
   

    

     

    
    

     

      df_obj.columns #查看列名
     
    
   

    

     

    
    

     

      df_obj.values #查看数据值
     
    
   

    

     

    
    

     

      df_obj.describe() #描述性统计
     
    
   

    

     

    
    

     

      df_obj.T #转置
     
    
   

    

     

    
    

     

      df_obj.sort_values(by=['',''])#同上
     
    
  
 

2）使用DataFrame选择数据:

  

   

    

     

    
    

     

      df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
     
    
   

    

     

    
    

     

      df_obj.ix[columns_index] #获取列的数据
     
    
   

    

     

    
    

     

      df_obj.ix[1:3，[1,3]]#获取1列3列的1~3行数据
     
    
   

    

     

    
    

     

      df_obj[columns].drop_duplicates() #剔除重复行数据
     
    
  
 

3）使用DataFrame重置数据:

df_obj.ix[1:3，[1,3]]=1#所选位置数据替换为1
 

4）使用DataFrame筛选数据(类似SQL中的WHERE):

  

   

    

     

    
    

     

      alist = ['023-18996609823']
     
    
   

    

     

    
    

     

      df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
     
    
   

    

     

    
    

     

      df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行
     
    
  
 

5）使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
 

6）使用DataFrame进行数据转换(后期补充说明)

df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
 

可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’ 
7）使用pandas中读取数据:

  

   

    

     

    
    

     

      read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等
     
    
   

    

     

    
    

     

      df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据，pd.read_excel读取的数据是以DataFrame形式存储
     
    
   

    

     

    
    

     

      df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据
     
    
  
 

8）使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):

  

   

    

     

    
    

     

      data_obj['用户标识'].groupby(data_obj['支局_维护线'])
     
    
   

    

     

    
    

     

      data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法
     
    
   

    

     

    
    

     

      adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL
     
    
  
 

9）使用pandas合并数据集(类似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.
 

10）清理数据

  

   

    

     

    
    

     

      df[df.isnull()]
     
    
   

    

     

    
    

     

      df[df.notnull()]
     
    
   

    

     

    
    

     

      df.dropna()#将所有含有nan项的row删除
     
    
   

    

     

    
    

     

      df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除
     
    
   

    

     

    
    

     

      df.dropna(how='ALL')#将全部项都是nan的row删除填充值
     
    
   

    

     

    
    

     

      df.fillna(0)
     
    
   

    

     

    
    

     

      df.fillna({1:0,2:0.5}) #对第一列nan值赋0，第二列赋值0.5
     
    
   

    

     

    
    

     

      df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN
     
    
  
 

参考：

https://blog.csdn.net/ly_ysys629/article/details/54428838

https://www.cnblogs.com/IvyWong/p/9203981.html

文章来源: drugai.blog.csdn.net，作者：DrugAI，版权归原作者所有，如需转载，请联系作者。

原文链接：drugai.blog.csdn.net/article/details/88364783