pyodps中的apply用法

apply在pandas里非常好用的，那在pyodps里如何去使用，还是有一些区别的

在pyodps中要对一行数据使用自定义函数，可以使用 apply 方法，axis 参数必须为 1，表示在行上操作。

apply 的自定义函数接收一个参数，为上一步 Collection 的一行数据，用户可以通过属性、或者偏移取得一个字段的数据。

  

   

    

     

    
    

     

      iris.apply(lambda row: row.sepallength + row.sepalwidth, axis=1, reduce=True, types='float').rename('sepaladd').head(3)
     
    
   

    

     

    
    

     

         sepaladd
     
    
   

    

     

    
    

     

      0       8.6
     
    
   

    

     

    
    

     

      1       7.9
     
    
   

    

     

    
    

     

      2       7.9
     
    
  
 

reduce为 True 时，表示返回结果为Sequence，否则返回结果为Collection。 names和 types参数分别指定返回的Sequence或Collection的字段名和类型。 如果类型不指定，将会默认为string类型。

在 apply 的自定义函数中，reduce 为 False 时，也可以使用 yield关键字来返回多行结果。

  

   

    

     

    
    

     

      iris.count()
     
    
   

    

     

    
    

     

      150
     
    
   

    

     

    
    

     

      def handle(row):
     
    
   

    

     

    
    

     
    yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
     
    
   

    

     

    
    

     
    yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      iris.apply(handle, axis=1, names=['iris_add', 'iris_sub'], types=['float', 'float']).count()
     
    
   

    

     

    
    

     

      300
     
    
  
 

我们也可以在函数上来注释返回的字段和类型，这样就不需要在函数调用时再指定。

  

   

    

     

    
    

     
 from odps.df import output
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @output(['iris_add', 'iris_sub'], ['float', 'float'])
     
    
   

    

     

    
    

     
 def handle(row):
     
    
   

    

     

    
    

     
     yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
     
    
   

    

     

    
    

     
     yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       iris.apply(handle, axis=1).count()
     
    
   

    

     

    
    

     
 300
     
    
  
 

也可以使用 map-only 的 map_reduce，和 axis=1 的apply操作是等价的。

  

   

    

     

    
    

     

       iris.map_reduce(mapper=handle).count()
     
    
   

    

     

    
    

     
 300
     
    
  
 

如果想调用 ODPS 上已经存在的 UDTF，则函数指定为函数名即可。

 iris['name', 'sepallength'].apply('your_func', axis=1, names=['name2', 'sepallength2'], types=['string', 'float'])
 

使用 apply 对行操作，且 reduce为 False 时，可以使用 并列多行输出 与已有的行结合，用于后续聚合等操作。

  

   

    

     

    
    

     
 from odps.df import output
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @output(['iris_add', 'iris_sub'], ['float', 'float'])
     
    
   

    

     

    
    

     
 def handle(row):
     
    
   

    

     

    
    

     
     yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
     
    
   

    

     

    
    

     
     yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       iris[iris.category, iris.apply(handle, axis=1)]
     
    
  
 

文章来源: blog.csdn.net，作者：橙子园，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/Chenftli/article/details/86644449