java中spark中map、flatmap等算子需要implement的接口，以及使用情况的简单说明

1、spark 的JavaRDD使用map、flatmap、filter等算子时，统一需要implement接口 org.apache.spark.api.java.function.Function

使用方法：

JavaRDD<CmaCoreMongoSpark> cma = cmaMongo
        .filter(new FilterCnMedicalPaperFunc())
        .filter(new TimeFilterFunc(startTime, endTime))
        .map(new MapCnMedicalPaperFunc());

  

 

  
1
  
2
  
3
  
4
 

2、spark的Dataset<?>
使用map时需要implement接口 org.apache.spark.api.java.function.MapFunction
使用flatmap需要implement接口 org.apache.spark.api.java.function.FlatMapFunction
…
实现不同的接口，但命名大概就是算子名称+Function

使用方法（涉及到?对象类型的转化，map需要两个参数，一个转化函数类、一个转化的javaBean类型的Encoder）：

Dataset<CnStandardJournalInfoSpark> journal = df.map(
        new CnJournalFunc(), Encoders.bean(CnStandardJournalInfoSpark.class)
);

  

 

  
1
  
2
  
3
 

文章来源: blog.csdn.net，作者：橙子园，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/Chenftli/article/details/120226051