Spark学习笔记:索引分区映射

举报
howard2005 发表于 2022/03/28 23:03:02 2022/03/28
【摘要】 文章目录 一、索引分区映射概述 二、索引分区映射案例 (一)每个元素翻10倍,不显示分区索引 (二)每个元素翻10倍,要显示分区索引 ...

一、索引分区映射概述

  • mapPartitionsWithIndex既可以拿到分区的迭代器,又可以拿到分区索引
    在这里插入图片描述
  • 使用这个方法,需要传入一个函数,该函数包含两个参数:一个int值参数和一个迭代器,然后这个方法就会将分区索引传给int值,将这个分区索引中的值传入迭代器,对这些数据操作之后同样应该返回一个迭代器。

二、索引分区映射案例

(一)每个元素翻10倍,不显示分区索引

val rdd 
  
 

    文章来源: howard2005.blog.csdn.net,作者:howard2005,版权归原作者所有,如需转载,请联系作者。

    原文链接:howard2005.blog.csdn.net/article/details/123788296

    【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。