Spark学习笔记:索引分区映射
【摘要】
文章目录
一、索引分区映射概述
二、索引分区映射案例
(一)每个元素翻10倍,不显示分区索引
(二)每个元素翻10倍,要显示分区索引
...
一、索引分区映射概述
mapPartitionsWithIndex
既可以拿到分区的迭代器
,又可以拿到分区索引
。
- 使用这个方法,需要传入一个函数,该函数包含两个参数:一个int值参数和一个迭代器,然后这个方法就会将分区索引传给int值,将这个分区索引中的值传入迭代器,对这些数据操作之后同样应该返回一个迭代器。
二、索引分区映射案例
(一)每个元素翻10倍,不显示分区索引
val rdd
文章来源: howard2005.blog.csdn.net,作者:howard2005,版权归原作者所有,如需转载,请联系作者。
原文链接:howard2005.blog.csdn.net/article/details/123788296
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)