Spark的 partitioner 都有哪些?/RDD的分区函数

Spark的 partitioner 都有哪些?/RDD的分区函数

RDD分区函数HashPatitoner和 RangePatitoner 实现

1、HashPatitioner分区：对于给定的key值，计算其 hashcode除以分区数取余，最后这个值就是分区的id。可能会出现数据不均匀，因为同一 key值都在同一分区。

2、RangerPartitoner分区：将一定范围的数映射到某一分区内。
第一步:确定边界，从所有的RDD当中随机抽取样本并进行排序，依次来确定分区的rangerBounds(边界)(这里因为RDD如果很大的话，没法按照计算总量，所以需要用到蓄水池抽样)。
第二步:计算key值在rangerBounds所处的范围，得出分区id。

额外:蓄水池抽样算法，不知总量的随机抽样。找个 leetcode敲下理解。

leetcode382.Linked List Random Node（算法随机采样）
Init : a reservoir with the size: k   //k is the sample number
fori=k+1 to N
	M=random(1, i);
	if(M<k)
	SWAP the Mth value and ith value
end for