foldByKey函数是对PairRDD<K, V>,对V做合并处理
可以看到,第一个参数是zeroValue,这个就是用来对原始的V做合并操作的,后面的参数是一个JFunction操作。
对于一个PairRDD,如Array(("A",0),("A",2),("B",1),("B",2),("C",1))
进行foldByKey(2)、并且function是x+y的操作时,运算过程是这样的,
先将2去加上key为"A"的第一个元素的value,变成了("A", 2),然后拿这个初始化的结果再去执行"A"与后续元素,结果就是("A", 4)。
对于key为"B"的结果就是("B", 5)
foldByKey 算子代码示例
List<Tuple2<String, Integer>> data = new ArrayList<>();
data.add(new Tuple2<>("A", 10));
data.add(new Tuple2<>("A", 20));
data.add(new Tuple2<>("B", 2));
data.add(new Tuple2<>("B", 3));
data.add(new Tuple2<>("C", 5));//2*10*20 =400
//2*2*3=12
//2*5=10JavaPairRDD<String, Integer> originRDD = javaSparkContext.parallelizePairs(data);
//初始值为2,那么就会将2先与第一个元素做一次Function操作,将结果再与下一个元素结合
JavaPairRDD<String, Integer> stringIntegerJavaPairRDD = originRDD.foldByKey(2, new Function2<Integer, Integer, Integer>() {@Overridepublic Integer call(Integer v1, Integer v2) throws Exception {return v1 * v2;}});System.out.println(stringIntegerJavaPairRDD.collect());
//foldByKey算子运行的结果如下
//[(B,12), (A,400), (C,10)]