spark常用RDD算子 - Reduce()，fold()

reduce(fun) 算子：
每次傳入兩個參數通過fun 的到一個返回值，該返回值繼續與后面的值進行調用fun，
直到所有的數據計算完成，最后返回一個計算結果

reduce算子代碼示例

List<Integer> number = Arrays.asList(3,2,5,4,7);
JavaRDD<Integer> numRDD = javaSparkContext.parallelize(number);//比如這里的函數，每兩個元素相加
int reuslt = numRDD.reduce(new Function2<Integer, Integer, Integer>() {@Overridepublic Integer call(Integer integer, Integer integer2) throws Exception {return integer+integer2;}
});//最后的結果為 21
System.err.println(reuslt);

?

fold算子
fold跟reduce是差不多，只不過fold有初使值，先計算各個分區與初使值的結果，存入數組，再計算結果與初使值的值。

可以得出當有1個分區時,初值被計算2次，第一次與分區數據，第二次與分區結果數據

fold算子?代碼示例

List<Integer> number = Arrays.asList(3,2,5,4,7);
JavaRDD<Integer> numRDD = javaSparkContext.parallelize(number,2);
System.out.println(numRDD.glom().collect());
//numRDD的返回結果如下 [[3, 2], [5, 4, 7]]Integer fold = numRDD.fold(1, new Function2<Integer, Integer, Integer>() {@Overridepublic Integer call(Integer integer, Integer integer2) throws Exception {return integer + integer2;}
});
System.out.println(fold);
//最終fold的計算結果為 24
//計算過程如下 
// 3+2+1=6
// 5+4+7+1=17
// 6+17+1=24

?