代码示例1
SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(4));ssc.sparkContext().setLogLevel("ERROR");
代码示例2
SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);JavaStreamingContext ssc = new JavaStreamingContext(javaSparkContext, Durations.seconds(4));
代码示例3
参数1:这里必须要大于2,因为还有个线程要接收数据
参数2:程序的名称
参数3:个人理解就是页面刷新的时间
参数4:暂不理解为什么需要这个
参数5:暂不理解为什么需要这个
JavaStreamingContext ssc = new JavaStreamingContext("local[2]","JavaLocalNetworkWordCount",Durations.seconds(4),System.getenv("SPARK_HOME"),JavaStreamingContext.jarOfClass(JavaLocalNetworkWordCount.class.getClass()));ssc.sparkContext().setLogLevel("ERROR");