Spark Streaming入门-编程入口JavaStreamingContext的实例化,构造方法汇总

news/2023/6/5 22:36:43

代码示例1 

SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(4));ssc.sparkContext().setLogLevel("ERROR");


代码示例2

SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);JavaStreamingContext ssc = new JavaStreamingContext(javaSparkContext, Durations.seconds(4));


代码示例3

参数1:这里必须要大于2,因为还有个线程要接收数据
参数2:程序的名称
参数3:个人理解就是页面刷新的时间
参数4:暂不理解为什么需要这个
参数5:暂不理解为什么需要这个 

JavaStreamingContext ssc = new JavaStreamingContext("local[2]","JavaLocalNetworkWordCount",Durations.seconds(4),System.getenv("SPARK_HOME"),JavaStreamingContext.jarOfClass(JavaLocalNetworkWordCount.class.getClass()));ssc.sparkContext().setLogLevel("ERROR");

 


https://dhexx.cn/news/show-18276.html

相关文章

Java中String的replace、replaceAll和replaceFirst方法

Java中String的replace、replaceAll和replaceFirst方法一、三种方法的介绍1、replace、replaceAll和replaceFirst是JAVA中常用的替换字符的方法,它们的区别是2、相同点3、不同点4、斜杠问题一、三种方法的介绍 1、replace、replaceAll和replaceFirst是JAVA中常用的替换字符的方…

【数据库复习】第二章关系数据库2

象集(Image Set)关系R(X , Z), X, Z是属性组,x是X上的取值,定义x在R中的象集为Zx { t[Z] | tR t[X] x }从R中选出在X上取值为x的元组,去掉X上的分量,只留Z上的分量除运算给定关系R(X&#xff…

GhostDoc的使用

一、简介 GhostDoc是Visual Studio的一个免费插件,可以为开发人员自动生成XML格式的注释文档。 二、下载 需要的朋友可以去这里下载,填个Email地址就可以下了:GhostDoc下载地址 三、安装 下载安装完成后,可以在Visual Studio的工具…

Linux服务器编辑jar包并重新运行与直接修改jar包

Linux服务器编辑jar包并重新运行与直接修改jar包一、第一种效果展示1、修改前jar包2、修改中3、修改后二、第一种命令三、第二种编辑jar包一、第一种效果展示 1、修改前jar包 2、修改中 3、修改后 二、第一种命令 #解压jar包 jar xvf xxx.jar #进相关目录改非class文件 #改…

hdu 4686 Arc of Dream(矩阵快速幂)

链接&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid4686 题意&#xff1a; 其中a0 A0ai ai-1*AXAYb0 B0bi bi-1*BXBY 最后的结果mod 1,000,000,007 n<10^18. 分析&#xff1a;ai*bi(ai-1 *axay)*(bi-1 *bxby) (ai-1 * bi-1 *ax*bx)(ai-1 *ax*by)(bi-1 *bx*ay)…

kafka概述,架构说明,相关的名词解释

消息队列两种模式&#xff1a;点对点与发布订阅 生产者发送一条消息到queue&#xff0c;只有一个消费者能收到。 发布者发送到topic的消息&#xff0c;只要订阅了该topic的订阅者都会收到消息。kafka架构图 Kafka 是一个分布式(发布订阅的)消息队列。Kafka 对消息保存时根据 …

JAVA基础知识

JAVA基础知识一、什么是对象二、JVM性能调优1、栈2、程序计数器3、堆4、方法区&#xff08;1.8后称元空间&#xff09;5、本地方法栈6、STW7、总结三、Jdk和Jre和Jvm四、与equals五、final六、String、StringBuffer、StringBuilder七、重载和重写八、抽象类和接口的区别九、lis…

kafka四大核心api

使用 Producer API 发布消息到kafka集群中一个或多个topic。 (重点掌握) 使用 Consumer API 来订阅一个或多个topic&#xff0c;并处理产生的消息。 (重点掌握) 使用 Streams API 充当一个流处理器&#xff0c;从1个或多个topic消费输入流&#xff0c;并生产输出流到1个或多个…

java List的用法

List的用法List包括List接口以及List接口的所有实现类。因为List接口实现了Collection接口&#xff0c;所以List接口拥有Collection接口提供的所有常用方法&#xff0c;又因为List是列表类型&#xff0c;所以List接口还提供了一些适合于自身的常用方法&#xff0c;如表1所示。表…

抽象数据类型的表示与实现

各种字符的定义代码如下&#xff1a; // liyuechao // 2014.8.7 // c1.h//c1.h文件名字 #include<string.h> #include<ctype.h> #include<malloc.h> // malloc()等 #include<limits.h> // INT_MAX等 #include<stdio.h> // EOF(^Z或F6),…