Spark Streaming入门-编程入口JavaStreamingContext的实例化,构造方法汇总

news/2025/6/5 20:10:05

代码示例1 

SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(4));ssc.sparkContext().setLogLevel("ERROR");


代码示例2

SparkConf sparkConf = new SparkConf().setAppName("spark-test-1").setMaster("local[2]");JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);JavaStreamingContext ssc = new JavaStreamingContext(javaSparkContext, Durations.seconds(4));


代码示例3

参数1:这里必须要大于2,因为还有个线程要接收数据
参数2:程序的名称
参数3:个人理解就是页面刷新的时间
参数4:暂不理解为什么需要这个
参数5:暂不理解为什么需要这个 

JavaStreamingContext ssc = new JavaStreamingContext("local[2]","JavaLocalNetworkWordCount",Durations.seconds(4),System.getenv("SPARK_HOME"),JavaStreamingContext.jarOfClass(JavaLocalNetworkWordCount.class.getClass()));ssc.sparkContext().setLogLevel("ERROR");

 

文章来源:https://blog.csdn.net/qq_41712271/article/details/107963416
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:https://dhexx.cn/news/show-18276.html

相关文章

IOS-synthesize和dynamic的异同(转)

一,retain, copy, assign区别1. 假设你用malloc分配了一块内存,并且把它的地址赋值给了指针a,后来你希望指针b也共享这块内存,于是你又把a赋值给(assign)了b。此时a 和b指向同一块内存,请问当a不再需要这块…

V8 API Reference Guide

http://www.bespin.cz/~ondras/html/index.html转载于:https://www.cnblogs.com/imlucky/p/3270317.html

Hadoop的内置的基本数据类型

hadoop是不认识java常用的数据类型的 但是有与之对应的数据类型&#xff1a;BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当<ke…

Java中String的replace、replaceAll和replaceFirst方法

Java中String的replace、replaceAll和replaceFirst方法一、三种方法的介绍1、replace、replaceAll和replaceFirst是JAVA中常用的替换字符的方法,它们的区别是2、相同点3、不同点4、斜杠问题一、三种方法的介绍 1、replace、replaceAll和replaceFirst是JAVA中常用的替换字符的方…

【数据库复习】第二章关系数据库2

象集&#xff08;Image Set&#xff09;关系R(X , Z), X, Z是属性组&#xff0c;x是X上的取值&#xff0c;定义x在R中的象集为Zx { t[Z] | tR t[X] x }从R中选出在X上取值为x的元组&#xff0c;去掉X上的分量&#xff0c;只留Z上的分量除运算给定关系R&#xff08;X&#xff…

GhostDoc的使用

一、简介 GhostDoc是Visual Studio的一个免费插件&#xff0c;可以为开发人员自动生成XML格式的注释文档。 二、下载 需要的朋友可以去这里下载&#xff0c;填个Email地址就可以下了&#xff1a;GhostDoc下载地址 三、安装 下载安装完成后&#xff0c;可以在Visual Studio的工具…

HDU 4870Rating(推公式)

有关这个题的高斯消元的方法已经在我的另一篇博客中给出http://www.cnblogs.com/gj-Acit/p/3888382.html 这里介绍一个很吊的解法&#xff0c;复杂度降到了O(n)&#xff0c;以下转自http://www.cnblogs.com/chanme/p/3861766.html 先考虑一场比赛的情况&#xff0c;定义dp[k]为…

spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中

saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 从源码中可以看到&#xff0c;saveAsTextFile函数是依赖…

Linux服务器编辑jar包并重新运行与直接修改jar包

Linux服务器编辑jar包并重新运行与直接修改jar包一、第一种效果展示1、修改前jar包2、修改中3、修改后二、第一种命令三、第二种编辑jar包一、第一种效果展示 1、修改前jar包 2、修改中 3、修改后 二、第一种命令 #解压jar包 jar xvf xxx.jar #进相关目录改非class文件 #改…

hdu 4686 Arc of Dream(矩阵快速幂)

链接&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid4686 题意&#xff1a; 其中a0 A0ai ai-1*AXAYb0 B0bi bi-1*BXBY 最后的结果mod 1,000,000,007 n<10^18. 分析&#xff1a;ai*bi(ai-1 *axay)*(bi-1 *bxby) (ai-1 * bi-1 *ax*bx)(ai-1 *ax*by)(bi-1 *bx*ay)…