大数据:spark环境搭建,local模式,standalone模式,zookeeper standby,yarn模式

news/2024/4/19 4:59:45

大数据:spark环境搭建,local模式

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据,什么行测和面试都是小问题,最难最最重要的就是大数据技术相关的知识笔试


文章目录

  • 大数据:spark环境搭建,local模式
    • @[TOC](文章目录)
  • 大数据:spark环境搭建,local模式
  • spark-standalone模式
  • spark-standalone HA:zookeeper standby
  • spark :yarn是企业最经常使用的
  • 总结

大数据:spark环境搭建,local模式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
local就是一个进程
用很多线程模拟集群

在这里插入图片描述
组长不仅管人,它自己就能干活,它就在local模式下当干事
懂了

在这里插入图片描述
一个jvm进程
只负责一个任务
再加任务,需要第二个进程

spark-standalone模式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
spark也是主从架构
注意driver是运行在master进程内的哦
跟逻辑空间的理念有区别

在这里插入图片描述
standalone是固定的集群,多个任务就多开很多driver,反正就是部门主管多分配几个即可

spark-standalone HA:zookeeper standby

单点master,如果出问题,gg
如果多个master出现的话,如果别的老大生病了,我们可以尽快换董事长

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
懂了
备份董事长,随时待命

spark :yarn是企业最经常使用的

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
我们是在原有的企业hadoop 的yarn中,外加spark即可
这种就是替换计算框架即可
好说
懂了

yarn之前的角色就是resourcemanager,现在让它担任spark中的master即可
懂事长身兼多职

worker角色是部门主管,直接让nodemanager担任即可
好吧

yarn中就不要单独搞spark的那些进程了

任务运行的时候,driver还是要单独搞的小组组长,干活的也得单独干干事就是executor,都拿去yarn容器中运行就行了
在这里插入图片描述在这里插入图片描述
在这里driver又还是去worker进程内,不是master进程了
美滋滋
反正yarn上直接改进即可,赋予它spark的能力

在这里插入图片描述


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。


https://dhexx.cn/news/show-4626267.html

相关文章

大专毕业,从6个月开发转入测试岗位的一些感悟——写在测试岗位3年之际

时光飞逝,我从前端开发岗位转入测试岗位已经三年了,这期间从迷茫到熟悉,到强化,到熟练,到总结,感受还是很深的! 三年前的某一个晚上,我正准备下班回家,我们的项目经理把…

初阶二叉树的相关性质定理及题目练习

前言: 前面我们介绍了初阶二叉树的相关知识,二叉树常考的还是链式二叉树,而且二叉树也会考很多选择题,本文重点是在给出一些常考的二叉树的性质定理推导和经典练习题目配合强化巩固知识。 目录 一、二叉树的常见性质定理 二、常…

我的测试之路:从入坑测试到月薪15k...

“干过保险卖过房,做过销售做过网管”这是我毕业后前两年的真实写照,因为所学网络安全专业不好找工作,毕业之后为了生活只能将就的干着这种门槛低的工作。后来一次同学聚会被同学带下坑后,正式转行软件测试。 刚入坑的两年&#…

复合型人才

一、为什么需要复合型人才 在社会的大环境影响下,不同行业所展现的交叉属性越来越强,因此单一型人才已经不满足当前的企业需求,复合型人才逐渐成为市场上的主流:即不仅要“精”通,更要“全”面。 人才需求是由市场的…

多功能电子听诊器(CMS-VESD)产品使用说明

Copyright reserved 子曰:桃李不言,下自成蹊。 Copyright reserved Ⅰ . 产品描述 : C M S − V E S D Ⅰ. 产品描述:^{CMS-VESD} Ⅰ.产品描述:CMS−VESD Ⅰ . 1 主要特点 : 如有疑问可留言沟通交流 Ⅰ.1 主要特点:^{如有疑问可留言沟通交流} Ⅰ.1主要特…

javascript基础十八:说说你对JavaScript中事件循环的理解​

一、是什么 JavaScript 在设计之初便是单线程,即指程序运行时,只有一个线程存在,同一时间只能做一件事 为什么要这么设计,跟JavaScript的应用场景有关 JavaScript 初期作为一门浏览器脚本语言,通常用于操作 DOM &#…

C语言---初识结构体

1、结构体的声明 1.1、结构的基础知识 结构是一些值得集合,这些值称为成员变量。结构的每一个成员可以是不同类型的变量。 char、short、int、long、long、float、double是内置类型。 比如说,我们想要描述单一的成绩,身高我们直接用int类型就…

【3DsMAX】从零开始建房(1)

目录 目标 步骤 1. 制作地基 2. 制作台阶 3. 制作地砖 4. 制作第一层主体 5. 挖空第一层门的位置 6. 制作展示厅 目标 要做的房子模型如下: 步骤 1. 制作地基 首先创建一个长方体 可以将其转换为可编辑多边形,然后选中所有顶点,调…

用gpt定制一个pytest接口测试框(附源码)

目的: 描述我的需求和目标让gpt给我写一个测试接口框架 并且让他自己完善。 我说:帮我写一个基于python语言的 pytest的接口测试框架 支持post get put delete请求 添加详细的断言,处理身份验证和授权,处理HTTP错误 加上allure2报告和有请求…

【JavaEE初阶】万字详解TCP/IP协议!!!(一)

文章目录 1. 应用层和传输层的联系2. UDP协议3. TCP协议3.1 TCP报头介绍3.2 TCP实现可靠传输的核心机制(1)确认应答(2)超时重传(3)连接管理建立连接(三次握手)断开连接(四次挥手) &a…