spark之(executor执行task原理分析)

 1>taskscheduler将taskset分发到对应的executor上 2>executo…

spark默认的调度(fifo vs fair)

1>fifo(队列调度):fifo scheduler主要是将提交的作业放入到任务队列中,是一个先进先出…

spark的执行流程(源码解说)

1>spark的作业主要是由rdd的action所触发作业的提交,根据提交作业构建DAG图…

shuffle的读操作(shufflereducetask端与blockmanagerendpoint端点进行通信获取mapstats元数据信息)

shuffle的读操作:      1》主要是由shufflerdd的compute方法所触发 …

spark中stage的划分依据(hashshuffle和sortshuffle)

前面我们提到spark中夸依赖存在2种shuffle,一种是hashshuffle,…

Spark基础(a:谈谈你对rdd的理解,b:stage的划分过程)

a: 1>弹性分布式数据集,不可变的数据集,所谓分布式:数据分…

java运行时区域划分(方法区,运行时常量)

1>方法区:与堆内存一样,是各个线程共享的内存区域,它用于存储已经虚拟机加载的类信息,静态…

java运行时内存区域(java堆)

对于大多数程序来说,java中所分配的最大内存区域是java中的堆,堆内存是被所有的线程所共享的,在虚拟机启动…

java中运行时候区域(本地方法栈)

本地方法栈与虚拟机栈所发挥的作用是非常相似的,他们之前的区别不过是虚拟机栈为虚拟机执行java方法,而本地方法…

Hadoop伪分布模式安装

相关知识 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布…

人生若只如初见-云计算时代

1大数据时代 1.1为什么如此受欢迎 2018年是新技术爆发年,大数据、区块链、人工智能等行业飞…

数据结构:一元多项式计算器(详解)

前言 一元多项式计算器没有用链表写这个多项式之前,哇,觉得这个好难啊!…