小小千想和您聊一聊

当前位置: 首页> 视频教程> Spark基础及源码分析

Spark基础及源码分析高级

   评分9.6

103节课

10933人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建 ,任务调度流程  ,以及RDD代码的应用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制 。


章节目录
1 .Scala语言环境安装、Scala的基本语法(14集) 第6章 Spark集群安装、Spark任务提交(5集)
1、认识scala 1、spark简介
2、安装开发环境 2、spark集群搭建、启动
3、scala Shell、用idea创建maven项目 3、spark Shell.启动和提交任务
4、配置maven本地仓库、导入切换项目等其它配置 4、spark Wordcount
5、变量的声明 5、上传并执行任务
6、scala的7种值类型和条件表达式 第7章 RDD的基本概念、常用算子练习(5集)
7、for循环 1、rdd的概念
8、方法和函数的声明以及方法转换成函数 2、生成rdd的两种方式
9、数组 3、两种类型的算子:transformation和action
10、映射 4、常用算子练习1
11、元组 5、常用算子练习2
12、集合之seq 第8章 案例练习(4集)
13、集合之set 1、案例需求-求用户在某基站停留的时间
14、集合之map 2、案例实现-求用户在某基站停留的时间
第2章 常用方法练习(7集) 3、案例实现-求用户访问学科的子网页top3
1、lazy关键字 4、案例实现-求用户访问学科的子网页top3-chache
2、函数式编程练习之常用方法 第9章 Spark集群启动流程和任务提交流程(4集)
3、函数式编程之reduce 1、spark集群启动流程
4、函数式编程之fold 2、spark任务提交流程
5、函数式编程之aggregate 3、wordcount中创建了那些rdd
6、函数式编程之交并差集 4、案例分析实现-按照ip统计区域访问量
7、scala实现wordcount 第10章 RDD的依赖关系、Stage划分(4集)
第3章 面向对象、模式匹配(12集) 1、rdd之间的依赖关系
1、创建类、属性 2、dag的生成和stage的划分
2、构造器、辅助构造器 3、webui观察stage划分和任务的生成
3、单例对象 4、自定义二次排序
4、伴生对象 第11章 Day11 Checkpoint、SparkSQL(8集)
5、apply和unapply方法 1、checkpoint
6、private关键字 2、sparksql介绍
7、特质、抽象类、继承、重写、实现等 3、创建dataframe
8、模式匹配之匹配字符串 4、dataframe常用操作-dsl风格语法
9、模式匹配之匹配类型 5、dataframe常用操作-sql风格语法
10、模式匹配之匹配数组、元组、集合 6、通过反射推断schema
11、模式匹配之样例类 7、通过structtype直接指定schema
12、模式匹配之偏函数 8、hive-on-spark
第4章 Actor、柯里化、隐式转换(10集) 第12章 SparkStreaming、Spark-On-Yarn(7集)
1、作为值的函数 1、sparkstreaming简介
2、柯里化概念及声明方式 2、实例分析:获取netcat产生的数据进行实时分析
3、柯里化练习 3、sparkstreaming实现按批次累加
4、隐式转换和隐式参数 4、窗口函数概念及使用场景
5、隐式转换练习1 5、窗口函数实现wordcount
6、隐式转换练习2 6、spark-on-yarn
7、泛型 7、补充:sparkstreaming依赖
8、upperbound 第13章 源码分析:Spark启动流程(14集)
9、viewbound 1、关于查看源码的一些介绍
10、contextbound 2、导入源码
第5章 泛型、Akka(9集) 3、集群启动流程-master类
1、actor概念 4、集群启动流程-worker类
2、actor实例之创建actor 5、sparksubmit提交任务
3、actor实例之消息的接收与发送(异步没有返回值) 6、sparkcontext
4、actor实例之消息的接收与发送(同步有返回值) 7、创建driveractor和clientactor的过程
5、actor实例之消息的接收与发送(异步有返回值) 8、clientactor向master注册任务信息过程
6、actor实例之并行编程思想实现单词计数 9、任务调度的两种方式
7、akka简介 10、executor向driveractor反向注册的过程
8、akka案例需求分析 11、rdd生成和stage划分
9、akka案例代码分析 12、生成任务并提交
13、task任务执行流程
14、总结-任务生成及提交流程


  • 第1章 - Scala语言环境安装、Scala的基本语法

  • 第2章 - 常用方法练习

  • 第3章 - 面向对象、模式匹配

  • 第4章 - Actor、柯里化、隐式转换

  • 第5章 - 泛型、Akka

    • 第44节 - actor概念

      点击播放
    • 第45节 - actor实例之创建actor

      点击播放
    • 第46节 - actor实例之消息的接收与发送(异步没有返回值)

      点击播放
    • 第47节 - actor实例之消息的接收与发送(同步有返回值)

      点击播放
    • 第48节 - actor实例之消息的接收与发送(异步有返回值)

      点击播放
    • 第49节 - actor实例之并行编程思想实现单词计数

      点击播放
    • 第50节 - akka简介

      点击播放
    • 第51节 - akka案例需求分析

      点击播放
    • 第52节 - akka案例代码分析

      点击播放
  • 第6章 - Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务

  • 第7章 - RDD的基本概念、常用算子练习

  • 第8章 - 案例练习

    • 第63节 - 案例需求-求用户在某基站停留的时间

      点击播放
    • 第64节 - 案例实现-求用户在某基站停留的时间

      点击播放
    • 第65节 - 案例实现-求用户访问学科的子网页top3

      点击播放
    • 第66节 - 案例实现-求用户访问学科的子网页top3-chache、自定义分区器

      点击播放
  • 第9章 - Spark集群启动流程和任务提交流程、案例练习

  • 第10章 - RDD的依赖关系、Stage划分、任务的生成、自定义排序

  • 第11章 - Day11 Checkpoint、SparkSQL、Hive-On-Spark

  • 第12章 - SparkStreaming、窗口操作、Spark-On-Yarn

  • 第13章 - 源码分析:Spark启动流程、Stage划分、任务生成、任务提交流程

  • Scala系列之继承

    在Scala中扩展类的方式和Java一样都是使用extends关键字,可以把类声明为final,使之不能扩张.也可以把单个方法或者字段声明为final,以确保它不能被重写,注意和Java的不同,Java中final修饰的字段意味着不可变。

    894
  • Scala系列之高阶函数

    Scala中,函数是头等公民,和数字一样。不仅可以调用,还可以在变量中存放函数,也可以作为参数传入函数,或者作为函数的返回值。

    810
  • Scala系列之方法嵌套和方法多态

    Scala系列之方法嵌套和方法多态

    1220
  • Scala系列之范型

    定义一个类型Writer[-A],如果A是逆变的,意思是:对类型A和B,A是B的子类型,那么Writer[B]是Writer[A]的子类型。

    1048
  • Scala系列之对象

    在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的。

    1975
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    1916
  • Scala系列之闭包

    闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。

    2057
  • Scala系列之闭包

    闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。

    2178
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    1885
  • Scala系列之映射Map

    Scala系列之映射Map

    2157

他们都在看

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码