小小千想和您聊一聊

当前位置: 首页> 视频教程> Spark基础及源码分析

Spark基础及源码分析高级

   评分9.6

103节课

13013人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建 ,任务调度流程  ,以及RDD代码的应用。

千锋 免费领配套视频+资料+源码——点击获取↓↓↓


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制 。


章节目录
1 .Scala语言环境安装、Scala的基本语法(14集) 第6章 Spark集群安装、Spark任务提交(5集)
1、认识scala 1、spark简介
2、安装开发环境 2、spark集群搭建、启动
3、scala Shell、用idea创建maven项目 3、spark Shell.启动和提交任务
4、配置maven本地仓库、导入切换项目等其它配置 4、spark Wordcount
5、变量的声明 5、上传并执行任务
6、scala的7种值类型和条件表达式 第7章 RDD的基本概念、常用算子练习(5集)
7、for循环 1、rdd的概念
8、方法和函数的声明以及方法转换成函数 2、生成rdd的两种方式
9、数组 3、两种类型的算子:transformation和action
10、映射 4、常用算子练习1
11、元组 5、常用算子练习2
12、集合之seq 第8章 案例练习(4集)
13、集合之set 1、案例需求-求用户在某基站停留的时间
14、集合之map 2、案例实现-求用户在某基站停留的时间
第2章 常用方法练习(7集) 3、案例实现-求用户访问学科的子网页top3
1、lazy关键字 4、案例实现-求用户访问学科的子网页top3-chache
2、函数式编程练习之常用方法 第9章 Spark集群启动流程和任务提交流程(4集)
3、函数式编程之reduce 1、spark集群启动流程
4、函数式编程之fold 2、spark任务提交流程
5、函数式编程之aggregate 3、wordcount中创建了那些rdd
6、函数式编程之交并差集 4、案例分析实现-按照ip统计区域访问量
7、scala实现wordcount 第10章 RDD的依赖关系、Stage划分(4集)
第3章 面向对象、模式匹配(12集) 1、rdd之间的依赖关系
1、创建类、属性 2、dag的生成和stage的划分
2、构造器、辅助构造器 3、webui观察stage划分和任务的生成
3、单例对象 4、自定义二次排序
4、伴生对象 第11章 Day11 Checkpoint、SparkSQL(8集)
5、apply和unapply方法 1、checkpoint
6、private关键字 2、sparksql介绍
7、特质、抽象类、继承、重写、实现等 3、创建dataframe
8、模式匹配之匹配字符串 4、dataframe常用操作-dsl风格语法
9、模式匹配之匹配类型 5、dataframe常用操作-sql风格语法
10、模式匹配之匹配数组、元组、集合 6、通过反射推断schema
11、模式匹配之样例类 7、通过structtype直接指定schema
12、模式匹配之偏函数 8、hive-on-spark
第4章 Actor、柯里化、隐式转换(10集) 第12章 SparkStreaming、Spark-On-Yarn(7集)
1、作为值的函数 1、sparkstreaming简介
2、柯里化概念及声明方式 2、实例分析:获取netcat产生的数据进行实时分析
3、柯里化练习 3、sparkstreaming实现按批次累加
4、隐式转换和隐式参数 4、窗口函数概念及使用场景
5、隐式转换练习1 5、窗口函数实现wordcount
6、隐式转换练习2 6、spark-on-yarn
7、泛型 7、补充:sparkstreaming依赖
8、upperbound 第13章 源码分析:Spark启动流程(14集)
9、viewbound 1、关于查看源码的一些介绍
10、contextbound 2、导入源码
第5章 泛型、Akka(9集) 3、集群启动流程-master类
1、actor概念 4、集群启动流程-worker类
2、actor实例之创建actor 5、sparksubmit提交任务
3、actor实例之消息的接收与发送(异步没有返回值) 6、sparkcontext
4、actor实例之消息的接收与发送(同步有返回值) 7、创建driveractor和clientactor的过程
5、actor实例之消息的接收与发送(异步有返回值) 8、clientactor向master注册任务信息过程
6、actor实例之并行编程思想实现单词计数 9、任务调度的两种方式
7、akka简介 10、executor向driveractor反向注册的过程
8、akka案例需求分析 11、rdd生成和stage划分
9、akka案例代码分析 12、生成任务并提交
13、task任务执行流程
14、总结-任务生成及提交流程


  • 第1章 - Scala语言环境安装、Scala的基本语法

  • 第2章 - 常用方法练习

  • 第3章 - 面向对象、模式匹配

  • 第4章 - Actor、柯里化、隐式转换

  • 第5章 - 泛型、Akka

    • 第44节 - actor概念

      点击播放
    • 第45节 - actor实例之创建actor

      点击播放
    • 第46节 - actor实例之消息的接收与发送(异步没有返回值)

      点击播放
    • 第47节 - actor实例之消息的接收与发送(同步有返回值)

      点击播放
    • 第48节 - actor实例之消息的接收与发送(异步有返回值)

      点击播放
    • 第49节 - actor实例之并行编程思想实现单词计数

      点击播放
    • 第50节 - akka简介

      点击播放
    • 第51节 - akka案例需求分析

      点击播放
    • 第52节 - akka案例代码分析

      点击播放
  • 第6章 - Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务

  • 第7章 - RDD的基本概念、常用算子练习

  • 第8章 - 案例练习

    • 第63节 - 案例需求-求用户在某基站停留的时间

      点击播放
    • 第64节 - 案例实现-求用户在某基站停留的时间

      点击播放
    • 第65节 - 案例实现-求用户访问学科的子网页top3

      点击播放
    • 第66节 - 案例实现-求用户访问学科的子网页top3-chache、自定义分区器

      点击播放
  • 第9章 - Spark集群启动流程和任务提交流程、案例练习

  • 第10章 - RDD的依赖关系、Stage划分、任务的生成、自定义排序

  • 第11章 - Day11 Checkpoint、SparkSQL、Hive-On-Spark

  • 第12章 - SparkStreaming、窗口操作、Spark-On-Yarn

  • 第13章 - 源码分析:Spark启动流程、Stage划分、任务生成、任务提交流程

QQ技术交流群

千锋大数据锋迷群
935119571

加入群聊

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码