小小千想和您聊一聊

当前位置: 首页> 视频教程> 快速入门Spark

快速入门Spark高级

   评分9.2

75节课

25548人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建,任务调度流程,以及RDD代码的应用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制。

章节目录

第1章 Spark知识讲解

37 leftOuterJoin

01 为什么学习Spark

38 rightOuterJoin

02 Spark和MapReduce的对比.mp4

39 cartesian

03 Spark框架体系

40 groupBy

04 Spark下载

41 mapPartition

05.Spark运行模式介绍

42 mapPartitionWithIndex

06.Spark集群安装

43 sortby

07.Spark程序执行流程

44 sortbykey

08.Spark相关名词解释

45 repartition

09 SparkShellLocal

46 coalesce

10 SparkShellCluster

47 partitionBy

11 Spark2.2和Spark1.6Shell对比

48 repartitionAndSortWithinPartitions

第2章 Maven和IDEA

49 reduce

12 Maven和IDEA下载

50 reduceByKey

13 Maven安装

51 aggregateByKey

14 IDEA安装

52 combineByKey

15 IDEA中配置Maven

第5章 Action算法

16 Scala环境安装和IDEA中配置Scala插件

53 collect

17 IDEA创建Spark工程

54 count

18 Spark开发WordCount程序

55 top

19 Spark程序打包

56 take

20 Spark集群运行打包程序

57 takeOrdered

第3章 RDD知识讲解

58 first

21 RDD概念

59 saveAsTextFile

22 RDD执行流程

60 foreach

23 RDD属性

61 其他算子之countByKey

24 RDD弹性

62 其他算子之countByValue

25 RDD的两种创建

63 其他算子之filterByRange

26 RDD编程API

64 其他算子之flatMapValues

第4章 Transformation算法

65 其他算子之foreachPartition

27 Transformation算法

66 其他算子之keyBy

28 Action算法

67 其他算子之keys和values

29 Map

68 其他算子之collectAsMap

30 filter

69 RDD函数传递

31 flatMap

70 RDD的依赖关系

32 sample

71 RDD任务划分

33 union

72 Lineage血统

34 intersection

73 RDD缓存(持久化)

35 distinct

74 CheckPoint检查点

36 join

75 cache和checkPoint的区别

  • 大数据学习路线之流程控制

    大数据学习路线之流程控制

    733
  • 大数据学习路线之大数据基础语法

    大数据学习路线之大数据基础语法

    951
  • Scala系列之继承

    在Scala中扩展类的方式和Java一样都是使用extends关键字,可以把类声明为final,使之不能扩张.也可以把单个方法或者字段声明为final,以确保它不能被重写,注意和Java的不同,Java中final修饰的字段意味着不可变。

    1479
  • Scala系列之高阶函数

    Scala中,函数是头等公民,和数字一样。不仅可以调用,还可以在变量中存放函数,也可以作为参数传入函数,或者作为函数的返回值。

    1500
  • Scala系列之方法嵌套和方法多态

    Scala系列之方法嵌套和方法多态

    1901
  • Scala系列之范型

    定义一个类型Writer[-A],如果A是逆变的,意思是:对类型A和B,A是B的子类型,那么Writer[B]是Writer[A]的子类型。

    1779
  • Scala系列之对象

    在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的。

    2571
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    2524
  • Scala系列之闭包

    闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。

    2707
  • Scala系列之闭包

    闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。

    2800

他们都在看

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码