小小千想和您聊一聊

当前位置: 首页> 视频教程> 快速入门Spark

快速入门Spark高级

   评分9.2

71节课

24812人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建,任务调度流程,以及RDD代码的应用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制。

章节目录

第1章 Spark知识讲解 36 join
01 为什么学习Spark 37 leftOuterJoin
02 Spark和MapReduce的对比.mp4 38 rightOuterJoin
03 Spark框架体系 39 cartesian
04 Spark下载 40 groupBy
05.Spark运行模式介绍 41 mapPartition
06.Spark集群安装 42 mapPartitionWithIndex
07.Spark程序执行流程 43 sortby
08.Spark相关名词解释 44 sortbykey
09 SparkShellLocal 45 repartition
10 SparkShellCluster 46 coalesce
11 Spark2.2和Spark1.6Shell对比 47 partitionBy
第2章 Maven和IDEA 48 repartitionAndSortWithinPartitions
12 Maven和IDEA下载 49 reduce
13 Maven安装 50 reduceByKey
14 IDEA安装 51 aggregateByKey
15 IDEA中配置Maven 52 combineByKey
16 Scala环境安装和IDEA中配置Scala插件 第5章 Action算法
17 IDEA创建Spark工程 53 collect
18 Spark开发WordCount程序 54 count
19 Spark程序打包 55 top
20 Spark集群运行打包程序 56 take
第3章 RDD知识讲解 57 takeOrdered
21 RDD概念 58 first
22 RDD执行流程 59 saveAsTextFile
23 RDD属性 60 foreach
24 RDD弹性 61 其他算子之countByKey
25 RDD的两种创建 62 其他算子之countByValue
26 RDD编程API 63 其他算子之filterByRange
第4章 Transformation算法 64 其他算子之flatMapValues
27 Transformation算法 65 其他算子之foreachPartition
28 Action算法 66 其他算子之keyBy
29 Map 67 其他算子之keys和values
30 filter 68 其他算子之collectAsMap
31 flatMap 69 RDD函数传递
32 sample 70 RDD的依赖关系
33 union 71 RDD任务划分
34 intersection 72 Lineage血统
35 distinct

  • Scala系列之继承

    在Scala中扩展类的方式和Java一样都是使用extends关键字,可以把类声明为final,使之不能扩张.也可以把单个方法或者字段声明为final,以确保它不能被重写,注意和Java的不同,Java中final修饰的字段意味着不可变。

    646
  • Scala系列之高阶函数

    Scala中,函数是头等公民,和数字一样。不仅可以调用,还可以在变量中存放函数,也可以作为参数传入函数,或者作为函数的返回值。

    625
  • Scala系列之方法嵌套和方法多态

    Scala系列之方法嵌套和方法多态

    927
  • Scala系列之范型

    定义一个类型Writer[-A],如果A是逆变的,意思是:对类型A和B,A是B的子类型,那么Writer[B]是Writer[A]的子类型。

    794
  • Scala系列之对象

    在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的。

    1713
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    1663
  • Scala系列之闭包

    闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。

    1787
  • Scala系列之闭包

    闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。

    1922
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    1670
  • Scala系列之映射Map

    Scala系列之映射Map

    1874

他们都在看

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码