小小千想和您聊一聊

当前位置: 首页> 视频教程> 快速入门Spark

快速入门Spark高级

   评分9.2

44节课

11057人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建,任务调度流程,以及RDD代码的应用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制。

章节目录

第1节 为什么学习Spark 第23节 RDD属性
第2节 Spark和MapReduce的对比 第24节 RDD弹性
第3节 Spark框架体系 第25节 RDD的两种创建
第4节 Spark下载 第26节 RDD编程API
第5节 Spark运行模式介绍 第27节 Transformation算子
第6节 Spark集群安装 第28节 Action算子
第7节 Spark程序执行流程 第29节 Transformation算子之Map
第8节 Spark相关名词解释 第30节 Transformation算子之filter
第9节 SparkShellLocal 第31节 Transformation算子之flatMap
第10节 SparkShellCluster 第32节 Transformation算子之sample
第11节 Spark2节 2和Spark第1节 6Shell对比 第33节 Transformation算子之union
第12节 Maven和IDEA下载 第34节 Transformation算子之intersection
第13节 Maven安装 第35节 Transformation算子之distinct
第14节 IDEA安装 第36节 Transformation算子之join
第15节 IDEA中配置Maven 第37节 Transformation算子之leftOuterJoin
第16节 Scala环境安装和IDEA中配置Scala插件 第38节 Transformation算子之rightOuterJoin
第17节 IDEA创建Spark工程 第39节 Transformation算子之cartesian
第18节 Spark开发WordCount程序 第40节 Transformation算子之groupBy
第19节 Spark程序打包 第41节 Transformation算子之mapPartition
第20节 Spark集群运行打包程序 第42节 Transformation算子之mapPartitionWithIndex
第21节 RDD概念 43 Transformation算子之sortby
第22节 RDD执行流程 44 Transformation算子之sortbykey

  • 第1章 - 快速入门Spark

    • 第1节 - 快速玩转Spark系列 _为什么学习Spark

      点击播放
    • 第2节 - 快速玩转Spark系列 _Spark和MapReduce的对比

      点击播放
    • 第3节 - 快速玩转Spark系列 _Spark框架体系

      点击播放
    • 第4节 - 快速玩转Spark系列 _Spark下载

      点击播放
    • 第5节 - 快速玩转Spark系列Spark运行模式介绍

      点击播放
    • 第6节 - 快速玩转Spark系列Spark集群安装

      点击播放
    • 第7节 - 快速玩转Spark系列Spark程序执行流程

      点击播放
    • 第8节 - 快速玩转Spark系列Spark相关名词解释

      点击播放
    • 第9节 - 快速玩转Spark系列SparkShellLocal

      点击播放
    • 第10节 - 快速玩转Spark系列SparkShellCluster

      点击播放
    • 第11节 - 快速玩转Spark系列Spark和SparkShell对比

      点击播放
    • 第12节 - 快速玩转Spark系列Maven和IDEA下载

      点击播放
    • 第13节 - 快速玩转Spark系列Maven安装

      点击播放
    • 第14节 - 快速玩转Spark系列IDEA安装

      点击播放
    • 第15节 - 快速玩转Spark系列IDEA中配置Maven

      点击播放
    • 第16节 - 快速玩转Spark系列Scala环境安装和IDEA中配置Scala插件

      点击播放
    • 第17节 - 快速玩转Spark系列IDEA创建Spark工程

      点击播放
    • 第18节 - 快速玩转Spark系列Spark开发WordCount程序

      点击播放
    • 第19节 - 快速玩转Spark系列Spark程序打包

      点击播放
    • 第20节 - 快速玩转Spark系列Spark集群运行打包程序

      点击播放
    • 第21节 - 快速玩转Spark系列 _RDD概念

      点击播放
    • 第22节 - 快速玩转Spark系列 _RDD执行流程

      点击播放
    • 第23节 - 快速玩转Spark系列 _RDD属性

      点击播放
    • 第24节 - 快速玩转Spark系列 _RDD弹性

      点击播放
    • 第25节 - 快速玩转Spark系列 _RDD的两种创建

      点击播放
    • 第26节 - 快速玩转Spark系列 _RDD编程API

      点击播放
    • 第27节 - 快速玩转Spark系列 _Transformation算子

      点击播放
    • 第28节 - 快速玩转Spark系列 _Action算子

      点击播放
    • 第29节 - Transformation算子之Map

      点击播放
    • 第30节 - Transformation算子之filter

      点击播放
    • 第31节 - Transformation算子之flatMap

      点击播放
    • 第32节 - Transformation算子之sample

      点击播放
    • 第33节 - Transformation算子之union

      点击播放
    • 第34节 - Transformation算子之intersection

      点击播放
    • 第35节 - Transformation算子之distinct

      点击播放
    • 第36节 - Transformation算子之join

      点击播放
    • 第37节 - Transformation算子之leftOuterJoin

      点击播放
    • 第38节 - Transformation算子之rightOuterJoin

      点击播放
    • 第39节 - Transformation算子之cartesian

      点击播放
    • 第40节 - Transformation算子之groupBy

      点击播放
    • 第41节 - Transformation算子之mapPartition

      点击播放
    • 第42节 - Transformation算子之mapPartitionWithIndex

      点击播放
    • 第43节 - Transformation算子之sortby

      点击播放
    • 第44节 - Transformation算子之sortbykey

      点击播放
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    69
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    56
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    157
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    765
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    259
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    251
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    214
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    805
  • 第 3 章 认识Hadoop

      Hadoop是一个开源框架,也是大数据主要框架之一。Hadoop最核心的设计是:HDFS和MapReduce。其中,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。Hadoop可以让用户在不了解分布式底层细节的情况下,根据需求进行应用程序开发。

    415
  • 第2章 Shell编程

     Shell是一个作为用户与Linux内核通信的桥梁,它除了解释用户向操作系统输入的命令外,还可以调用其他程序或被其他程序调用,因此,Shell将内核、程序和用户连接在一起。

    383

他们都在看