小小千想和您聊一聊

当前位置: 首页> 视频教程> Spark Livy入门到精通

Spark Livy入门到精通高级

   评分9.9

20节课

1290人已学

下载本章视频你能学到什么?

学完本学完本套视频,可以远程向Spark集群提交作业,实现job的远程方便快速的部署。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍
千锋大数据高级教程Spark Livy入门到精通,livy是cloudera开发的通过REST来连接、管理spark的解决方案,供大家免费学习使用。

章节目录
第1节 Spark Livy介绍 第11节 使用livy session方式实现WordCount案例演示Ⅰ
第2节 Livy的特点阐述 第12节 使用livy session方式实现WordCount案例演示Ⅱ
第3节 Spark Livy运作流程详解 第13节 使用livy session方式实现WordCount案例总结
第4节 Spark Livy安装步骤介绍 第14节 删除session演示以及livy节 batches方式求圆周率
第5节 Spark Livy安装演示 第15节 使用livy节 batches方式求圆周率案例演示
第6节 Livy Server启动以及相关进程启动演示 第16节 使用livy节 batches方式求WordCount经典案例
第7节 Livy Server的启动以及访问详解 第17节 使用livy节 batches方式求WordCount经典案例
第8节 Livy Server使用方式概述以及livy session 第18节 使用livy节 batches方式求WordCount经典案例
第9节 livy session的创建以及查看演示 第19节 使用livy节 batches方式求WordCount经典案例
第10节 使用livy session方式实现WordCount 第20节 使用livy节 batches方式求WordCount经典案例

  • 第1章 - Spark Livy入门到精通

    • 第1节 - Spark Livy介绍

      点击播放
    • 第2节 - Livy的特点阐述

      点击播放
    • 第3节 - Spark Livy运作流程详解

      点击播放
    • 第4节 - Spark Livy安装步骤介绍

      点击播放
    • 第5节 - Spark Livy安装演示

      点击播放
    • 第6节 - Livy Server启动以及相关进程启动演示

      点击播放
    • 第7节 - Livy Server的启动以及访问详解

      点击播放
    • 第8节 - Livy Server使用方式概述以及livy session的创建以及查看介绍

      点击播放
    • 第9节 - livy session的创建以及查看演示

      点击播放
    • 第10节 - 使用livy session方式实现WordCount案例思路阐述

      点击播放
    • 第11节 - 使用livy session方式实现WordCount案例演示Ⅰ

      点击播放
    • 第12节 - 使用livy session方式实现WordCount案例演示Ⅱ

      点击播放
    • 第13节 - 使用livy session方式实现WordCount案例总结以及注意点说明

      点击播放
    • 第14节 - 删除session演示以及livy-batches方式求圆周率案例介绍

      点击播放
    • 第15节 - 使用livy-batches方式求圆周率案例演示

      点击播放
    • 第16节 - 使用livy-batches方式求WordCount经典案例实现思路阐述

      点击播放
    • 第17节 - 使用livy-batches方式求WordCount经典案例之前期准备

      点击播放
    • 第18节 - 使用livy-batches方式求WordCount经典案例效果演示

      点击播放
    • 第19节 - 使用livy-batches方式求WordCount经典案例之standalone-clien

      点击播放
    • 第20节 - 使用livy-batches方式求WordCount经典案例之standalone-clust

      点击播放
  • hive表的查询

    子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询,这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询,相关子查询的执行依赖于外部查询的数据。

    104
  • hive的数据类型

    本质上是在hdfs上创建一个目录,使用comment加入数据库的描述信息,描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入,属性信息放在括号内,属性名和属性值放在引号里,用等号连接有多条属性用逗号分隔。

    123
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    577
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    515
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    844
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    1444
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    793
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    792
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    762
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    1486

他们都在看