小小千想和您聊一聊

当前位置: 首页> 视频教程> Hadoop生态圈视频教程

Hadoop生态圈视频教程进阶

   评分9.7

94节课

42234人已学

下载本章视频你能学到什么?

全面学习该课程后,需要掌握linux操作、shell脚本编写、hadoop概念、hdfs的原理、hdfs操作、mapreduce编写、zookeeper的应用、hive的基本操作、hive的优化、sqoop的使用等技能。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍
本课程全面涵盖hadoop生态圈技术,内容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等,对比教学,从基础到进阶,轻松搞定hadoop生态圈。

章节目录
1 linux介绍和环境搭建 03 Zookeeper的shell命令
01 千锋大数据 13 hadoop的高可用
02 Linux概念介绍 01 Hdfs的ha的介绍
03 Vmware安装虚拟机创建linux操作系统安装 02 Hdfs的ha配置
04 Linux的目录结 连接网络模式 配置网络 03 Hdfs的ha的测试
2 linux相关命令介绍 04 Yarn的ha配置和测试
01 帮助命令 Xshell安装 14 mr的理论讲解和wordcount案例
02 Linux的系统级别命令(上) 01 Mapreduce的相关概念的介绍
03 Linux的系统级别命令(下) 02 Wordcount框架搭建
04 Linux中磁盘相关简单操作 03 Wordcount的map和reduce函数的实现
05 Linux中用户和组操作 04 Wordcount的驱动类的编写
3 linux相关命令介绍 05 Wordcount的测试
01 文件创建 15 mr基本数学运算和awk脚本案例比较
02 Linux中的文件操作02 01 Mapreduce的数学运算案例
4 linux系统下软件安装 02 Awk和mapreduce的处理方式比较
01 Linux中的打包解包、查找、别名设置 16 shuffle概念及图详解、倒排索引案例
02 特殊符号、防火墙启停、sudoer的配置 01 Shuffle的概念介绍
03 Linux中二进制包安装(linux中jdk的安装) 02 Shuffle的细节图描述
04 Linux的rpm的介绍和安装 03 分区案例
05 Linux连接公网 04 倒排索引案例
06 在线yum源安装 17 mapreduce的自定义数据类型
07 Linux本地yum源的自作 01 Mr中自定义数据类型
08 源码安装和nginx的安装 02 Mr中的top-n
5 shell编程 03 Mr的二次排序
01 Shell介绍和变量 04 多表的join连接1
02 Shell中的字符串 05 多表的join连接2
03 Shell中的数组和注释 18 mapreduce中的老版本API案例
04 Shell中的运算符 01 Mr中的依赖执行
05 Shell中的ifelse 02 Mr的老版本的api
06 Shell中的循环、casein、continue、break 19 mapreduce参数传递和压缩案例
07 Shell中的方法 01 Mr参数传递
08 Shell中的文件引入 02 Mr中的压缩
09 Shell中脚本的调试 第20章 hive的概念介绍、安装和基本命令
第6章 hadoop的简介和单机版安装 01 Hive的概念介绍
01 Hadoop的简单介绍 02 Hive的安装
02 Hadoop 单机版安装及应用 03 Hive的基本命令
第7章 hdfs的理论讲解 第21章 hive的join 、sort by 、union等
01 Hdfs的相关内容介绍 01 Hive的join相关的查询
02 Hdfs的文件读写流程 02 Hive的sort、union等查询
第8章 yarn的理论讲解 第22章  hive的分区概念、动态分区案例
01 Yarn概念的讲解 01 Hive分区表创建
02 Yarn的流程介绍 02 Hive的分区02
第9章 hadoop的伪分布式和分布式搭建 第23章 hive的基础数据类型、排名函数案例
01 克隆虚拟机1 01 Hive的基础数据类型和复杂数据类型
02 克隆服务器2 02 Hive的常用内部函数和排名函数
03 Hadoop的集群配置01 第24章 hive的udf概念和udf的案例编写
04 Hadoop的集群配置02 01 Hive的内部函数入门
05 Hadoop集群的启动和测试 02 Hive的udf的使用
06 Ssh免登陆配置 第25章 hive的数据文件存储格式、索引、视图
第10章 hdfs的shell命令和hdfs api01 01 Hive文件的存储格式
01 hdfs的常用shell 02 Hive的serde的记录格式
02 Maven的安装 03 Hive的索引
03 Java读取hdfs的文件 04 Hive的视图
第11章 hdfs的api02和rpc 05 Hive的执行方式
01 Java操作hdfs文件系统 06 Hive的远程模式
02 Rpc协议介绍 07 Hive的优化explain的查询、job个数控制等
03 Rpc的案例 第26章 sqoop介绍、安装、语句
第12章 zookeeper的讲解 01 Sqoop的概念及安装
01 Zookeeper的基本概念 02 Sqoop的语句01
02 Zookeeper集群的搭建 03 Sqoop使用query导入和export导出

  • 第1章 - Linux介绍和环境搭建

  • 第2章 - Linux相关命令介绍

  • 第3章 - linux相关命令介绍

  • 第4章 - linux系统下软件安装

  • 第5章 - shell编程

  • 第6章 - hadoop的简介和单机版安装

  • 第7章 - hdfs的理论讲解

  • 第8章 - yarn的理论讲解

  • 第9章 - hadoop的伪分布式和分布式搭建

  • 第10章 - hdfs的shell命令和hdfs api01

  • 第11章 - hdfs的api02和rpc

  • 第12章 - zookeeper的讲解

  • 第13章 - hadoop的高可用

  • 第14章 - mr的理论讲解和wordcount案例

  • 第15章 - mr的基本数学运算和awk脚本案例比较

  • 第16章 - shuffle概念及图详解、partitioner、倒排索引案例

  • 第17章 - mapreduce的自定义数据类型、top-N、二次排序、多表连接案例

  • 第18章 - mapreduce中的老版本API案例和多个job依赖执行案例

  • 第19章 - mapreduce中的参数传递和压缩案例

  • 第20章 - hive的概念介绍、安装和基本命令的使用

  • 第21章 - hive的join 、sort by 、union等进阶查询

  • 第22章 - hive的分区概念、分区表创建、分区信息修改、动态分区案例

  • 第23章 - hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例

    • 第81节 - Hive的基础数据类型和复杂数据类型-1

      点击播放
    • 第82节 - Hive的常用内部函数和排名函数-1

      点击播放
  • 第24章 - hive的udf概念和udf的案例编写

  • 第25章 - hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)

  • 第26章 - Sqoop介绍、安装、语句

  • Scala系列之对象

    在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的。

    457
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    510
  • Scala系列之闭包

    闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。

    568
  • Scala系列之闭包

    闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。

    766
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    734
  • Scala系列之映射Map

    Scala系列之映射Map

    867
  • Scala系列之集合操作函数

    系列之集合操作函数

    1086
  • Scala系列之List、set、元祖

    映射是K/V对偶的集合,对偶是元组的最简单形式,元组可以装着多个不同类型的值,是不同类型的值的聚集。

    1145
  • Hive分区和分桶

    当单个表数据量越来越大的时候,hive查询通常会全表扫描,这将会浪费我们不关心数据的扫描,浪费大量时间。从而hive引出分区概念partition

    825
  • 大数据编程之UDF函数

     UDF:user difine function,用户自定义函数,一对一。常用 udaf:user define aggregate function,用户自定义聚合函数,多对一。 udtf:user define table_generate function,用户自定义表生成函数,一对多。

    1103

他们都在看