小小千想和您聊一聊

当前位置: 首页> 视频教程> Hadoop生态圈视频教程

Hadoop生态圈视频教程高级

   评分9.9

94节课

10950人已学

下载本章视频你能学到什么?

全面学习该课程后,需要掌握linux操作、shell脚本编写、hadoop概念、hdfs的原理、hdfs操作、mapreduce编写、zookeeper的应用、hive的基本操作、hive的优化、sqoop的使用等技能。

简介


千锋大数据学习营→→猛戳进入


百度网盘:https://pan.baidu.com/s/1cx1cyT1RJkblwU8zHuKNRQ



课程介绍
本课程全面涵盖hadoop生态圈技术,内容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等,对比教学,从基础到进阶,轻松搞定hadoop生态圈。


章节目录
1linux基础和shell脚本(28集)
Day01:linux介绍和环境搭建(4集)
01 千锋大数据-1
02 Linux概念介绍-1
03 Vmware安装虚拟机创建linux操作系统安装-1
04 Linux的目录结 连接网络模式 配置网络-1
Day02:linux相关命令介绍(5集)
01 帮助命令 Xshell安装-1
02 Linux的系统级别命令(上)-1
03 Linux的系统级别命令(下)-1
04 Linux中磁盘相关简单操作-1
05 Linux中用户和组操作-1
Day03:linux相关命令介绍(2集)
01 文件创建-1
02 Linux中的文件操作02-1
Day04:linux系统下软件安装(8集)
01 Linux中的打包解包、查找、别名设置-1
02 特殊符号、防火墙启停、sudoer的配置-1
03 Linux中二进制包安装(linux中jdk的安装)-1
04 Linux的rpm的介绍和安装-1
05 Linux连接公网-1
06 在线yum源安装-1
07 Linux本地yum源的自作-1
08 源码安装和nginx的安装-1
Day05:shell编程(9集)
01 Shell介绍和变量-1
02 Shell中的字符串-1
03 Shell中的数组和注释-1
04 Shell中的运算符-1
05 Shell中的ifelse-1
06 Shell中的循环、casein、continue、break-1
07 Shell中的方法-1
08 Shell中的文件引入-1
09 Shell中脚本的调试-1
2hadoop、hdfs、zookeeper和hadoop的高可用(21集)
Day06:hadoop的简介和单机版安装(2集)
01 Hadoop的简单介绍-1
02 Hadoop 单机版安装及应用-1
Day07:hdfs的理论讲解(2集)
01 Hdfs的相关内容介绍-1
02 Hdfs的文件读写流程-1
Day08:yarn的理论讲解(2集)
01 Yarn概念的讲解-1
02 Yarn的流程介绍-1
Day09:hadoop的伪分布式和分布式搭建(6集)
01 克隆虚拟机1-1
02 克隆服务器2-1
03 Hadoop的集群配置01-1
04 Hadoop的集群配置02-1
05 Hadoop集群的启动和测试-1
06 Ssh免登陆配置-1
Day10:hdfs的shell命令和hdfs api01(3集)
01 hdfs的常用shell
02 Maven的安装-1
03 Java读取hdfs的文件-1
Day11:hdfs的api02和rpc(3集)
01 Java操作hdfs文件系统-1
02 Rpc协议介绍-1
03 Rpc的案例-1
Day12:zookeeper的讲解(3集)
01 Zookeeper的基本概念-1
02 Zookeeper集群的搭建-1
03 Zookeeper的shell命令-1
Day13:hadoop的高可用(4集)
01 Hdfs的ha的介绍-1
02 Hdfs的ha配置-1
03 Hdfs的ha的测试-1
04 Yarn的ha配置和测试-1
3分布式并行离线计算框架Mapreduce(20集)
Day14:mr的理论讲解和wordcount案例(5集)
01 Mapreduce的相关概念的介绍-1
02 Wordcount框架搭建-1
03 Wordcount的map和reduce函数的实现-1
04 Wordcount的驱动类的编写-1
05 Wordcount的测试-1
Day15:mr的基本数学运算和awk脚本案例比较(2集)
01 Mapreduce的数学运算案例-1
02 Awk和mapreduce的处理方式比较-1
Day16:shuffle概念及图详解、partitioner、倒排索引案例(4集)
01 Shuffle的概念介绍-1
02 Shuffle的细节图描述-1
03 分区案例-1
04 倒排索引案例-1
Day17:mapreduce的自定义数据类型、top-N、二次排序、多表连接案例(5集)
01 Mr中自定义数据类型-1
02 Mr中的top-n-1
03 Mr的二次排序-1
04 多表的join连接1-1
05 多表的join连接2-1
Day18:mapreduce中的老版本API案例和多个job依赖执行案例(2集)
01 Mr中的依赖执行-1
02 Mr的老版本的api-1
Day19:mapreduce中的参数传递和压缩案例(2集)
01 Mr参数传递-1
02 Mr中的压缩-1
4数据仓库工具hive(21集)
Day20:hive的概念介绍、安装和基本命令的使用(3集)
01 Hive的概念介绍-1
02 Hive的安装-1
03 Hive的基本命令-1
Day21:hive的join 、sort by 、union等进阶查询(2集)
01 Hive的join相关的查询-1
02 Hive的sort、union等查询-1
Day22: hive的分区概念、分区表创建、分区信息修改、动态分区案例(2集)
01 Hive分区表创建-1
02 Hive的分区02-1
Day23:hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例(2集)
01 Hive的基础数据类型和复杂数据类型-1
02 Hive的常用内部函数和排名函数-1
Day24:hive的udf概念和udf的案例编写(2集)
01 Hive的内部函数入门-1
02 Hive的udf的使用-1
Day25:hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)(7集)
01 Hive文件的存储格式-1
02 Hive的serde的记录格式-1
03 Hive的索引-1
04 Hive的视图-1
05 Hive的执行方式-1
06 Hive的远程模式-1
07 Hive的优化explain的查询、job个数控制等-1
Day26:sqoop介绍、安装、语句(3集)
01 Sqoop的概念及安装-1
02 Sqoop的语句01-1
03 Sqoop使用query导入和export导出-1


  • 第1章 - Linux介绍和环境搭建

  • 第2章 - Linux相关命令介绍

  • 第3章 - linux相关命令介绍

  • 第4章 - linux系统下软件安装

  • 第5章 - shell编程

  • 第6章 - hadoop的简介和单机版安装

  • 第7章 - hdfs的理论讲解

  • 第8章 - yarn的理论讲解

  • 第9章 - hadoop的伪分布式和分布式搭建

  • 第10章 - hdfs的shell命令和hdfs api01

  • 第11章 - hdfs的api02和rpc

  • 第12章 - zookeeper的讲解

  • 第13章 - hadoop的高可用

  • 第14章 - mr的理论讲解和wordcount案例

  • 第15章 - mr的基本数学运算和awk脚本案例比较

  • 第16章 - shuffle概念及图详解、partitioner、倒排索引案例

  • 第17章 - mapreduce的自定义数据类型、top-N、二次排序、多表连接案例

  • 第18章 - mapreduce中的老版本API案例和多个job依赖执行案例

  • 第19章 - mapreduce中的参数传递和压缩案例

  • 第20章 - hive的概念介绍、安装和基本命令的使用

  • 第21章 - hive的join 、sort by 、union等进阶查询

  • 第22章 - hive的分区概念、分区表创建、分区信息修改、动态分区案例

  • 第23章 - hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例

    • 第81节 - Hive的基础数据类型和复杂数据类型-1

      点击播放
    • 第82节 - Hive的常用内部函数和排名函数-1

      点击播放
  • 第24章 - hive的udf概念和udf的案例编写

  • 第25章 - hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)

  • 第26章 - Sqoop介绍、安装、语句

  • Zookeeper集群管理与选举

    大数据技术的学习,逐渐成为很多程序员的必修课,因为趋势也是因为自己的职业生涯。在各个技术社区分享交流成为很多人学习的方式,今天我们就一起来看一看大数据基础知识!

    246
  • Hadoop阶段的高可用配置

    HA机制即Hadoop的高可用(7*24小时不中断服务),正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制。hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

    297
  • 与你共同解读大数据的处理流程

    随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据的处理流程,你是否了解?下面我们就一起看看大数据的处理流程。

    256
  • 大数据培训教程之什么是Sqoop

    Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等。Sqoop 还能够将 DB2 数据库的数据导入到 HDFS 上,并保存为多种文件类型。常见的有定界文本类型,Avro 二进制类型以及 Sequence Files 类型。

    291
  • 关于Hbase知识点的信息精解

    学习大数据技术的初学者,总会闻到关于hbase的知识点,不如说为什么有hbase?hbase是什么?Hbase的架构。下面我们就一起来看一看。

    274
  • 零基础该如何快速入门Hadoop

    本文将从Hadoop的定义、优势、学习路线图、学习教程各个方面进行阐述分享,尽量能够让你从零基础快速入门Hadoop。

    249

他们都在看