小小千想和您聊一聊

当前位置: 首页> 视频教程> Hadoop生态圈视频教程

Hadoop生态圈视频教程高级

   评分9.9

94节课

12905人已学

下载本章视频你能学到什么?

全面学习该课程后,需要掌握linux操作、shell脚本编写、hadoop概念、hdfs的原理、hdfs操作、mapreduce编写、zookeeper的应用、hive的基本操作、hive的优化、sqoop的使用等技能。

简介


千锋大数据学习营——猛戳进入


百度网盘https://pan.baidu.com/s/1cx1cyT1RJkblwU8zHuKNRQ



课程介绍
本课程全面涵盖hadoop生态圈技术,内容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等,对比教学,从基础到进阶,轻松搞定hadoop生态圈。


章节目录
1 linux介绍和环境搭建(4集) 第12章 zookeeper的讲解(3集)
01 千锋大数据-1 01 Zookeeper的基本概念-1
02 Linux概念介绍-1 02 Zookeeper集群的搭建-1
03 Vmware安装虚拟机创建linux操作系统安装-1 03 Zookeeper的shell命令-1
04 Linux的目录结 连接网络模式 配置网络-1 第13章 hadoop的高可用(4集)
第2章 linux相关命令介绍(5集) 01 Hdfs的ha的介绍-1
01 帮助命令 Xshell安装-1 02 Hdfs的ha配置-1
02 Linux的系统级别命令(上)-1 03 Hdfs的ha的测试-1
03 Linux的系统级别命令(下)-1 04 Yarn的ha配置和测试-1
04 Linux中磁盘相关简单操作-1 第14章 mr的理论讲解和wordcount案例(5集)
05 Linux中用户和组操作-1 01 Mapreduce的相关概念的介绍-1
第3章 linux相关命令介绍(2集) 02 Wordcount框架搭建-1
01 文件创建-1 03 Wordcount的map和reduce函数的实现-1
02 Linux中的文件操作02-1 04 Wordcount的驱动类的编写-1
第4章 linux系统下软件安装(8集) 05 Wordcount的测试-1
01 Linux中的打包解包、查找、别名设置-1 第15章 mr基本数学运算和awk脚本案例比较(2集)
02 特殊符号、防火墙启停、sudoer的配置-1 01 Mapreduce的数学运算案例-1
03 Linux中二进制包安装(linux中jdk的安装)-1 02 Awk和mapreduce的处理方式比较-1
04 Linux的rpm的介绍和安装-1 第16章 shuffle概念及图详解、倒排索引案例(4集)
05 Linux连接公网-1 01 Shuffle的概念介绍-1
06 在线yum源安装-1 02 Shuffle的细节图描述-1
07 Linux本地yum源的自作-1 03 分区案例-1
08 源码安装和nginx的安装-1 04 倒排索引案例-1
第5章 shell编程(9集) 第17章 mapreduce的自定义数据类型(5集)
01 Shell介绍和变量-1 01 Mr中自定义数据类型-1
02 Shell中的字符串-1 02 Mr中的top-n-1
03 Shell中的数组和注释-1 03 Mr的二次排序-1
04 Shell中的运算符-1 04 多表的join连接1-1
05 Shell中的ifelse-1 05 多表的join连接2-1
06 Shell中的循环、casein、continue、break-1 第18章 mapreduce中的老版本API案例(2集)
07 Shell中的方法-1 01 Mr中的依赖执行-1
08 Shell中的文件引入-1 02 Mr的老版本的api-1
09 Shell中脚本的调试-1 第19章 mapreduce参数传递和压缩案例(2集)
第6章 hadoop的简介和单机版安装(2集) 01 Mr参数传递-1
01 Hadoop的简单介绍-1 02 Mr中的压缩-1
02 Hadoop 单机版安装及应用-1 第20章 hive的概念介绍、安装和基本命令(3集)
第7章 hdfs的理论讲解(2集) 01 Hive的概念介绍-1
01 Hdfs的相关内容介绍-1 02 Hive的安装-1
02 Hdfs的文件读写流程-1 03 Hive的基本命令-1
第8章 yarn的理论讲解(2集) 第21章 hive的join 、sort by 、union等(2集)
01 Yarn概念的讲解-1 01 Hive的join相关的查询-1
02 Yarn的流程介绍-1 02 Hive的sort、union等查询-1
第9章 hadoop的伪分布式和分布式搭建(6集) 第22章  hive的分区概念、动态分区案例(2集)
01 克隆虚拟机1-1 01 Hive分区表创建-1
02 克隆服务器2-1 02 Hive的分区02-1
03 Hadoop的集群配置01-1 第23章 hive的基础数据类型、排名函数案例(2集)
04 Hadoop的集群配置02-1 01 Hive的基础数据类型和复杂数据类型-1
05 Hadoop集群的启动和测试-1 02 Hive的常用内部函数和排名函数-1
06 Ssh免登陆配置-1 第24章 hive的udf概念和udf的案例编写(2集)
第10章 hdfs的shell命令和hdfs api01(3集) 01 Hive的内部函数入门-1
01 hdfs的常用shell 02 Hive的udf的使用-1
02 Maven的安装-1 第25章 hive的数据文件存储格式、索引、视图(7集)
03 Java读取hdfs的文件-1 01 Hive文件的存储格式-1
第11章 hdfs的api02和rpc(3集) 02 Hive的serde的记录格式-1
01 Java操作hdfs文件系统-1 03 Hive的索引-1
02 Rpc协议介绍-1 04 Hive的视图-1
03 Rpc的案例-1 05 Hive的执行方式-1
06 Hive的远程模式-1
07 Hive的优化explain的查询、job个数控制等-1
第26章 sqoop介绍、安装、语句(3集)
01 Sqoop的概念及安装-1
02 Sqoop的语句01-1
03 Sqoop使用query导入和export导出-1


  • 第1章 - Linux介绍和环境搭建

  • 第2章 - Linux相关命令介绍

  • 第3章 - linux相关命令介绍

  • 第4章 - linux系统下软件安装

  • 第5章 - shell编程

  • 第6章 - hadoop的简介和单机版安装

  • 第7章 - hdfs的理论讲解

  • 第8章 - yarn的理论讲解

  • 第9章 - hadoop的伪分布式和分布式搭建

  • 第10章 - hdfs的shell命令和hdfs api01

  • 第11章 - hdfs的api02和rpc

  • 第12章 - zookeeper的讲解

  • 第13章 - hadoop的高可用

  • 第14章 - mr的理论讲解和wordcount案例

  • 第15章 - mr的基本数学运算和awk脚本案例比较

  • 第16章 - shuffle概念及图详解、partitioner、倒排索引案例

  • 第17章 - mapreduce的自定义数据类型、top-N、二次排序、多表连接案例

  • 第18章 - mapreduce中的老版本API案例和多个job依赖执行案例

  • 第19章 - mapreduce中的参数传递和压缩案例

  • 第20章 - hive的概念介绍、安装和基本命令的使用

  • 第21章 - hive的join 、sort by 、union等进阶查询

  • 第22章 - hive的分区概念、分区表创建、分区信息修改、动态分区案例

  • 第23章 - hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例

    • 第81节 - Hive的基础数据类型和复杂数据类型-1

      点击播放
    • 第82节 - Hive的常用内部函数和排名函数-1

      点击播放
  • 第24章 - hive的udf概念和udf的案例编写

  • 第25章 - hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)

  • 第26章 - Sqoop介绍、安装、语句

  • 第 3 章 认识Hadoop

      Hadoop是一个开源框架,也是大数据主要框架之一。Hadoop最核心的设计是:HDFS和MapReduce。其中,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。Hadoop可以让用户在不了解分布式底层细节的情况下,根据需求进行应用程序开发。

    77
  • 第2章 Shell编程

     Shell是一个作为用户与Linux内核通信的桥梁,它除了解释用户向操作系统输入的命令外,还可以调用其他程序或被其他程序调用,因此,Shell将内核、程序和用户连接在一起。

    72
  • 第1章 Linux基础

      Linux是一套免费使用和自由传播的类Unix操作系统,可以安装在服务器、个人计算机、手机等各类设备上。目前,大数据处理、分布式计算、虚拟化等先进技术都可以在Linux系统上得到很好的支持,本章将带领读者一起进入Linux世界。

    81
  • Zookeeper集群管理与选举

    大数据技术的学习,逐渐成为很多程序员的必修课,因为趋势也是因为自己的职业生涯。在各个技术社区分享交流成为很多人学习的方式,今天我们就一起来看一看大数据基础知识!

    510
  • Hadoop阶段的高可用配置

    HA机制即Hadoop的高可用(7*24小时不中断服务),正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制。hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

    555
  • 与你共同解读大数据的处理流程

    随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据的处理流程,你是否了解?下面我们就一起看看大数据的处理流程。

    485
  • 大数据培训教程之什么是Sqoop

    Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等。Sqoop 还能够将 DB2 数据库的数据导入到 HDFS 上,并保存为多种文件类型。常见的有定界文本类型,Avro 二进制类型以及 Sequence Files 类型。

    540
  • 关于Hbase知识点的信息精解

    学习大数据技术的初学者,总会闻到关于hbase的知识点,不如说为什么有hbase?hbase是什么?Hbase的架构。下面我们就一起来看一看。

    528
  • 零基础该如何快速入门Hadoop

    本文将从Hadoop的定义、优势、学习路线图、学习教程各个方面进行阐述分享,尽量能够让你从零基础快速入门Hadoop。

    506

他们都在看