小小千想和您聊一聊

当前位置: 首页> 视频教程> 2019最新快速玩转Flume教程

2019最新快速玩转Flume教程高级

   评分9.4

30节课

1646人已学

下载本章视频你能学到什么?

在本课程中,你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。是大数据大数据开发工程师必须会的框架之一。有利于代码的开发和维护。

章节目录


第1节 Flume的产生 第16节 thrift节 source
第2节 Flume的client 第17节 HDFS节 sink
第3节 flume的source 第18节 avro节 sink
第4节 flume的channel 第19节 hbase sink 
第5节 flume的sink 第20节 file channel
第6节 flume的interceptor 第21节 flume memory channel
第7节 flume的selector 第22节 flume interceptor
第8节 flume的event 第23节 flume的扇出机制
第9节 flume的agent 第24节 flume的扇出机制
第10节 flume的数据模型 第25节 flume的多层代理
第11节 flume的安装 第26节 flume的负载均衡
第12节 flume的版本区别 第27节 案例一
第13节 flume的avro_source 第28节 案例二
第14节 flume的exec_source 第29节 案例三
第15节 spooldir节 source 第30节 案例四

  • hive表的查询

    子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询,这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询,相关子查询的执行依赖于外部查询的数据。

    104
  • hive的数据类型

    本质上是在hdfs上创建一个目录,使用comment加入数据库的描述信息,描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入,属性信息放在括号内,属性名和属性值放在引号里,用等号连接有多条属性用逗号分隔。

    123
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    577
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    515
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    844
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    1444
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    793
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    792
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    762
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    1487

他们都在看