评分9.4
30节课
1646人已学
在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。
课程介绍：
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。有利于代码的开发和维护。章节目录
| 第1节 Flume的产生 | 第16节 thrift节 source |
| 第2节 Flume的client | 第17节 HDFS节 sink |
| 第3节 flume的source | 第18节 avro节 sink |
| 第4节 flume的channel | 第19节 hbase sink |
| 第5节 flume的sink | 第20节 file channel |
| 第6节 flume的interceptor | 第21节 flume memory channel |
| 第7节 flume的selector | 第22节 flume interceptor |
| 第8节 flume的event | 第23节 flume的扇出机制 |
| 第9节 flume的agent | 第24节 flume的扇出机制 |
| 第10节 flume的数据模型 | 第25节 flume的多层代理 |
| 第11节 flume的安装 | 第26节 flume的负载均衡 |
| 第12节 flume的版本区别 | 第27节 案例一 |
| 第13节 flume的avro_source | 第28节 案例二 |
| 第14节 flume的exec_source | 第29节 案例三 |
| 第15节 spooldir节 source | 第30节 案例四 |
第1章 - 2019最新快速玩转Flume教程
第1节 - Flume的产生
点击播放第2节 - Flume的client
点击播放第3节 - flume的source
点击播放第4节 - flume的channel
点击播放第5节 - flume的sink
点击播放第6节 - flume的interceptor
点击播放第7节 - flume的selector
点击播放第8节 - flume的event
点击播放第9节 - flume的agent
点击播放第10节 - flume的数据模型
点击播放第11节 - flume的安装
点击播放第12节 - flume的版本区别
点击播放第13节 - flume的avro_source
点击播放第14节 - flume的exec_source
点击播放第15节 - spooldir source
点击播放第16节 - thrift source
点击播放第17节 - HDFS sink
点击播放第18节 - avro sink
点击播放第19节 - hbase sink
点击播放第20节 - file channel
点击播放第21节 - flume memory channel
点击播放第22节 - flume interceptor
点击播放第23节 - flume的扇出机制
点击播放第24节 - flume的扇出机制
点击播放第25节 - flume的多层代理
点击播放第26节 - flume的负载均衡
点击播放第27节 - 案例一
点击播放第28节 - 案例二
点击播放第29节 - 案例三
点击播放第30节 - 案例四
点击播放
子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询，这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询，相关子查询的执行依赖于外部查询的数据。
本质上是在hdfs上创建一个目录，使用comment加入数据库的描述信息，描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入，属性信息放在括号内，属性名和属性值放在引号里，用等号连接有多条属性用逗号分隔。
大数据：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新模式才能具有更强大的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产
源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ，HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制，为大量用户提供性能不错的文件存取服务
获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现
RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作，比如 map()和 filter()，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。
spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序，我们可以在这个特殊的应用程序中提交应用程序
之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具
高级10541人学习
高级10725人学习
高级1721人学习
高级10668人学习
进阶11089人学习
高级10447人学习
高级10941人学习
