小小千想和您聊一聊

当前位置: 首页> 视频教程> 2019大数据之快速入门Flink

2019大数据之快速入门Flink高级

   评分9.4

33节课

10668人已学

下载本章视频你能学到什么?

熟悉Flink核心流式数据流引擎,在流式引擎的基础上实现批处理。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Flink是一个开源的分布式流式和批处理平台;Flink核心是流式数据流引擎,然后在流式引擎的基础上实现批处理。和spark正好相反,spark核心是批处理引擎,然后在批处理引擎的基础上实现流式处理。

章节目录

第1节 Flink课程介绍 第18节 Scala实现WordCount-初始化环境
第2节 学习要求 第19节 Scala实现WordCount-实现聚合过程
第3节 计算引擎的四个时代 第20节 Scala实现WordCount-执行应用程序
第4节 Flink的技术特点 第21节 Java实现批处理WordCount-初始化对象
第5节 Flink的生态圈和架构图 22 Java实现批处理WordCount-实现聚合
第6节 Flink的基本组件 第23节 Java实现批处理WordCount-结果展示
第7节 Flink的流处理与批处理 第24节 Scala实现批处理WordCount-实现过程
第8节 Flink的应用场景 第25节 流式处理和批处理的区别
第9节 Flink与其它实时计算引擎比较 第26节 Flink集群部署内容介绍
第10节 开发环境 第27节 资源调度系统介绍
第11节 WordCount需求分析 28 Flink Local模式安装和启动
第12节 创建Maven项目 29 查看Flink WebUI界面
第13节 关于窗口操作的理解 30 Standalone模式介绍和安装
第14节 开发步骤简介 31 Standalone集群启动和查看WebUI
第15节 Java实现WordCount-初始化环境 32 关于集群配置的几个重要参数介绍
第16节 Java实现WordCount-实现聚合过程 33 Flink集群节点的重启和容错
第17节 Java实现WordCount-执行应用程序

  • hive表的查询

    子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询,这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询,相关子查询的执行依赖于外部查询的数据。

    104
  • hive的数据类型

    本质上是在hdfs上创建一个目录,使用comment加入数据库的描述信息,描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入,属性信息放在括号内,属性名和属性值放在引号里,用等号连接有多条属性用逗号分隔。

    123
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    577
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    515
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    844
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    1444
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    793
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    792
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    762
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    1486

他们都在看