小小千想和您聊一聊

当前位置: 首页> 视频教程> 2019大数据初识与职业发展

2019大数据初识与职业发展初级

   评分9.9

6节课

6110人已学

下载本章视频你能学到什么?

本课程需要掌握Hadoo的集群搭建 , 对hdfs的读写流程 , 代码能熟练操作,在工业中懂得跟Hadoop原型和大规则

千锋大数据官方①群(857910996)——猛戳进入


课程介绍
本课程介绍了大数据中hadoop的基本概念与生态体系,以及在企业中的案例应用。最后搭建一个Hadoop环境,并且展示Hadoop如何进行文分析与统计。

章节目录
第1节 Hadoop介绍
第2 节 Hadoop基本概念
第3节 Hadoop生态圈介绍
第4节 Hadoop企业应用与使用案例
第5节 Hadoop伪分布式环境搭建

第6节 Hadoop入门示例wordcount


  • Hive分区和分桶

    当单个表数据量越来越大的时候,hive查询通常会全表扫描,这将会浪费我们不关心数据的扫描,浪费大量时间。从而hive引出分区概念partition

    231
  • 大数据编程之UDF函数

     UDF:user difine function,用户自定义函数,一对一。常用 udaf:user define aggregate function,用户自定义聚合函数,多对一。 udtf:user define table_generate function,用户自定义表生成函数,一对多。

    500
  • marpreduce快速入门

    mapreduce:分布式并行离线计算框架,是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上;

    237
  • 大数据之hive入门操作

     Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。

    502
  • 大数据编程hive内部函数

    大数据编程hive内部函数

    549
  • hive表的查询

    子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询,这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询,相关子查询的执行依赖于外部查询的数据。

    527
  • hive的数据类型

    本质上是在hdfs上创建一个目录,使用comment加入数据库的描述信息,描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入,属性信息放在括号内,属性名和属性值放在引号里,用等号连接有多条属性用逗号分隔。

    538
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    865
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    759
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    1367

他们都在看