小小千想和您聊一聊

当前位置: 首页> 视频教程> 2019大数据初识与职业发展

2019大数据初识与职业发展初级

   评分9.9

6节课

11093人已学

下载本章视频你能学到什么?

本课程需要掌握Hadoo的集群搭建 , 对hdfs的读写流程 , 代码能熟练操作,在工业中懂得跟Hadoop原型和大规则

千锋大数据官方①群(857910996)——猛戳进入


课程介绍
本课程介绍了大数据中hadoop的基本概念与生态体系,以及在企业中的案例应用。最后搭建一个Hadoop环境,并且展示Hadoop如何进行文分析与统计。

章节目录
第1节 Hadoop介绍
第2 节 Hadoop基本概念
第3节 Hadoop生态圈介绍
第4节 Hadoop企业应用与使用案例
第5节 Hadoop伪分布式环境搭建

第6节 Hadoop入门示例wordcount


  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    60
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    53
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    152
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    762
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    258
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    250
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    213
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    798
  • 第 3 章 认识Hadoop

      Hadoop是一个开源框架,也是大数据主要框架之一。Hadoop最核心的设计是:HDFS和MapReduce。其中,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。Hadoop可以让用户在不了解分布式底层细节的情况下,根据需求进行应用程序开发。

    407
  • 第2章 Shell编程

     Shell是一个作为用户与Linux内核通信的桥梁,它除了解释用户向操作系统输入的命令外,还可以调用其他程序或被其他程序调用,因此,Shell将内核、程序和用户连接在一起。

    383

他们都在看