小小千想和您聊一聊

当前位置: 首页> 视频教程> 快速玩转SparkGraphx系列

快速玩转SparkGraphx系列高级

   评分9.3

33节课

11575人已学

下载本章视频你能学到什么?

Spark GraphX的属性图模型、简单的属性展示操作后,学习更多有关Spark GraphX的常用图操作。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Spark GraphX是一个分布式的图处理框架。社交网络中,用户与用户之间会存在错综复杂的联系,如微信、QQ、微博的用户之间的好友、关注等关系,构成了一张巨大的图,单机无法处理,只能使用分布式图处理框架处理,Spark GraphX就是一种分布式图处理框架。

章节目录

第1节 Graphx的优势 第18节 缓存操作
第2节 弹性分布式属性图(图计算的优势) 第19节 代码操作
第3节 Graphx图存储原理 第20节 代码操作(第2)
第4节 Partition分区策略 第21节 代码操作(3)
第5节 Graphx中的vertices、edges、triples 第22节 代码操作(4)
第6节 图构建 第23节 代码操作(5) 
第7节 图构建之方法 第24节 代码操作(6)
第8节 图构建之过程 第25节 深度优先算法(上)
第9节 构建点集合 第26节 深度优先算法(中)
第10节 构建点和边的集合例子 第27节 深度优先算法(下)
第11节 构建边集合 第28节 联通分量
第12节 构建图 第29节 广度优先算法
第13节 转换操作(mapVertices) 第30节 PageRank算法(动态和静态)
第14节 转换操作(mapEdges、mapTriplets) 第31节 PageRank(源码解析)
第15节 结构操作 第32节 PageRank(案例实现)
第16节 关联操作 第33节 PageRank(测试总结)
第17节 聚合操作(map阶段)


  • 第1章 - 快速玩转SparkGraphx系列

    • 第1节 - 好程序员_快速玩转SparkGraphx系列之Graphx的优势

      点击播放
    • 第2节 - 好程序员_快速玩转SparkGraphx系列之弹性分布式属性图

      点击播放
    • 第3节 - 好程序员_快速玩转SparkGraphx系列之Graphx图存储原理

      点击播放
    • 第4节 - 好程序员_快速玩转SparkGraphx系列之Partition分区策略

      点击播放
    • 第5节 - 好程序员_快速玩转SparkGraphx系列之Graphx中的vertices、edges、trip

      点击播放
    • 第6节 - 好程序员_快速玩转SparkGraphx系列之图构建

      点击播放
    • 第7节 - 好程序员_快速玩转SparkGraphx系列之图构建之方法

      点击播放
    • 第8节 - 好程序员_快速玩转SparkGraphx系列之图构建之过程

      点击播放
    • 第9节 - 好程序员_快速玩转SparkGraphx系列之构建点集合

      点击播放
    • 第10节 - 好程序员_快速玩转SparkGraphx系列之构建点和边的集合例子

      点击播放
    • 第11节 - 好程序员_快速玩转SparkGraphx系列之构建边集合

      点击播放
    • 第12节 - 好程序员_快速玩转SparkGraphx系列之构建图

      点击播放
    • 第13节 - 好程序员_快速玩转SparkGraphx系列之转换操作(mapVertices)

      点击播放
    • 第14节 - 好程序员_快速玩转SparkGraphx系列之转换操作(mapEdges、mapTriplets)

      点击播放
    • 第15节 - 好程序员_快速玩转SparkGraphx系列之结构操作

      点击播放
    • 第16节 - 好程序员_快速玩转SparkGraphx系列之关联操作

      点击播放
    • 第17节 - 好程序员_快速玩转SparkGraphx系列之聚合操作(map阶段)

      点击播放
    • 第18节 - 好程序员_快速玩转SparkGraphx系列之缓存操作

      点击播放
    • 第19节 - 好程序员_快速玩转SparkGraphx系列之代码操作

      点击播放
    • 第20节 - 好程序员_快速玩转SparkGraphx系列之代码操作(2)

      点击播放
    • 第21节 - 好程序员_快速玩转SparkGraphx系列之代码操作(3)

      点击播放
    • 第22节 - 好程序员_快速玩转SparkGraphx系列之代码操作(4)

      点击播放
    • 第23节 - 好程序员_快速玩转SparkGraphx系列之代码操作(5)

      点击播放
    • 第24节 - 好程序员_快速玩转SparkGraphx系列之代码操作(6)

      点击播放
    • 第25节 - 深度优先算法(上)

      点击播放
    • 第26节 - 深度优先算法(中)

      点击播放
    • 第27节 - 深度优先算法(下)

      点击播放
    • 第28节 - 联通分量

      点击播放
    • 第29节 - 广度优先算法

      点击播放
    • 第30节 - PageRank算法(动态和静态)

      点击播放
    • 第31节 - PageRank(源码解析)

      点击播放
    • 第32节 - PageRank(案例实现)

      点击播放
    • 第33节 - PageRank(测试总结)

      点击播放
  • hive表的查询

    子查询是内嵌在另一个SQL 语句中的SELECT 语句。Hive 对子查询的支持很有限。它只允许子查询出现在SELECT 语句的FROM 子句中。Hive支持非相关子查询,这个子查询通过IN或EXISTS语法在WHERE子句中进行查询。Hive目前暂不支持相关子查询,相关子查询的执行依赖于外部查询的数据。

    104
  • hive的数据类型

    本质上是在hdfs上创建一个目录,使用comment加入数据库的描述信息,描述信息放在引号里。数据库的属性信息放在描述信息之后用with dbproperties 加入,属性信息放在括号内,属性名和属性值放在引号里,用等号连接有多条属性用逗号分隔。

    124
  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    577
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    515
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    844
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    1445
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    793
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    793
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    762
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    1487

他们都在看