小小千想和您聊一聊

当前位置: 首页> 技术分享> 大数据基础教程:TextFile分区问题

大数据基础教程:TextFile分区问题

  val rdd1 = sc.parallelize(List(2,3,4,1,7,5,6,9,8))

  获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

  val rdd1 = sc.textFile("hdfs://hadoop02:8020/word.txt",3).flatMap _.split('')).map((_,1)).reduceByKey(_+_)

  textFile这个方法是有默认值就是2 除非改变loacl中的即默认值这个只要这个默认值小于2的话会使用小于默认的值

  这个默认属性是有值的defaultMinPartitions

  如果在textfile中传入了分区数,那么这个分区数可能相同也可能不同需要看底层计算!

  下面就是分片了,这个就是为什么textfile传入的参数和实际输出的分区可能不符合的原因

  总结:

  在textFile中没有指定分区的情况下都是默认大小2,除非指定小于2的值

  若在textFile中指定了分区,name切分文件工作,实际上是计算出多少切分大小即多少切分一下,然后将文件按照这个大小切分成多份,最后partition数就是切分文件的个数。

上一篇:HTML5工具初识之网页编辑器

下一篇:不学JavaScript直接学ts可以么?

QQ技术交流群

千锋大数据官方①群
857910996

加入群聊