热门

最新

红包

立Flag

投票

同城

我的

发布
qq_41549462
大数据赵轩
5 年前
trueqq_41549462

1、coalesce算子:
def coalesce(分区个数 :Int , 是否走shuffle :Boolean = false) : RDD[T]
2、coalesce算子功能:
coalesce算子一般用来合并分区(即减少分区个数,解决小文件分区过多问题),第二个参数决定是否走shuffle,默认是false;需要注意的是当需要增加分区个数时,必须将第二个参数设置为true才能实现

CSDN App 扫码分享
分享
评论
点赞
打赏
  • 复制链接
  • 举报
下一条:
谁能给我看一下啊
立即登录