热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_39966065
威少SOS
7 年前
trueweixin_39966065


spark学习之宽依赖,窄依赖:
1.何为宽,何为窄:
以子Rdd对父Rdd的依赖关系为纬度,1对1为窄,反之则宽!

2.宽窄之程序运行效率比较:
例如,逐个元素地执行map、然后filter操作;而宽依赖则需要首先计算好所有父分区数据,然后在节点之间进行Shuffle,这与MapReduce类似。

结论:窄依赖性能更高

3.具体比较如图:

CSDN App 扫码分享
分享
评论
1
打赏
  • 复制链接
  • 举报
下一条动态
立即登录