热门
最新
红包
立Flag
投票
同城
我的
发布
《Spark RDD 宽窄依赖：从 DAG 到 Shuffle 的性能之道》
Spark性能优化的核心在于理解并优化Shuffle过程。关键策略包括：优先使用reduceByKey等带预聚合的操作替代groupByKey，避免网络风暴；根据数据量和核心数合理设置分区数，避免并行度不足或调度开销；主动识别并处理数据倾斜，如通过加盐技术打散热点Key；仅在计算昂贵且被多次复用的关键节点使用缓存；开启AQE（自适应查询执行）以自动优化执行计划。最终，所有调优都应基于Spark UI的指标进行联动分析，采用小步迭代的科学方法验证效果。
——来自博客 https://blog.csdn.net/m0_74385041/article/details/153140675
以下哪些是宽依赖？(多选)
11 人已经参与 已结束
groupByKey
10人
reduceByKey
5人
union
0人
map
1人
CSDN App 扫码分享
评论
点赞
- 复制链接
- 举报
