热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报
下一条:
分享一下今天遇到的spark中的小的技术点的一部分,字数有限,可以去博客查看完整版!https://blog.csdn.net/Queen0809/article/details/116073576?spm=1001.2014.3001.5501# 编写程序(windows上直接运行)## 5.编写代码5.1 输出到另一个文件```scalaobject WordCount2{ def main (args:Array[String]):Unit={ val conf: SparkConf = new SparkConf().setAppName("SparkWordCount").setMaster("local[*]") val sc: SparkContext = new SparkContext(conf) val lineRDD: RDD[String] = sc.textFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\input\\1.txt") //需要解析的文件的绝对路径 val wordRDD: RDD[String] = lineRDD.flatMap(_.split(" "))//将输入的文件按空格切分并打散成单个词 val word2OneRDD: RDD[(String,Int)] = wordRDD.map((_,1))//将单词映射成单词,1的格式 val word2SumRDD: RDD[(String,Int)] = word2OneRDD.reduceByKey(_+_)//将单词相同的值进行相加求和 word2SumRDD.saveAsTextFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\output\\1.txt")//输出结果的文件的绝对路径(输出的文件夹要不存在,默认会创建) sc.stop() }}```
分享一下今天遇到的spark中的小的技术点的一部分,字数有限,可以去博客查看完整版!https://blog.csdn.net/Queen0809/article/details/116073576?spm=1001.2014.3001.5501# 编写程序(windows上直接运行)## 5.编写代码5.1 输出到另一个文件```scalaobject WordCount2{ def main (args:Array[String]):Unit={ val conf: SparkConf = new SparkConf().setAppName("SparkWordCount").setMaster("local[*]") val sc: SparkContext = new SparkContext(conf) val lineRDD: RDD[String] = sc.textFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\input\\1.txt") //需要解析的文件的绝对路径 val wordRDD: RDD[String] = lineRDD.flatMap(_.split(" "))//将输入的文件按空格切分并打散成单个词 val word2OneRDD: RDD[(String,Int)] = wordRDD.map((_,1))//将单词映射成单词,1的格式 val word2SumRDD: RDD[(String,Int)] = word2OneRDD.reduceByKey(_+_)//将单词相同的值进行相加求和 word2SumRDD.saveAsTextFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\output\\1.txt")//输出结果的文件的绝对路径(输出的文件夹要不存在,默认会创建) sc.stop() }}```