分享一下今天遇到的spark中的小的技术点的一部分,字数有限,可以去博客查看完整版!
https://blog.csdn.net/Queen0809/article/details/116073576?spm=1001.2014.3001.5501
# 编写程序(windows上直接运行)
## 5.编写代码
5.1 输出到另一个文件
```scala
object WordCount2{
def main (args:Array[String]):Unit={
val conf: SparkConf = new SparkConf().setAppName("SparkWordCount").setMaster("local[*]")
val sc: SparkContext = new SparkContext(conf)
val lineRDD: RDD[String] = sc.textFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\input\\1.txt") //需要解析的文件的绝对路径
val wordRDD: RDD[String] = lineRDD.flatMap(_.split(" "))//将输入的文件按空格切分并打散成单个词
val word2OneRDD: RDD[(String,Int)] = wordRDD.map((_,1))//将单词映射成单词,1的格式
val word2SumRDD: RDD[(String,Int)] = word2OneRDD.reduceByKey(_+_)//将单词相同的值进行相加求和
word2SumRDD.saveAsTextFile("D:\\develop\\Workspaces\\IdeaProjects\\sparkWordCount\\output\\1.txt")//输出结果的文件的绝对路径(输出的文件夹要不存在,默认会创建)
sc.stop()
}
}
```
- 复制链接
- 举报