1.以wordcount为例

package org.apache.spark.examples

import org.apache.spark.{SparkConf, SparkContext}
//在任意方法中打印当前线程栈信息(StackTrace)
object word1 {
def printStackTrace(cls: Class[_]): Unit = {
val elements = (new Throwable).getStackTrace
System.out.println("Stack for " + cls.getName + ":")
for(i <- to elements.length) {
System.out.println(elements(i).getClassName +
"." + elements(i).getMethodName +
"(" + elements(i).getFileName +
":" + elements(i).getLineNumber +
")")
}
}
def main(args:Array[String]): Unit ={
val sparkConf=new SparkConf().setAppName("WORD1").setMaster("local")
val sc=new SparkContext(sparkConf)
val lines=sc.textFile("E:\\spark_file\\wordcount.txt")
val word=lines.flatMap{x =>x.split(" ")}
val pairs=word.map(s =>(s,))
val wordcnt=pairs.reduceByKey{_+_}
wordcnt.foreach(wordcount =>println(wordcount._1+" appread "+wordcount._2+" times/time "))
printStackTrace(classOf[Test])
}
}

2.输出结果:

  

最新文章

  1. 简单了解ICMP协议
  2. 第六篇.bootstrap表格
  3. Android RelativeLayout用到的一些重要的属性
  4. Jquery 复习练习(02)Javascript 与jquery 互转 onclick 与click区别
  5. Windows phone 8 学习笔记(2) 数据文件操作(转)
  6. jQ $.extend用法
  7. poi操作oracle数据库导出excel文件
  8. jquery页面无刷新切换皮肤并保存
  9. Golang基于学习总结
  10. Data Guard组件等相关介绍
  11. Java 9 揭秘(6. 封装模块)
  12. linux 系统状态分析
  13. Python CRM项目二
  14. Spring与Akka的集成
  15. Pytorch划分数据集的方法
  16. Cisco 日常巡检命令
  17. deepin使用笔记-解决蓝牙设备开机自动开启的问题
  18. vue学习笔记1-基本知识
  19. Java -------- 首字母相关排序总结
  20. 正则表达式,re模块

热门文章

  1. IOS报错:Unexpected ‘@’ in program
  2. HDFS集中式缓存管理(Centralized Cache Management)
  3. UVA 437 The Tower of Babylon巴比伦塔
  4. caution
  5. solr 7.2.1 单机及伪集群启动
  6. vim记住上次编辑和浏览位置
  7. 深入分析linux调度机制
  8. android:json解析的两个工具:Gson和Jackson的使用小例子
  9. C#函数3递归
  10. poj3046 Ant Counting——多重集组合数