• 创建非sbt的scala项目
  • 引入spark的jar包
File->Project Structure->Libararies引用spark-assembly-1.5.2-hadoop2.6.0.jar
  • 编写代码
import scala.math.random
import org.apache.spark._
/**
* Created by code-pc on 16/3/2.
*/
object test1 {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
}
}
  • 编译jar包
File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies
菜单栏:build Artifacts
  • 运行
./spark-submit --class test1 --master local ~/IdeaProjects/test1/out/artifacts/Pi/test1.jar

最新文章

  1. php mb_convert_encoding的使用
  2. zookeeper Eclipse 开发环境搭建及简单示例
  3. jq 修改input 标签的值
  4. PAT (Basic Level) Practise:1023. 组个最小数
  5. XPath注入笔记
  6. 这些天自身努力的体会,关于java方面的
  7. HTML5 Web app开发工具Kendo UI Web中Grid网格控件的使用
  8. 反射遍历List&lt;&gt;泛型类型
  9. ASP.NET服务器端控件(class0617)
  10. NSIndexPath初始化
  11. 第2章 来点C#的感觉
  12. 《Programming WPF》翻译 第5章 8.我们进行到哪里了?
  13. 什么是Angular JS?
  14. Java中的条件编译(转)
  15. JSP 学习一
  16. php函数的使用
  17. C语言 递归 汉诺塔问题 最大公约数问题
  18. .NET 增加扩展方法
  19. SPOJ Distinct Substrings SA
  20. 我Win下常用工具清单

热门文章

  1. EXtJS Ext.data.Model
  2. .NET本质论 类型基础
  3. java-webService(调用wsdl接口)
  4. Feign的使用
  5. Python 基础语法+简单地爬取百度贴吧内容
  6. wifi实现串口透传
  7. verilog编码规范
  8. shaderFX一些小心得
  9. matchmove流程中修改Maya相机数据的脚本
  10. 从错误0x80070522,谈强制完整性控制(MIC)。