IDEA非sbt下spark开发
2024-08-26 01:55:52
- 创建非sbt的scala项目
- 引入spark的jar包
File->Project Structure->Libararies引用spark-assembly-1.5.2-hadoop2.6.0.jar
- 编写代码
import scala.math.random
import org.apache.spark._
/**
* Created by code-pc on 16/3/2.
*/
object test1 {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
}
}
- 编译jar包
File -> Project Structure -> Artifacts -> + -> Jars -> From moudles with dependencies
菜单栏:build Artifacts
- 运行
./spark-submit --class test1 --master local ~/IdeaProjects/test1/out/artifacts/Pi/test1.jar
最新文章
- php mb_convert_encoding的使用
- zookeeper Eclipse 开发环境搭建及简单示例
- jq 修改input 标签的值
- PAT (Basic Level) Practise:1023. 组个最小数
- XPath注入笔记
- 这些天自身努力的体会,关于java方面的
- HTML5 Web app开发工具Kendo UI Web中Grid网格控件的使用
- 反射遍历List<;>;泛型类型
- ASP.NET服务器端控件(class0617)
- NSIndexPath初始化
- 第2章 来点C#的感觉
- 《Programming WPF》翻译 第5章 8.我们进行到哪里了?
- 什么是Angular JS?
- Java中的条件编译(转)
- JSP 学习一
- php函数的使用
- C语言 递归 汉诺塔问题 最大公约数问题
- .NET 增加扩展方法
- SPOJ Distinct Substrings SA
- 我Win下常用工具清单