HelloSpark.scala
2024-10-18 18:16:21
/**
* Created by root on 9/6/15.
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf object HelloSpark {
def main(args: Array[String]) {
val logFile = "/home/slh/data/README.txt" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
最新文章
- ItextDemo<;二>;
- WinRAR注册
- overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet 错误解决
- DVB系统中PCR的生成和PCR校正
- javascript字符类型操作函数
- Jquery获得 selection的text 和 option值
- USACO Section 1.3 Prime Cryptarithm 解题报告
- Swift和Javascript的神奇魔法
- C++ MySQL编程
- thunderbird 163 smtp
- sklearn 数据预处理1: StandardScaler
- redis centos 6.5 redis版本3.2.8安装过程
- 分析轮子(六)- LinkedList.java
- mysql delete from table 失败
- C# ABP - 创建自己的模块
- Hibernate与MyBatis的对比
- ASP.NET MVC 5搭建自己的视图基架 (CodeTemplate)
- Typecho-反序列化漏洞学习
- Django-自定义分页组件
- .Net C# 泛型序列化和反序列化JavaScriptSerializer
热门文章
- acdream 1044
- javascript 面向对象整理
- Asp.Net中的获取Web.config中设置的参数!(前后台的代码示例)
- 通过库函数API和C代码中嵌入汇编代码剖析系统调用的工作机制
- LeetCode题解——Integer to Roman
- [算法] 冒泡排序 Bubble Sort
- 【hadoop代码笔记】Hadoop作业提交中EagerTaskInitializationListener的作用
- Android 添加系统服务
- Android问题-DelphiXE8安装后编译Android提示SDK无法更新问题(XE10也可以解决)
- 递归函数recursion