spark1.统计句子中特定内容
2024-08-31 04:35:06
val logFile = "./README.md" // Should be some file on your server.
val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
// val numAs = logData.filter(line => line.contains("h")).count()
// val numBs = logData.filter(line => line.contains("j")).count()
var params = List("h","j","c","w"); var searchAnylisay = params.map(item => logData.filter(line => line.contains(item)).count() ) println("searchAnylisay length : %s,".format(searchAnylisay.length)) searchAnylisay.foreach( x => println(x))
最新文章
- 前端应当了解的Web缓存知识
- loadrunner json
- IOS 2D游戏开发框架 SpriteKit-->;续(postion,锚点,游戏滚动场景)
- 将linux用在开发环境中
- spring简单事务管理器
- UIImageView属性
- Exception error message with incorrect line number
- Winform ListView根据条件定位到指定行
- An FPS counter.
- python-凯撒密码
- Shell学问: 调用脚本之间
- [bzoj 2017] [Usaco2009 Nov]硬币游戏
- Spring Boot 之日志记录
- Django 中的Form、ModelForm
- Leetcode - 309. Best Time to Buy and Sell Stock with Cooldown
- jmeter 控制线程组执行顺序
- Swift 栈和堆
- JS内置对象-String对象、Date日期对象、Array数组对象、Math对象
- (转载)Java8新的日期API LocalDate, LocalTime
- java的日期格式化
热门文章
- SQL数据库查询一张表新建一个排序字段并根据某列的排序存储排序值
- layer.open中content里面的元素追加click事件,触发不了
- B/S 与 C/S 模型区别
- telnet出现Connection closed by foreign host
- PIE SDK打开长时间序列数据
- PIE SDK坐标系选择
- docker jenkins安装(一)
- Epplus导出Excel(DataTable)
- oracle执行update语句卡住不动
- 5. AQS(AbstractQueuedSynchronizer)抽象的队列式的同步器