Spark的安装和使用
2024-10-09 06:34:22
根据Spark2.1.0入门:Spark的安装和使用在虚拟机安装Spark,并进行测试
实验3 Spark读取文件系统的数据
将文件上传hdfs
(1)在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数;
(2)在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”(如果该文件不存在,请先创建),然后,统计出文件的行数;
(3)编写独立应用程序,读取HDFS系统文件“/user/hadoop/test.txt”(如果该文件不存在,请先创建),然后,统计出文件的行数;通过sbt工具将整个应用程序编译打包成 JAR包,并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object lab03 {
def main(args: Array[String]) {
val logFile = "hdfs://localhost:9000/user/hadoop/test.txt"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2)
val num = logData.count()
printf("The num of this file is %d", num)
}
}
最新文章
- 用jquery.pager.js实现分页
- OpenCV2计算机编程手册(一)操作像素
- jQuery 学习笔记(函数调用机制)
- 【poj1085】 Triangle War
- 自己动手开发jQuery插件
- ubuntu下编译VLC
- Java IO流总结
- 给一个div绝对定位后,如何让它水平居中
- LeetCode.4 两个有序数组的中位数问题
- css3选择器(下)
- 对SIGQUIT的实验 &; Java dump
- Java之循环语句练习1
- linux上配置jdk+Apache
- 图论(二分图最大权独立点集):COGS 2051. 王者之剑
- [Leetcode] implement strStr() (C++)
- 自己新建Xib 和.h .m文件关联
- 与众不同 windows phone (15) - Media(媒体)之后台播放音频
- 如何在Cocos2D 1.0 中掩饰一个精灵(五)
- [前端]css前端样式的模块化
- 对啊英语音标---二、ghywr这些辅音怎么发音
热门文章
- SQL SERVER 实现相同记录为空显示(多列去除重复值,相同的只显示一条数据)
- Java处理Excel中的日期格式
- BERT模型的OneFlow实现
- 从“信息化”到“智慧化”,GVS视声将如何赋能智慧医院?
- 小伙伴们在催更Spring系列,于是我写下了这篇注解汇总!!
- iSCSI网络磁盘
- 实验2、Flask模板、表单、视图和重定向示例
- noip2006 总结
- 【数论】8.30题解-prime素数密度 洛谷p1835
- NOIP模拟测试15「建造城市city(插板法)·轰炸·石头剪刀布」