spark运行时加载配置文件(hive,hdfs)
文章为转载,如有版权问题,请联系,谢谢!
转自:https://blog.csdn.net/piduzi/article/details/81636253
适合场景:在运行时才确定用哪个数据源
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import org.apache.spark.sql.SparkSession
import scala.collection.JavaConverters._
object ReadHive {
def main(args: Array[String]): Unit = {
val sparkBuilder = SparkSession
.builder
.master("local")
.appName("Spk Pi")
val conf = new Configuration()
// 这里的文件地址可以换成从数据库里查询
val core = new Path("C:\\Users\\shadow\\Desktop\\core-site.xml")
val hdfs = new Path("C:\\Users\\shadow\\Desktop\\hdfs-site.xml")
val hive = new Path("C:\\Users\\shadow\\Desktop\\hive-site.xml")
conf.addResource(core)
conf.addResource(hdfs)
conf.addResource(hive)
for (c <- conf.iterator().asScala){
sparkBuilder.config(c.getKey, c.getValue)
}
val spark = sparkBuilder.enableHiveSupport().getOrCreate()
spark.sql("select * from default.wt_test1").show() }
}
最新文章
- 【原】命令行方式开启WIFI热点
- 鼠标滚轮事件MouseWheel
- sqlserver 启用邮箱服务
- CAS单点登录(SSO)完整教程
- 【转载】逃离adapter的地狱-针对多个View type的组合实现方案
- NOI2012 美食节
- 02--Java TCP Socket编程
- 【网站管理1】_dede织梦后台如何发布文章
- 算法实现之python篇
- cs231n spring 2017 lecture13 Generative Models 听课笔记
- 阶段小项目2:显示bin格式图片
- 超全MyBatis动态SQL详解!( 看完SQL爽多了)
- zTree:一个依靠 jQuery 实现的多功能 “树插件”
- 实现Qemu aarch32虚拟开发板ping www.baidu.com
- c#控件的动画显示效果
- Google Chrome 未响应。是否立即重新启动?---解决方法(秒速解决)
- MySQL Event计划任务刷慢日志
- 给trac的ticket添加提交时字段验证
- HDU 5361 In Touch (2015 多校6 1009 最短路 + 区间更新)
- java动态编译 (java在线执行代码后端实现原理)(二)