spark 配置
2024-09-06 01:05:50
1、
mv slaves.template slaves
slaves 文件添加
hadoop.slave01
hadoop.slave02
hadoop.slave03
2、
cp spark-env.sh.template spark-env.sh
spark-env.sh 文件添加
SPARK_MASTER_HOST=hadoop.slave01
SPARK_MASTER_PORT=7077
export JAVA_HOME=/usr/java/jdk1.8.0_201
3、JobHistoryServer
修改spark-default.conf.
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop.slave01:9000/directory
还有
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080
修改spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://hadoop.slave01:9000/directory"
4、在hdfs 创建
hadoop fs -mkdir /directory
最新文章
- c/c++中关于sizeof、strlen的使用说明
- js ---- 时间格式
- 浅谈fls3的一个压缩问题
- 关于Windows2008服务器设置MIME后仍然无法播放MP4的解决方法
- SVN强制解锁操作
- ASP.net解析JSON例子
- Proguard使用教程
- css属性pointer-events
- WPF实现按钮鼠标停留样式的一个坑
- vue-15-vuex-store的用法
- Python识别字符型图片验证码
- django权限管理（一）
- 对偶图 并查集 BZOJ4423
- Python之路-python基础二（补充）
- 【刷题】LOJ 6008 「网络流 24 题」餐巾计划
- OpenCV 学习笔记03 boundingRect、minAreaRect、minEnclosingCircle、boxPoints、int0、circle、rectangle函数的用法
- [ 原创 ] Java基础1--Java中super和this的用法和区别
- flask_wtf/wtforms几个坑点，先简单记此
- guestfish修改镜像内容
- WPF 实现INotifyPropertyChanged .Net Framework 4.5