新闻网大数据实时分析可视化系统项目——16、Spark2.X集群运行模式
1.几种运行模式介绍
Spark几种运行模式：
1）Local
2）Standalone
3）Yarn
4）Mesos
下载IDEA并安装，可以百度一下免费文档。
2.spark Standalone模式配置并测试
1）jdk1.8已经安装
2）scala2.11.8已经安装
3）Hadoop2.5.0已经安装
4）安装Spark Standalone
a）配置slave
vi slaves
bigdata-pro01.kfk.com
bigdata-pro02.kfk.com
bigdata-pro03.kfk.com
b）配置spark-env.sh
vi spark-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_11
export SCALA_HOME=/opt/modules/scala-2.11.8
SPARK_CONF_DIR=/opt/modules/spark-2.2.0-bin/conf
SPARK_MASTER_HOST=bigdata-pro02.kfk.com
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
c）将spark 配置分发到其他节点并修改每个节点特殊配置
scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/
scp -r spark-2.2.0-bin bigdata-pro03.kfk.com:/opt/modules/
d）启动spark
sbin/start-all.sh
e）客户端测试
bin/spark-shell --master spark://bigdata-pro02.kfk.com:7077
d）集群运行
bin/spark-submit --master spark://bigdata-pro02.kfk.com:7077 --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt hdfs://bigdata-pro01.kfk.com:9000/user/data/output
3.spark on yarn模式配置并测试
1）注意hadoop配置文件中jdk版本是否与当前jdk版本一致
2）spark on yarn 模式提交作业
bin/spark-submit --class com.spark.test.Test --master yarn --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata
最新文章
- 问你觉得iOS7为什么要扁平化，扁平化和之前的比有什么优势
- python学习道路(day8note)(抽象类，类的方法，异常处理，socket编程)
- C++混合编程之idlcpp教程Lua篇(7)
- RuntimeWarning: invalid value encountered in divide
- php + mysql 分布式事务(转)
- Eclipse中遇到The type XXX cannot be resolved. It is indirectly referenced from required .class files错误
- u-boot ctr0.S详解 包含_main函数
- 最长回文子串(Longest Palindromic Substring)-DP问题
- Linux下常用的shell命令记录
- javascript应用：页面解析list和map封装后的json数据
- [转]利用maven的surefire插件实现单元测试与集成测试
- （转载）Android开发者必知的开发资源
- WebApi接口返回json,xml,text纯文本等
- 实用 .htaccess 用法大全【转载】
- Mysql内置的profiling性能分析工具
- IntelliJ IDE 基础经验备案
- 部署Java和Tomcat
- IO复用,AIO,BIO,NIO,同步，异步，阻塞和非阻塞 区别参考
- jQuery取得radio的值 取select得值
- MyBatis映射文件2(不支持自增的数据库解决方案/参数处理[单参、多参、命名参数])