spark1.3的部署
2024-10-19 04:21:16
1、下载源码,根据自己的环境编译,我这里下载的是spark1.3版本
本人采用sbt编译,
SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=ture sbt/sbt assembly
这句代码共有两个参数,第一个是指本机的hadoop环境的版本,第二个参数是指是否在yarn上运行,
2、编译完成后会生成make-distribution.sh文件3、然后我们需要将生成的部署包部署在集群上
这里有几个参数说明一下:
--hadoop VERSION :hadoop版本号
--with-yarn:是否支持yarn,不加参数时默认不支持
--with-hive:是否在spark SQL 中支持hive,默认不支持
还有其它一些参数,这里不一一列举了,常用的就上面几个
(1)现在我们生成支持hadoop 2.5.2、支持yarn的部署包
./make-distribution.sh --hadoop 2.5.2 --with-yarn --tgz
(2)现在我们生成支持hadoop 2.5.2、支持yarn、支持hive的部署包
./make-distribution.sh --hadoop 2.5.2 --with-yarn --with-hive --tgz
执行命令后,会生成spark-1.3.0-bin-2.5.2.tgz的部署包
最新文章
- PNG的使用技巧
- git 查看远程分支、本地分支、创建分支、把分支推到远程repository、删除本地分支
- win7安装nodejs
- How can I exclude directories from grep -R?
- 深入浅出 JavaScript 中的 this
- Struts2标签简介
- Java参数按值传递?按引用传递
- FFmpeg FFmpeg的使用及常用参数
- [C语言 - 1] C语言数据类型
- socket断开连接的四次握手及常见过程解析
- 解决Twitter Bootstrap Tab URL链接问题
- 【C#版本详情回顾】C#3.0主要功能列表
- JPA 系列教程7-双向多对多
- tensorflow从入门到放弃-0
- 使用MUI的日期控件引起的探索——HTML5 input类型date属性
- POST Raw JSON提交
- cardlayout
- Linux mem/swap/buffers/cached 区别
- poj 3685 Matrix 【二分】
- 在Eclipse下搭建Hibernate框架(加载hibernate工具插件,离线)