spark2.4.2 源码编译
2024-09-07 13:01:22
基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.5.4和Java 8.请注意，从Spark 2.2.0开始，对Java 7的支持已被删除。
包:
jdk-8u51-linux-x64.tar.gz
apache-maven-3.3.9-bin.tar.gz
spark-2.4.2.tgz
scala-2.11.8.tgz
1、maven中的设置
需要通过设置来配置Maven以使用比平时更多的内存MAVEN_OPTS：
$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
设置MAVEN的镜像地址:
$ vi $MAVEN_HOME/conf/setting.xml

2、spark中的设置
$ cd /home/hadoop/app/spark-2.4.2
$ vi pom.xml

注意: 如果强制使用maven3.3.9版本,需要改maven版本(默认3.5.4)

3、编译
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0

最新文章
- [No000011]Ruby之attr_reader,attr_writer,attr_accessor理解&用法
- 再读<<基于MVC的JavaScript Web 富应用开发>>
- 【BZOJ】【1150】【CTSC2007】数据备份Backup
- ExtJs计算两个DateField所间隔的月份（天数） new Date(str) IE游览器提示NaN 处理
- Java中this和super的用法总结
- Mac OS设置rootpassword
- OBJECT-ORIENTED
- 详解Objective-C的meta-class 分类： ios相关 ios技术 2015-03-07 15:41 51人阅读 评论(0) 收藏
- JAVA入门[9]-mybatis多表关联查询
- MD5加密Util
- python不同开根号速度对比
- Django中Form组件的使用
- 【PHP】解析PHP的GD库
- （一）求 int 型数据在内存中存储时 1 的个数
- windows剪贴板
- C/C++基础----关联容器
- Delphi: 模态窗体最小化
- 深入理解Java中配置环境变量
- 【Unity Shader】（六） ------ 复杂的光照（上）
- 牛客网——F求最大值