Spark—编译Spark源码
2024-10-17 05:48:12
Spark版本：Spark-2.1.0
Hadoop版本：hadooop-2.6.0-cdh5.7.0
官方文档：http://spark.apache.org/docs/latest/building-spark.html
一、环境配置
安装并配置好JDK
安装并配置好MAVEN
安装并配置好SCALA
注意：jdk要8以上，maven要3.3.9版本以上
二、在spark源码中的pom.xml中添加cdh仓库源
<repository>
<id>cloudera-releases</id>
<name>cdh</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
三、使用make-distribution.sh脚本编译生成可运行包
./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6
-Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
最新文章
- 利用Sharding-Jdbc实现分表
- php php-5.6.4.tar.bz2 apache 兼容问题 child pid 27858 exit signal Segmentation fault
- SQL Server日志文件(LDF文件)
- redhat自定义安装必选
- BackTrack5-r3系统软件更新
- PPTP-VPN第一章——部署与简单使用
- 内联(行级)元素不能设置margin-top
- 35、Android 性能优化、内存优化
- Controlling Site Provisioning Process with a Custom Provider
- Android混淆、反编译以及反破解的简单回顾
- SPOJ 220 Relevant Phrases of Annihilation（后缀数组+二分答案）
- android应用编译失败 ResXMLTree_node size 类错误，以及 android studio 项目内搜索
- JavaScript练习2
- Davinci DM6446开发攻略——DSP开发工程建立
- python-操作文件和目录
- Python实现EXCEL表格的排序功能
- java知识整理
- DHCP server 冒充及DOS攻击处理方案
- JSONObject 的使用学习
- 企业如何选择合适的BI工具？