cloudera上面安装Spark2.0
2024-10-11 19:48:07
Cloudera默认值是提供Spark1.6的安装,下面介绍如何来安装spark2.1
2. parcels:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/,根据操作系统选择对应的parcel文件,sha1文件,记得还要把列表最下面的manifest.json文件一并拷贝下来;注意需要sha1文件改名为sha;
3. 在cloudera parcels目录下(推荐目录/opt/cloudera)下面的csd文件中copy一下csd包
4. 在cloudera parcels目录下parcels-repo文件夹下拷贝parcels文件;
5. 进入cloudera管理页面,Hosts->Parcles,点击check for new parcles按钮,可以自动探测到spark2的parcles;
6. 点击spark一行右侧的Distribute按钮(发布-拷贝到集群个台机器);完事后再点击一次该按钮(激活-启动;此时按钮显示为Activate);
7. 此时addService还是不行,需要重启一下scm服务,重启服务的目的是能够重新读取一下csd文件夹下的内容,否则无法在add service的列表中看到spark2;然后在add Service的界面将会看到Spark2的安装选项;红字告知CDH默认并不带有此;但是我们已经通过自定义添加Spark2的Parcel了。
完事
最新文章
- 掌握Thinkphp3.2.0----模型初步
- Use getopt() &; getopt_long() to Parse Arguments
- R与JAVA的整合
- VB6.0
- 【POJ】【2987】Firing
- 非常实用的15款开源PHP类库
- strust1.x中formbean的原理及作用
- net core 依赖注入问题
- C++算法接口使用参考
- 云端安装MQTT服务器
- python之连接oracle模块(cx_Oracle)
- Golang并发编程中select简单了解
- Win10系列:JavaScript综合实例2
- Java,JavaScript,jQuery,jSP,js
- 第一个spring冲刺总结
- HDU 5295 Unstable 计算几何
- docker remote api enable in ubuntu
- Personal Introduction
- linux fg&;bg
- python处理dict转json,字符串中存在空格问题,导致url编码时,存在多余字符
热门文章
- hdu_1226超级密码(BFS)
- visual studio2017 无法添加引用 未能加载包ReferenceManagerPackage not such interface support 解决方法
- 京东android面试题(2018 顶级互联网公司面试题系列)
- [luogu4755]Beautiful Pair
- Android系统移植与调试之------->如何修改Android设备的默认休眠时间
- oracle 序列 + 触发器 实现 ID自动增长
- Linux电源管理(2)-Generic PM基本概念和软件架构【转】
- 暑假集训第一周比赛G题
- 2015年SCI收录遥感期刊28种目录
- php设计模式课程---3、为什么会有抽象工厂方法