spark集群搭建(三台虚拟机)——系统环境搭建(1)
2024-09-01 15:39:27
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下:
virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机)
jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6
一、虚拟机配置
1、下载安装三台虚拟机
我选择的版本是virtualBox5.2、Ubuntu14.04,virtualBox用起来比VMware要轻便些,开关机快很多,个人体会
注意此处三台虚拟机要使用三个镜像文件,分别放三个文件夹中
2、分别配置三台虚拟机静态IP
http://www.cnblogs.com/suwy/p/9436211.html
3、配置虚拟机到本机映射(三台虚拟机)
进入本机目录,打开hosts文件:C:\Windows\System32\drivers\etc
添加虚拟机IP:
192.168.1.124 spark1
192.168.1.123 spark2
192.168.1.125 spark3
cmd进入windows控制台就可以ping通虚拟机了
4、可以使用securecrt连接虚拟机 ,操作起来比较方便
参考:https://www.cnblogs.com/suwy/p/9436370.html
5、配置三台虚拟机之间的IP映射
$ vim /etc/hosts
添加如下(三台虚拟机的IP都要添加):
192.168.1.124 spark1
192.168.1.123 spark2
192.168.1.125 spark3
此时三台虚拟机之间可以相互ping通
二 、系统环境
1、安装jdk
2、ssh免密码登录
下载ssh
apt-get install openssh-server
和单机的不同,集群还要设置几台机器之间相互的免密码登录
对本机免密码登录:
$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys
三台机器之间的免密码登录:
$ ssh-copy-id -i 目标主机名
例如:当前机器spark1,要实现对spark2免密码登录,则在spark1命令行输入
$ ssh-copy-id -i spark2
最新文章
- 如何订阅Form的自定义事件
- Android--创建对话框AlertDialog
- Entity Framework 6.1-Database First介绍
- ecshop--标签数组
- Java体系学习书籍推荐
- 【AtCoder】ARC074
- Vue系列之 =>; 通过vue-resource发起ajax请求
- 视图,sql注入问题,事物,存储过程
- 8.UDP协议
- html5 canvas高级贝塞尔曲线运动动画(好吧这一篇被批的体无完肤!都说看不懂了!没办法加注释了!当然数学不好的我也没办法了,当然这还涉及到一门叫做计算机图形学的学科)
- 大数据开发实战:离线大数据处理的主要技术--Hive,概念,SQL,Hive数据库
- Ajax的优缺点及工作原理?
- vue中创建js文件使用export抛出函数,import引入后不能绑定HTML的问题
- Java泛型学习二
- python之uinttest单元测试框架
- Adobe InDesign CS6自学入门到高级视频教程
- 如何实现密码输入框focus状态弹出提示信息
- IntentServicce;Looper;long-running task
- 微信小程序选择器
- 深入理解mvc 一系列收藏
热门文章
- [POJ2248] Addition Chains 迭代加深搜索
- Cocos2d-x 学习笔记(15.3) EventDispatcher DirtyFlag 脏标记
- std::shared_future/future
- 第三方软件 radmin提权
- 如何在 Creator3D 中切换模型贴图,超级简单!
- 后缀数组(SA)
- V2er - Best client for V2EX
- Qt 表格的使用
- 微服务架构 ------ Day01 微服务架构优缺点
- 数据结构(二十七)Huffman树和Huffman编码