Hadoop 添加删除Slave
2024-08-30 05:10:55
Hadoop 添加删除Slave
@(Hadoop)
在hdfs-site.xml文件中添加如下配置:
<property>
<name>dfs.hosts</name>
<value>/root/jiangyuande/hadoop/etc/hadoop/datanode-allow.list</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/root/jiangyuande/hadoop/etc/hadoop/datanode-deny.list</value>
</property>
分别是允许Slave连接Namenode的列表和拒绝连接的列表。
删除节点
在对应目录下新建datanode-deny.list文件,内容为需要删除的Slave的主机名,一行一个。
执行命令重新读取配置:
hdfs dfsadmin -refreshNodes
使用
hdfs dfsadmin -report
可以看到该节点会处于Decommission Status : Decommission in progress的状态。
等待数据迁移完成之后,该状态变为Decommission Status : Decommissioned。
在该节点上停止进程:
hadoop-daemon.sh stop datanode
删除slaves文件中的对应主机名即可。
注意,副本数量要小于或者等于正常节点的数量,否则删除失败
【已解决】删除节点时,该节点长期处于Decommission Status : Decommission in progress状态,由于数据量太大,导致复制的时间很久,使用新集群测试时瞬间下线该节点
重新添加删除的节点
在slaves文件添加对应主机名,删除datanode-deny.list对应的主机名
执行命令:
hdfs dfsadmin -refreshNodes
在该节点上启动进程:
hadoop-daemon.sh start datanode
添加新节点
新机器配置完之后,slave和datanode-allow.list文件加入该主机名。
该节点上启动进程:
hadoop-daemon.sh start datanode
安全模式
hdfs dfsadmin -safemode [arg]
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待,一直到安全模式结束。
作者:@小黑
最新文章
- layer.open打开iframe页面的调用父页面方法及关闭
- 基于注解的Spring AOP示例
- MFC 关于MFC中CImage的简单使用
- ios 转发一篇对于6 plus的分辨率模式的说明
- UVA 10791 - Minimum Sum LCM(坑)
- Erlang使用相关笔记
- C# 截取字符串方法(包含中英混合)
- 【POJ 2104】 K-th Number 主席树模板题
- django 获取系统当前时间 和linux 系统当前时间不一致 问题处理。
- navBar
- tomcat可以访问到软链接设置
- Linux 中将用户添加到组的指令
- jQuery Mobile 是创建移动 web 应用程序的框架。
- linux iptables配置
- mysql 索引学习--多条件等值查询,顺序不同也能应用联合索引啦
- 如何给 mongodb 设置密码
- 泛微云桥e-birdge之金蝶云之家集成配置手册
- 构建NetCore应用框架之实战篇(四):BitAdminCore框架1.0登录功能细化及技术选型
- Bootstrap学习笔记(排版)
- 对象的序列化存储:Serializable 和 Parceable
热门文章
- 【hdoj_2189】来生一起走(母函数)
- OpenFalcon-SuitAgent
- 配置nginx作为下载站点
- AndroidStudio运行项目出现DELETE_FAILED_INTERNAL_ERROR和INSTALL_CANCELED_BY_USER
- 680. Valid Palindrome II【Easy】【双指针-可以删除一个字符,判断是否能构成回文字符串】
- Linux命令之whereis
- 使用screen后台实时执行命令
- 【SpringMVC】一次处理项目中文乱码的经历
- python搜索引擎(转)
- 【POJ 2154】 Color (置换、burnside引理)