hadoop删除节点和添加节点
2024-08-28 07:34:46
从hadoop移除机器
把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。
操作命令：
在master的conf/hdfs-site.xml中加入
<property>
<name>dfs.hosts.exclude</name>
<value>excludes文件路径</value>
</property>
创建exclueds文件
文件内容增加你想删除的节点的机器名，一行一个
${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果
向hadoop添加机器
启动datanode和jobtracker进程，当新添加的机器向namenode发送心跳信息后，namenode会自动感知新加入的机器，如果有必要可以做balancer操作。
操作命令：
1.在新机器上
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
2.为防新数据大量写到新添加的机器上，在namenode上 ${HADOOP_HOME}/bin/hdfs balancer
最新文章
- 我的MYSQL学习心得（十二） 触发器
- 用Redis实现分布式锁
- 视图必须派生自 WebViewPage 或 WebViewPage<TModel>
- Linux网络编程系列-TCP传输控制
- 20145206邹京儒《Java程序设计》第3周学习总结
- 使用ConditionalScope进行高效的SharePoint CSOM编程
- BZOJ 3163 Eden的新背包问题
- 【web性能】让css更简洁、高效
- AOJ 2200 Mr. Rito Post Office
- [jobdu]树中两个结点的最低公共祖先
- php计算最后一次，第一次字符串出现位置
- java4中创建内对象的方法
- Unity3D 集成 Face++ FacePlusPlus httpClient http协议 byte数组转string
- 驱动07.USB驱动程序
- RoutePrefix和Route 路由前缀
- 中颖内带LED资源驱动代码
- eclipse导出maven工程的可执行jar包
- Problem B: 一切皆对象
- FFmpeg Android 学习(一)：Android 如何调用 FFMPEG 编辑音视频
- Clustered Shading架构实现步骤