Hadoop:Task process exit with nonzero status of 1 异常
2024-10-10 23:05:42
在运行hadoop程序时经常遇到异常 java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。
其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: unable to create new native thread这个问题导致程序失败并删除掉工作区间，最终导致文件无法读写。因此，通常抛出这个问题也有可能是因为内存溢出。
解决方法：
1. 增大hadoop-env.sh 中HADOOP_HEAPSIZE的值
2 .增大 mapred-site.xml 中mapred.child.java.opts的值（默认为200M）
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx2048m</value>
</property>
3. 减小 mapred-site.xml中mapred.tasktracker.map.tasks.maximumde和mapred.tasktracker.reduce.tasks.maximum的值
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>15</value>
</property>
最新文章
- Tomcat启动报错整理
- ArcGIS10.2.2 Desktop直接连接数据库的具体步骤
- JavaScript slice() 方法
- 多线程编程3 - GCD
- CKPT进程工作机制
- Studying-Swift ：Day01
- Java多态性理解
- HTML5 autocomplete属性、表单自动完成
- MarkDown编写规范指南
- 设计模式--MVC(C++版)
- linux ls 命令
- 转：ef获取某个表中的部分字段值
- IDEA关掉重复代码波浪线
- kafka 基础知识梳理及集群环境部署记录
- java编译带中文是显示乱码的错误
- grpc,protoc, protoc-gen-go,rust
- A. 【UR #16】破坏发射台
- 未能加载文件或程序集“Microsoft.ReportViewer.WebForms, Version=10.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a”或它的某一个依赖项。系统找不到指定的文件
- JQuery中事件one、bind、unbind、live、delegate、on、off、trigger、triggerHandler的各种使用区别
- [转]C#在WinForm下使用HttpWebRequest上传文件并显示进度