hadoop java.nio.channels.ClosedChannelException
2024-09-03 16:02:45
今天在跑一个任务的时候，报错java.nio.channels.ClosedChannelException。
INFO mapreduce.Job: Task Id : attempt_1521014335754_1262_r_000000_2, Status : FAILED
Error: java.nio.channels.ClosedChannelException
at org.apache.hadoop.hdfs.DataStreamer$LastExceptionInStreamer.throwException4Close(DataStreamer.java:)
at org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:)
at org.apache.hadoop.fs.FSOutputSummer.write(FSOutputSummer.java:)
at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:)
at java.io.DataOutputStream.write(DataOutputStream.java:)
报错的位置在代码context.write(outkey, outVal);这行。
原因是我该reducer的setup的时候，调用了HDFS文件系统去读一个文件（虽然很少有这么用的），读完之后，fs.close();
我在想，一个setup中关闭一个DHFS的FileSystem对象，尽然会影响到context.write();
//TODO 有空了看下源码，找找什么情况之后再补充这个帖子。
最新文章
- 深入理解javascript选择器API系列第二篇——getElementsByClassName
- 洛谷 P1373 小a和uim之大逃离 Label：dp 不会
- WinForm 公共控件
- Python 反编译工具uncompyle2
- jwt refresh token
- ES VS Hbase
- 读书list
- C# 分布式缓存服务器方案
- 开源的Android开发框架-------PowerFramework使用心得（四）数据库管理DBFarmer
- 2.2.5 NIO.2 Path 和 Java 已有的 File 类
- activiti 5.17 流程图中文乱码问题
- BasicExcel说明文档
- php 验证身份证有效性,根据国家标准GB 11643-1999 15位和18位通用
- Java版2048
- LeetCode算法题-Distribute Candies（Java实现）
- Django ORM模型：想说爱你不容易
- 总结TCP为什么三次握手四次挥手
- 单片机成长之路（51基础篇） - 002 STC单片机冷启动和复位有什么区别
- MVC与单元测试实践之健身网站(三)-角色与权限
- android 发送UDP广播，搜寻server建立socket链接