reduce 阶段遍历对象添加到ArrayList中的问题
2024-08-31 21:16:03
起初遍历values时直接把对象添加到集合中,后来输出结果和预期不符,debug时发现添加到集合中的对象的值全部是最后一个对象的值,网上百度了下,发现是reduce阶段对象重用的问题,reduce阶段的key,value分别指向一个对象,无论操作了多少个键值对,始终是这两个对象,而ArrayList的add()添加的是对象的引用地址而不是对象的值,这样add(value),当最后一个值遍历完成后,value指向的值就变成了最后一个对象的值,所以如果想要保存key,value的值(属性),需要重新new一个对象进行保存,需要添加到集合中的,应当先new一个对象,拷贝属性后再添加到集合中,不能把直接key,value添加到集合中(除非你的迭代器中只有一个值)
具体可以参考https://my.oschina.net/leejun2005/blog/131744
protected void reduce(Text key, Iterable<TableBean> value,
Reducer<Text, TableBean, TableBean, NullWritable>.Context context) throws IOException, InterruptedException { List<TableBean> orderBeanList = new ArrayList<TableBean>();
TableBean pdBean = new TableBean(); //分拣存储
for (TableBean tableBean : value) {
String name = tableBean.getpName();
if(StringUtils.isBlank(name)) {
TableBean bean = new TableBean();
try {
BeanUtils.copyProperties(bean, tableBean);
} catch (IllegalAccessException e) {
e.printStackTrace();
} catch (InvocationTargetException e) {
e.printStackTrace();
}
//orderBean
orderBeanList.add(bean);
}else {
try {
BeanUtils.copyProperties(pdBean, tableBean);
} catch (IllegalAccessException e) {
e.printStackTrace();
} catch (InvocationTargetException e) {
e.printStackTrace();
}
}
} //遍历集合进行合并
for (TableBean tableBean : orderBeanList) {
tableBean.setpName(pdBean.getpName());
//写出
context.write(tableBean,NullWritable.get());
} }
最新文章
- 前端开发:面向对象与javascript中的面向对象实现(一)
- GHOST WIN7系统64位经典优化版 V2016年
- MMORPG大型游戏设计与开发(规范)
- 重启猫(modem)的方法
- 《转》.NET开源核心运行时,且行且珍惜
- OpenSSL命令---ciphers
- javascript 对象的创建,引用,释放,删除方法
- HTML+CSS基础学习笔记(7)
- Delphi 用Web App Debugger简单调试ISAPI 转
- location的用法
- Swift - iOS应用的国际化与本地化
- 如何设置ubuntu自己主动的睡眠时间
- oracle 数据库备份
- Away 3d 入门demo
- 如何降低移动APP的开发成本
- python cookbook 小结
- python logging日志输出个文件中
- centos6中搭建tomcat
- 【ContestHunter】【弱省胡策】【Round0】(A)&;【Round1】(B)
- BZOJ2789 [Poi2012]Letters 【树状数组】