Haddop的数据计算部分原理
2024-10-07 10:20:02
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; import java.io.*;
import java.util.*; public class WorkConut { public static void main(String[] args) throws IOException {
HashMap<String,Integer> map=new HashMap();
Configuration conf=new Configuration(); //连接对象
FileSystem fileSystem = FileSystem.get(conf); //读数据
FSDataInputStream open = fileSystem.open(new Path("E:\\wc.txt")); //处理数据
BufferedReader reader = new BufferedReader(new InputStreamReader(open)); //读取每一行数据
String line=null;
while ((line=reader.readLine())!=null){
String[] splies=line.split(" "); //逻辑 for (String word:splies) {
//当Map集合中有这个key时,就使用这个key值;
// 如果没有就使用默认值defaultValue。
Integer count= map.getOrDefault(word,); count++; map.put(word,count); }
}
//写数据
FSDataOutputStream create = fileSystem.create(new Path("E:\\resoult.txt")); BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(create)); //循环遍历map
Set<Map.Entry<String, Integer>> entries = map.entrySet(); //排序
ArrayList<Map.Entry<String,Integer>> list= new ArrayList<>(entries); list.sort(new Comparator<Map.Entry<String, Integer>>() {
@Override
public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
return o2.getValue()-o1.getValue();
}
}); for (Map.Entry<String,Integer> entry: list) {
writer.write(entry.getKey()+"="+entry.getValue()+"\r\n");
writer.flush();
} //关流
reader.close();
writer.close(); } }
必备添加:D://wc.txt存在。且有数据
Hadoop windows下环境
D://text1.txt不存在
最新文章
- Javascript数组学习
- Node.js Ubuntu下安装
- 学习tensorflow之mac上安装tensorflow
- 【RobotFramework】Selenium2Library类库关键字使用说明
- asp.net 捕获throw
- 洛谷U5653 宋荣子的小饼干
- Oracle创建表
- Fragment初步了解
- AVFoundation 初识
- Remarks on a preprint
- PHP代码为什么不能直接保存HTML文件——&;gt;PHP生成静态页面教程
- UVa 10256 凸包简单应用
- cocos2d-x开关按钮类CCControlSwitch
- Historical节点
- leetcode刷题笔记08 字符串转整数 (atoi)
- java----SVN
- Children’s Queue(hdu1297+递推)
- win7重装系统
- APP推广(预期方案)
- html 音乐 QQ播放器 外链 代码 播放器 外链 代码
热门文章
- 表格变色示例中发现的问题——attr()与prop()
- js验证小数或者整数
- AFNetworking2.0源码解析<;二>;
- python小实例
- python打包命令
- 四、绑定SignaIR的用户管理
- 前端错误监控上报公共方法,可在父页面及iframe子页面同时使用
- LA 4327 Parade(单调队列优化dp)
- java:Conllection中的List,ArrayList添加元素,删除元素,输出元素
- java:集合输出Iterator,ListIterator,foreach,Enumeration