Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境
2024-10-17 01:33:11
Hadoop研发在java环境的拓展
一 背景
由于一直使用hadoop streaming形式编写mapreduce程序，所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发，本次实验使用window系统，maven打包，centos系统mapr环境运行。
二 步骤
1 查看hadoop版本，命令 Hadoop version，获得版本号hadoop2.7.0
2 编写pow文件，注意hadoop2.7依赖，
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.0</version>
</dependency>
3 编写java版的WordCount项目（具体java代码略）
4 maven install 下载依赖包并编译成jar包，在target中把jar包考到集群。
5mapr集群中输入命令运行项目：
hadoop jar maven-hadoop-java-wordcount-template-0.0.1-SNAPSHOT.jar com.example.Driver input output
6实验结果。
运行成功，截图1
截图2
三 附录
eclipse中项目的路径结构
本人将项目源码放在github
https://github.com/rongyux/Hadoop_Maven_Java_HellloWorld
最新文章
- heap c++ 操作 大顶堆、小顶堆
- iOS学习35数据处理之文件读写
- 查看ssh服务开启状态
- 2进制，16进制，BCD，ascii，序列化对象相互转换
- logstash 处理tomcat catalina.out
- HBase笔记--自定义filter
- 用yum查询想安装的软件
- POI数据下载器
- .Net MVC&&datatables.js&&bootstrap做一个界面的CRUD有多简单
- Vue-cli在webpack内使用雪碧图（响应式）
- 背包问题（01背包，完全背包，多重背包（朴素算法&&二进制优化））
- python xlwt模块生成excel文件并写入数据 xlrd读取数据
- 彻底弄懂JS事件委托的概念和作用
- linux下的重命名
- 01：MFC应用程序编程
- MySQL排序：SELECT ORDER BY
- UVa 1626 括号序列（矩阵连乘）
- 华硕M2A-VM+AMD4000超频方法
- Matlab实现图像切割
- $scope作用域与依赖注入