Hadoop MapReduce 运行步骤
2024-08-23 02:15:45
步骤:
【使用java编译程序,生成.class文件】
【将.class文件打包为jar包】
【运行jar包(需要启动Hadoop)】
【查看结果】
具体实现:
1.添加程序所需要的依赖
vim ~/.bashrc
export HADOOP_HOME=/usr/local2/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
source ~/.bashrc
2.javac WordCount.java (生成.class文件)
3.jar -cvf WordCount.jar ./WordCount*.class (.class 文件打包成 jar,才能在 Hadoop 中运行)
4.运行程序:
hadoop jar WordCount.jar WordCount /user2/hive2/6.txt /soyo_output (/user2/hive2/6.txt:输入文件,soyo_output:结果文件,文件都在HDFS上)
5.查看结果:
hdfs dfs -ls /
最新文章
- 直接使用docker而无须加sudo
- Mecanim的Retargeting和BodyMask
- windows 服务安装脚本拾遗
- windows JDK 版本切换
- 第三百二十三天 how can I 坚持
- USB 0xC0000012 错误详解
- 设计模式16---设计模式之组合模式(Composite)(行为型)
- Mysql基础教程——mysql之一
- mysql笔记4之数据操作
- 【js】高阶函数是个什么?
- jQuery初识、函数、对象
- Pearson 相关系数--最佳理解及相关应用
- Java编程实现多线程TCP服务器完整实例
- HashMap 1.7
- How to split DMG on macOS
- [剑指Offer]5.二维数组中的查找
- dj 模板层template
- gulp 打包错误 TypeError: Path must be string. Received undefined
- docker教程——docker镜像打包上传
- Informatica学习:2、配置存储库服务和集成服务