hadoop的目录结构介绍

解压缩hadoop

利用tar –zxvf把hadoop的jar包放到指定的目录下。

tar -zxvf /home/software/aa.tar.gz -C /home/zjx/pf

f:指定文件的名称

z:以gz结尾的文件就是用gzip压缩的结果。与gzip相对的就是gunzip，这个参数的作用就是用来调用gzip。

X:为解开的意思

Z:详细报告处理文件的信息

目录结构总图

[root@localhost hadoop-2.6.0]# ll

total 52

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 bin

drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 etc

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 include

drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 lib

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 libexec

-rw-r--r--. 1 20000 20000 15429 Nov 13 13:20 LICENSE.txt

-rw-r--r--. 1 20000 20000   101 Nov 13 13:20 NOTICE.txt

-rw-r--r--. 1 20000 20000  1366 Nov 13 13:20 README.txt

drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 sbin

drwxr-xr-x. 4 20000 20000  4096 Nov 13 13:20 share

bin目录结构

[root@localhost hadoop-2.6.0]# cd bin

[root@localhost bin]# ll

total 440

-rwxr-xr-x. 1 20000 20000 159183 Nov 13 13:20 container-executor

-rwxr-xr-x. 1 20000 20000   5479 Nov 13 13:20 hadoop

-rwxr-xr-x. 1 20000 20000   8298 Nov 13 13:20 hadoop.cmd

-rwxr-xr-x. 1 20000 20000  11142 Nov 13 13:20 hdfs

-rwxr-xr-x. 1 20000 20000   6923 Nov 13 13:20 hdfs.cmd

-rwxr-xr-x. 1 20000 20000   5205 Nov 13 13:20 mapred

-rwxr-xr-x. 1 20000 20000   5949 Nov 13 13:20 mapred.cmd

-rwxr-xr-x. 1 20000 20000   1776 Nov 13 13:20 rcc

-rwxr-xr-x. 1 20000 20000 201659 Nov 13 13:20 test-container-executor

-rwxr-xr-x. 1 20000 20000  11380 Nov 13 13:20 yarn

-rwxr-xr-x. 1 20000 20000  10895 Nov 13 13:20 yarn.cmd

文件存放了hadoop，hdfs，mapred的命令，从cmd可以看出支持windows。

sbin的目录结构

[root@localhost hadoop-2.6.0]# cd sbin

[root@localhost sbin]# ll

total 120

-rwxr-xr-x. 1 20000 20000 2752 Nov 13 13:20 distribute-exclude.sh

-rwxr-xr-x. 1 20000 20000 6452 Nov 13 13:20 hadoop-daemon.sh

-rwxr-xr-x. 1 20000 20000 1360 Nov 13 13:20 hadoop-daemons.sh

-rwxr-xr-x. 1 20000 20000 1640 Nov 13 13:20 hdfs-config.cmd

-rwxr-xr-x. 1 20000 20000 1427 Nov 13 13:20 hdfs-config.sh

-rwxr-xr-x. 1 20000 20000 2291 Nov 13 13:20 httpfs.sh

-rwxr-xr-x. 1 20000 20000 2059 Nov 13 13:20 kms.sh

-rwxr-xr-x. 1 20000 20000 4080 Nov 13 13:20 mr-jobhistory-daemon.sh

-rwxr-xr-x. 1 20000 20000 1648 Nov 13 13:20 refresh-namenodes.sh

-rwxr-xr-x. 1 20000 20000 2145 Nov 13 13:20 slaves.sh

-rwxr-xr-x. 1 20000 20000 1779 Nov 13 13:20 start-all.cmd

-rwxr-xr-x. 1 20000 20000 1471 Nov 13 13:20 start-all.sh

-rwxr-xr-x. 1 20000 20000 1128 Nov 13 13:20 start-balancer.sh

-rwxr-xr-x. 1 20000 20000 1401 Nov 13 13:20 start-dfs.cmd

-rwxr-xr-x. 1 20000 20000 3705 Nov 13 13:20 start-dfs.sh

-rwxr-xr-x. 1 20000 20000 1357 Nov 13 13:20 start-secure-dns.sh

-rwxr-xr-x. 1 20000 20000 1571 Nov 13 13:20 start-yarn.cmd

-rwxr-xr-x. 1 20000 20000 1347 Nov 13 13:20 start-yarn.sh

-rwxr-xr-x. 1 20000 20000 1770 Nov 13 13:20 stop-all.cmd

-rwxr-xr-x. 1 20000 20000 1462 Nov 13 13:20 stop-all.sh

-rwxr-xr-x. 1 20000 20000 1179 Nov 13 13:20 stop-balancer.sh

-rwxr-xr-x. 1 20000 20000 1455 Nov 13 13:20 stop-dfs.cmd

-rwxr-xr-x. 1 20000 20000 3206 Nov 13 13:20 stop-dfs.sh

-rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-secure-dns.sh

-rwxr-xr-x. 1 20000 20000 1642 Nov 13 13:20 stop-yarn.cmd

-rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-yarn.sh

-rwxr-xr-x. 1 20000 20000 4295 Nov 13 13:20 yarn-daemon.sh

-rwxr-xr-x. 1 20000 20000 1353 Nov 13 13:20 yarn-daemons.sh

各种启动和停止的命令。

Hadoop配置文件所在目录

[root@localhost hadoop]# ll

total 152

-rw-r--r--. 1 20000 20000  4436 Nov 13 13:20 capacity-scheduler.xml

-rw-r--r--. 1 20000 20000  1335 Nov 13 13:20 configuration.xsl

-rw-r--r--. 1 20000 20000   318 Nov 13 13:20 container-executor.cfg

-rw-r--r--. 1 20000 20000   774 Nov 13 13:20 core-site.xml

-rw-r--r--. 1 20000 20000  3670 Nov 13 13:20 hadoop-env.cmd

-rw-r--r--. 1 20000 20000  4224 Nov 13 13:20 hadoop-env.sh

-rw-r--r--. 1 20000 20000  2598 Nov 13 13:20 hadoop-metrics2.properties

-rw-r--r--. 1 20000 20000  2490 Nov 13 13:20 hadoop-metrics.properties

-rw-r--r--. 1 20000 20000  9683 Nov 13 13:20 hadoop-policy.xml

-rw-r--r--. 1 20000 20000   775 Nov 13 13:20 hdfs-site.xml

-rw-r--r--. 1 20000 20000  1449 Nov 13 13:20 httpfs-env.sh

-rw-r--r--. 1 20000 20000  1657 Nov 13 13:20 httpfs-log4j.properties

-rw-r--r--. 1 20000 20000    21 Nov 13 13:20 httpfs-signature.secret

-rw-r--r--. 1 20000 20000   620 Nov 13 13:20 httpfs-site.xml

-rw-r--r--. 1 20000 20000  3523 Nov 13 13:20 kms-acls.xml

-rw-r--r--. 1 20000 20000  1325 Nov 13 13:20 kms-env.sh

-rw-r--r--. 1 20000 20000  1631 Nov 13 13:20 kms-log4j.properties

-rw-r--r--. 1 20000 20000  5511 Nov 13 13:20 kms-site.xml

-rw-r--r--. 1 20000 20000 11291 Nov 13 13:20 log4j.properties

-rw-r--r--. 1 20000 20000   938 Nov 13 13:20 mapred-env.cmd

-rw-r--r--. 1 20000 20000  1383 Nov 13 13:20 mapred-env.sh

-rw-r--r--. 1 20000 20000  4113 Nov 13 13:20 mapred-queues.xml.template

-rw-r--r--. 1 20000 20000   758 Nov 13 13:20 mapred-site.xml.template

-rw-r--r--. 1 20000 20000    10 Nov 13 13:20 slaves

-rw-r--r--. 1 20000 20000  2316 Nov 13 13:20 ssl-client.xml.example

-rw-r--r--. 1 20000 20000  2268 Nov 13 13:20 ssl-server.xml.example

-rw-r--r--. 1 20000 20000  2237 Nov 13 13:20 yarn-env.cmd

-rw-r--r--. 1 20000 20000  4567 Nov 13 13:20 yarn-env.sh

-rw-r--r--. 1 20000 20000   690 Nov 13 13:20 yarn-site.xml

[root@localhost hadoop]# pwd

/home/app/hadoop-2.6.0/etc/Hadoop   hadoop配置文件所在的路径

本地库路径

[root@localhost lib]# cd native/

[root@localhost native]# ll

total 4912

-rw-r--r--. 1 20000 20000 1380212 Nov 13 13:20 libhadoop.a

-rw-r--r--. 1 20000 20000 1634592 Nov 13 13:20 libhadooppipes.a

lrwxrwxrwx. 1 20000 20000      18 Feb 28 08:41 libhadoop.so -> libhadoop.so.1.0.0

-rwxr-xr-x. 1 20000 20000  805999 Nov 13 13:20 libhadoop.so.1.0.0

-rw-r--r--. 1 20000 20000  476666 Nov 13 13:20 libhadooputils.a

-rw-r--r--. 1 20000 20000  440498 Nov 13 13:20 libhdfs.a

lrwxrwxrwx. 1 20000 20000      16 Feb 28 08:41 libhdfs.so -> libhdfs.so.0.0.0

-rwxr-xr-x. 1 20000 20000  278622 Nov 13 13:20 libhdfs.so.0.0.0

[root@localhost native]# pwd

/home/app/hadoop-2.6.0/lib/native

Lib下的native为本地库，hadoop编译时需要的本地库，例如编译c++等。

jar包的目录

[root@localhost share]# cd hadoop/

[root@localhost hadoop]# ll

total 28

drwxr-xr-x. 6 20000 20000 4096 Nov 13 13:20 common

drwxr-xr-x. 7 20000 20000 4096 Nov 13 13:20 hdfs

drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 httpfs

drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 kms

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 mapreduce

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 tools

drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 yarn

[root@localhost hadoop]# pwd

/home/app/hadoop-2.6.0/share/Hadoop

Hadoop的目录下有hdfs文件夹，该文件夹下面是支持hdfs运行的jar包

[root@localhost hadoop]# cd hdfs

[root@localhost hdfs]# ll

total 10716

-rw-r--r--. 1 20000 20000 7822669 Nov 13 13:20 hadoop-hdfs-2.6.0.jar

-rw-r--r--. 1 20000 20000 3029378 Nov 13 13:20 hadoop-hdfs-2.6.0-tests.jar

-rw-r--r--. 1 20000 20000   95211 Nov 13 13:20 hadoop-hdfs-nfs-2.6.0.jar

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 jdiff

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 lib

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 sources

drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 templates

drwxr-xr-x. 7 20000 20000    4096 Nov 13 13:20 webapps

最新文章

  1. 分布式监控系统Zabbix-3.0.3-完整安装记录（7）-使用percona监控MySQL
  2. 在现有的图像处理软件中融合dxf格式输出
  3. DOM对象模型四大基本接口
  4. Objective-c文件读取
  5. Codeforces 375
  6. HDU 4259 - Double Dealing（求循环节）
  7. cogs_14_搭配飞行员_(二分图匹配+最大流,网络流24题#01)
  8. linux共享windows资料
  9. Deep Learning 学习随记（五）Deep network 深度网络
  10. c++ 02
  11. ant—学习记录一
  12. C++获取文件大小常用技巧
  13. Inno Setup入门（十三）——Pascal脚本（2）
  14. java解析xml汇总（转自倾城幻影-Java解析xml汇总，链接：http://www.cnblogs.com/jiugehuanying/archive/2012/01/12/2320058.html）
  15. 201521123076《java程序设计》第12周学习总结
  16. Python 30分钟快速入门指南
  17. TensorFlow，Keras限制GPU显存
  18. DOM对象和jQuery对象的转换
  19. iic 之24C256存储器 及PCF8563
  20. [转]python3之日期和时间

热门文章

  1. apache log4j将日志保存在mongodb数据库中(转)
  2. C# 数据类型转化为byte数组
  3. app 移动支付
  4. 【C#】图片处理（底片，黑白，锐化，柔化，浮雕，雾化）
  5. 如何制作纯净的U盘启动盘
  6. Codeforces 385C Bear and Prime Numbers(素数预处理)
  7. Linux 搭建Mysql主从节点复制
  8. 编译器GCC的Windows版本 : MinGW-w64安装教程
  9. D建立app项目（mui）
  10. node-sass 安装失败 win32-x64-57_binding.node