MFS文件系统

一、MFS文件系统概论

MFS是linux下的开源存储系统，是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够节约存储成本，而且不逊于专业的存储系统，能够实现在线扩展。MFS是一种半分布式文件系统。

MFS的网络分三部分组成，MASTER SERVER、CHUNK SERVER 和 CLIENT,其中MASTER SERVER只有一个，而CHUNK SERVER 和CLIENT可以有多个。

二、MFS文件系统体系结构

MFS文件系统结构包含4种角色，分别是：

1、管理服务器(元数据服务器)--MASTER SERVER

2、元数据日志服务器--Metalogger

3、数据存储服务器--CHUNK SERVER

4、客户端--client

三、MFS的编译与安装实例

安装环境：Centos 6.5

系统内核：2.6.32-431.el6.x86_64

软件版本：mfs-1.6.11-1.tar.gz

客户端软件 :fuse-2.7.4.tar.gz

服务器分配：

服务分配	IP地址
主控服务器(Master server)	10.10.100.114
主控备份服务器(Metalogger server)	10.10.100.115
存储块服务器(Chunk server)	10.10.100.116
存储块服务器(Chunk server)	10.10.100.117
客户端主机(Clients)	10.10.100.93

echo "10.10.100.114 mfsmaster" >> /etc/hosts #在各主机上面将主控服务器写入host，这样就不用改配置文件了

主控服务器(Master server) 安装:

[root@localhost ~]# groupadd mfs

[root@localhost ~]# useradd -g mfs mfs 或者  useradd -s /sbin/nologin mfs

[root@localhost soft]#mfs-1.6.11-1.tar.gz

[root@localhost soft]#cd mfs-1.6.11

#当我们安装主控服务器时，在配置过程中(./configure)，可以取消安装chunk server（--disable-mfschunkserver）以及MooseFS 客户端（--disable-mfsmount)安装

[root@localhost mfs-1.6.11]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

[root@localhost mfs-1.6.11]# make

[root@localhost mfs-1.6.11]# make install

[root@localhost mfs-1.6.11]# cd /usr/local/mfs/etc

[root@localhost etc]# pwd

/usr/local/mfs/etc

[root@localhost etc]# cp mfsmaster.cfg.dist mfsmaster.cfg				#拷贝模板文件重命名得到主配置文件

#拷贝模板文件重命名得到权限控制文件

[root@localhost etc]# cp mfsexports.cfg.dist mfsexports.cfg

[root@localhost etc]# cd ../var/mfs/

[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs

#配置文件mfsexports.cfg指定那些客户端主机可以远程挂接MooseFS文件系统，以及赋予客户端什么样的访问权限

例如.我们指定只有10.10.100.*网段的主机可以以读写模式访问MooseFS的整个共享资

[root@localhost etc]# vim mfsexports.cfg

10.10.100.0/24          /       rw,alldirs,maproot=0

#主配置文件的内容以及含义

vim mfsmaster.cfg

# WORKING_USER = mfs                     运行master server 的用户

# WORKING_GROUP = mfs                 运行master server 的组

# SYSLOG_IDENT = mfsmaster master server 在syslog中的标识，说明是由master serve 产生的

# LOCK_MEMORY =                          是否执行mlockall()以避免mfsmaster 进程溢出（默认为0）

# NICE_LEVEL = -                         运行的优先级(如果可以默认是-; 注意: 进程必须是用root启动)

# EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg 被挂接目录及其权限控制文件的存放位置

# DATA_PATH = /usr/local/mfs/var/mfs     数据存放路径，此目录下大致有三类文件，changelog，sessions和stats；

# BACK_LOGS =  metadata 的改变log 文件数目(默认是50);

# REPLICATIONS_DELAY_INIT =      延迟复制的时间（默认是300s）;

# REPLICATIONS_DELAY_DISCONNECT =  chunkserver     断开的复制延迟（默认是3600）；

# MATOML_LISTEN_HOST = * metalogger     监听的IP 地址(默认是*，代表任何IP)；

# MATOML_LISTEN_PORT =  metalogger     监听的端口地址(默认是9419)；

# MATOCS_LISTEN_HOST = *         用于chunkserver 连接的IP 地址（默认是*，代表任何IP）；

# MATOCS_LISTEN_PORT =      用于chunkserver 连接的端口地址（默认是9420）；

# MATOCU_LISTEN_HOST = *             用于客户端挂接连接的IP 地址(默认是*，代表任何IP)；

# MATOCU_LISTEN_PORT =    用于客户端挂接连接的端口地址（默认是9421）；

# CHUNKS_LOOP_TIME =            chunks 的回环频率（默认是： 秒）；

注：原文为Chunks loop frequency in seconds (default is )

# CHUNKS_DEL_LIMIT =

# CHUNKS_WRITE_REP_LIMIT =      在一个循环里复制到一个chunkserver 的最大chunk数目（默认是1）

# CHUNKS_READ_REP_LIMIT =      在一个循环里从一个chunkserver 复制的最大chunk数目（默认是5）

# REJECT_OLD_CLIENTS =              弹出低于1..0的客户端挂接（ 或1，默认是0）

主配置文件的内容以及含义

启动前准备:

echo "10.10.100.114  mfsmaster">> /etc/hosts

启动mfsmaster: /usr/local/mfs/sbin/mfsmaster start

启动监控服务：/usr/local/mfs/sbin/mfscgiserv

浏览器访问地址：http://10.10.100.114:9425/mfs.cgi，可以看到MFS信息。

元数据日志服务器的安装和配置

[root@localhost soft]# tar -zxvf mfs-1.6.11-1.tar.gz

[root@localhost soft]# useradd -s /sbin/nologin mfs

[root@localhost soft]# cd mfs-1.6.11

[root@localhost mfs-1.6.11]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

[root@localhost mfs-1.6.11]# make && make install

#生成MFS备份服务器的配置文件

[root@localhost mfs-1.6.11]# cd /usr/local/mfs/etc/

[root@localhost etc]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

启动元数据日志服务前准备.

echo "10.10.100.114  mfsmaster">> /etc/hosts

[root@localhost etc]# /usr/local/mfs/sbin/mfsmetalogger start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmetalogger modules ...

mfsmetalogger daemon initialized properly

可以查看日志验证备份服务器是否安装成功

Mar 25 15:12:04 localhost mfsmetalogger[27148]: set gid to 501

Mar 25 15:12:04 localhost mfsmetalogger[27148]: set uid to 501

Mar 25 15:12:04 localhost mfsmetalogger[27150]: connecting ...

Mar 25 15:12:04 localhost mfsmetalogger[27150]: open files limit: 5000

Mar 25 15:12:04 localhost mfsmetalogger[27150]: connected to Master

Mar 25 15:13:00 localhost mfsmetalogger[27150]: sessions downloaded 8B/0.000502s (0.016 MB/s)

Mar 25 15:14:00 localhost mfsmetalogger[27150]: sessions downloaded 8B/0.000631s (0.013 MB/s)

可以看到我们的备份服务器正常启动

设置开机启动服务编辑/etc/rc.local添加

/uar/local/mfs/sbin/mfsmetalogger start

存储服务器Chunk Server的安装

[root@localhost soft]#tar zxvf mfs-1.6.11.tar.gz

[root@localhost soft]# useradd -s /sbin/nologin mfs

[root@localhost soft]# cd mfs-1.6.11

[root@localhost soft]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster

[root@localhost mfs-1.6.11]# make && make install

准备Chunk Server所需要的配置文件

[root@localhost mfs-1.6.11]# cd /usr/local/mfs/etc/

[root@localhost etc]# cp mfschunkserver.cfg.dist mfschunkserver.cfg

[root@localhost etc]# cp mfshdd.cfg.dist mfshdd.cfg

#编辑主配置文件[如果写了hosts echo "10.10.100.114  mfsmaster">> /etc/hosts]则不用修改配置文件.

#[root@localhost etc]# vim mfschunkserver.cfg

#MASTER_HOST = 10.10.100.114

#MASTER_PORT = 9420

[root@localhost etc]# vim mfshdd.cfg

/data

启动数据存储服务器

echo "10.10.100.114  mfsmaster">> /etc/hosts

[root@localhost etc]# /usr/local/mfs/sbin/mfschunkserver start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfschunkserver modules ...

init: hdd space manager failed !!!

error occured during initialization - exiting

结果出现错误，通过检查得知/data挂载点的属主和属组没有修改成mfs

[root@localhost etc]# chown -R mfs.mfs /data/

[root@localhost etc]# /usr/local/mfs/sbin/mfschunkserver start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfschunkserver modules ...

scanning folder /data/ ...

/data/: 0 chunks found

scanning complete

main server module: listen on *:9422

no charts data file - initializing empty charts

mfschunkserver daemon initialized properly

设置开机启动服务编辑/etc/rc.local添加

/uar/local/mfs/sbin/mfschunkserver start

MFS客户端安装:

http://www.turbolinux.com.cn/turbo/wiki/doku.php?do=export_xhtml&id=ntfs-3g

[root@localhost soft]#tar -zxvf fuse-2.8.5.tar.gz

[root@localhost soft]#cd fuse-2.8.5

[root@localhost soft]#./configure

[root@localhost soft]#make && make install

  或者直接用yum安装

yum -y install fuse.x86_64 fuse-devel.x86_64 fuse-libs.x86_64

modprobe fuse  #保证fuse模块被加入到内核 

[root@localhost soft]#tar zxvf mfs-1.6.11.tar.gz

[root@localhost soft]# useradd -s /sbin/nologin mfs

[root@localhost soft]# cd mfs-1.6.11

[root@localhost soft]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount

[root@localhost mfs-1.6.11]# make && make install

创建挂载点

[root@localhost mfs-1.6.11]# mkdir /mfs

[root@localhost ~]# /usr/local/mfs/bin/mfsmount /mfs -H 10.10.100.114

mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root

浏览器访问地址：http://10.10.100.114:9425/mfs.cgi，可以看到MFS信息。

MFS必备命令：

#查看某文件

/usr/local/mfs/bin/mfsgetgoal /mfs/

#查看目录信息

/usr/local/mfs/bin/mfsdirinfo -H /mfs/

#写入性能测试:

dd if=/dev/zero of=1.img bs=1M count=50

#读取性能测试：

dd if=1.img bs=1M |dd of=/dev/null

#设置副本的份数，推荐3份

/usr/local/mfs/bin/mfssetgoal -r 3 /mfs

巴特西

MFS文件系统

最新文章

热门文章