使用SequoiaDB的分布式文件系统搭建流媒体服务器

介绍

如今使用移动互联网的年轻人开始越来越多使用短视频展示自我，而流媒体则是支撑在线视频播放的核心技术。当我们开始构建流媒体站点时，往往面临最大的难题在于大量媒体音视频文件所占用的海量磁盘空间。譬如说，一个标准高清短视频可能需要30-50MB的存储空间，那么存储百万短视频的系统就需要几十TB的存储。而如果我们更进一步需要播放高清电影等视频内容，每个电影需要大概2GB左右的空间，十万部各种电影剧集则需要200TB的存储容量。

为了满足如此海量的音视频文件存储需求，大部分流媒体服务器使用外接NAS甚至分布式文件系统进行PB级海量数据存储。

通过阅读本文，用户可以了解到如何使用SequoiaDB巨杉数据库的分布式文件系统功能，为开源流媒体服务器Emby构建后端可弹性扩展的分布式存储。

Emby是一款被广泛使用的流媒体服务器，允许用户简单一键式部署自己的视频播放系统，将家庭内部或企业存储的图片、音视频文件进行统一管理，并能够在几乎全部设备上在线播放观看。

用户可以在Emby的服务端设置服务器路径指定其所访问的文件系统。一般来说，使用PC机或NAS设备内置的磁盘存储容量有限，因此如果希望将Emby后端的存储使用分布式文件系统替换传统内置盘，可以使用SequoiaDB所提供的分布式文件系统SequoiaFS，提供用户近乎无限可弹性扩展存储容量。

安装SequoiaDB

本文使用Linux Ubuntu Server 18.10作为服务器，SequoiaDB巨杉数据库版本为3.2。

本教程默认使用sudo用户名密码为“sequoiadb:sequoiadb”，默认home路径为/home/sequoiadb。

对于使用CentOS等其他Linux版本的用户，本文所描述的流程可能略有不同，需要根据实际情况自行调整。

下载SequoiaDB标准虚拟机模板的用户可以直接跳过该安装部署步骤。

更多安装细节可以查看SequoiaDB信息中心

1）下载并安装SequoiaDB巨杉数据库

$ wget http://cdn.sequoiadb.com/images/sequoiadb/x86_64/sequoiadb-3.2-linux_x86_64.tar.gz

$ tar -zxvf sequoiadb-3.2-linux_x86_64.tar.gz

$ cd sequoiadb-3.2/

$ sudo ./setup.sh

之后一直回车确认各个默认参数即可。

2）使用数据库实例用户创建默认实例

# 默认密码使用“sdbadmin”

$ sudo su sdbadmin

$ /opt/sequoiadb/tools/deploy/quickDeploy.sh

3）使用root用户创建SequoiaFS文件系统

# 确认fuse内核组件被安装，且版本大于2.9.4。

$ which fusermount

/bin/fusermount

$ fusermount -V

fusermount version: 2.9.8

# 创建名为Nas.Storage的集合容器

$ /opt/sequoiadb/bin/sdb "db=new Sdb(); db.createCS('Nas'); db.Nas.createCL('Storage');"

# 创建mountpoint挂载点目录

$ mkdir -p /opt/sequoiadb/mountpoint

# 退出sdbadmin用户，回到默认sequoiadb用户

$ exit

# 密码默认为“sequoiadb”

$ sudo ln -s /opt/sequoiadb/bin/sequoiafs /usr/local/bin/sequoiafs

# 为fuse内核开启多用户访问权限

$ sudo sed -i "s/\#user_allow_other/user_allow_other/g" /etc/fuse.conf

# 创建sequoiafs所需的目录与空配置文件

$ sudo mkdir -p /opt/sequoiafs/conf/NasStorage/

$ sudo mkdir -p /opt/sequoiafs/log/NasStorage/

$ sudo touch /opt/sequoiafs/conf/NasStorage/sequoiafs.conf

$ sudo chown -R sdbadmin:sdbadmin_group /opt/sequoiafs

# 切换回数据库实例用户，密码默认为“sdbadmin”

$ sudo su sdbadmin

# 创建sequoiafs文件系统

$ sequoiafs /opt/sequoiadb/mountpoint -i localhost:11810 -l Nas.Storage --autocreate -c /opt/sequoiafs/conf/NasStorage/ --diagpath /opt/sequoiafs/log/NasStorage/ -o big_writes -o auto_unmount -o max_write=131072 -o max_read=131072 -o allow_other

# 检查文件系统加载正确

$ mount

sequoiafs on /opt/sequoiadb/mountpoint type fuse.sequoiafs (rw,nosuid,nodev,relatime,user_id=1001,group_id=1001,allow_other,max_read=131072)