大多数 Ceph 用户不会直接往 Ceph 存储集群里存储对象，他们通常会使用 Ceph 块设备、 Ceph 文件系统、或 Ceph 对象存储这三大功能中的一个或多个。

前提条件

先完成存储集群快速入门，并确保 Ceph 存储集群处于 active + clean 状态，这样才能使用 Ceph 块设备。

块设备快速入门

Ceph 块设备也叫 RBD 或 RADOS 块设备。

可以在虚拟机上运行 ceph-client 节点，但是不能在与 Ceph 存储集群（除非它们也用 VM ）相同的物理节点上执行下列步骤。

这里采用新添加一台主机来操作，还需要进行预检工作，具体查看网址：https://www.cnblogs.com/sanduzxcvbnm/p/15080342.html

添加hosts解析，ntp时间同步，升级内核版本，普通用户免登录，关闭卸载firewalld,关闭selinux

主机名是：ceph-clinet,ip是：10.16.16.114

安装 Ceph

1.确认你使用了合适的内核版本，详情见操作系统推荐(http://docs.ceph.org.cn/start/os-recommendations),查看ceph-client主机

lsb_release -a

uname -r

2.在管理节点上，通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点 (ceph-deploy主机上操作)

$ cd my_cluster

$ ceph-deploy install ceph-client

3.在管理节点上，用 ceph-deploy 把 Ceph 配置文件和 ceph.client.admin.keyring 拷贝到 ceph-client (ceph-deploy主机上操作)

$ ceph-deploy admin ceph-client

ceph-deploy 工具会把密钥环复制到ceph-client主机的 /etc/ceph 目录，要确保此密钥环文件有读权限（如 sudo chmod +r /etc/ceph/ceph.client.admin.keyring ）。

# 在ceph-client主机上操作

$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring

配置块设备

1.在 ceph-client 节点上创建一个块设备 image (ceph-client主机上操作)

# 前提条件，已经创建名为rbd的pool，具体查看：https://www.cnblogs.com/sanduzxcvbnm/p/15625374.html

# 命令示例: rbd create foo --size 4096 [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]

$ rbd create foo --size 4096 -m node1 -k /etc/ceph/ceph.client.admin.keyring

2.在 ceph-client 节点上，把 image 映射为块设备 (ceph-client主机上操作)

# 命令示例: sudo rbd map foo --name client.admin [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]

$ sudo rbd map foo --name client.admin -m node1 -k /etc/ceph/ceph.client.admin.keyring

/dev/rbd0

3.在 ceph-client 节点上，创建文件系统后就可以使用块设备了,此命令可能耗时较长 (ceph-client主机上操作)

# 命令示例: sudo mkfs.ext4 -m0 /dev/rbd/rbd/foo

$ sudo mkfs.ext4 -m0 /dev/rbd0

mke2fs 1.42.9 (28-Dec-2013)

Discarding device blocks: 完成

文件系统标签=

OS type: Linux

块大小=4096 (log=2)

分块大小=4096 (log=2)

Stride=16 blocks, Stripe width=16 blocks

262144 inodes, 1048576 blocks

0 blocks (0.00%) reserved for the super user

第一个数据块=0

Maximum filesystem blocks=1073741824

32 block groups

32768 blocks per group, 32768 fragments per group

8192 inodes per group

Superblock backups stored on blocks:

        32768, 98304, 163840, 229376, 294912, 819200, 884736

Allocating group tables: 完成

正在写入inode表: 完成

Creating journal (32768 blocks): 完成

Writing superblocks and filesystem accounting information: 完成

4.在 ceph-client 节点上挂载此文件系统 (ceph-client主机上操作)

$ sudo mkdir /mnt/ceph-block-device

$ sudo mount /dev/rbd0 /mnt/ceph-block-device

$ cd /mnt/ceph-block-device

$ lsblk

NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

rbd0            251:0    0    4G  0 disk /mnt/ceph-block-device

有个疑问，使用的pool，创建命令是：ceph osd pool create rbd 128 128

这里创建块设备后的大小是4G，有待进一步研究。

问题

此时查看ceph状态，会发现有提示：application not enabled on 1 pool(s)

$ ceph -s

  cluster:

    id:     cbbcd33f-95c1-438b-90b7-d57f9ca5835f

    health: HEALTH_WARN

            application not enabled on 1 pool(s)

  services:

    mon: 3 daemons, quorum node1,node2,node3

    mgr: node1(active)

    osd: 3 osds: 3 up, 3 in

    rgw: 1 daemon active

  data:

    pools:   5 pools, 160 pgs

    objects: 267  objects, 138 MiB

    usage:   3.4 GiB used, 57 GiB / 60 GiB avail

    pgs:     160 active+clean

查看错误详情

$ ceph health detail

HEALTH_WARN application not enabled on 1 pool(s)

POOL_APP_NOT_ENABLED application not enabled on 1 pool(s)

    application not enabled on pool 'rbd'

    use 'ceph osd pool application enable <pool-name> <app-name>', where <app-name> is 'cephfs', 'rbd', 'rgw', or freeform for custom applications.

通过查看错误详情，可知解决办法如下：

# 第一个rbd是pool-name，第二个rbd是app-name，其中app-name只能是'cephfs', 'rbd', 'rgw'中的一个

$ ceph osd pool application enable rbd rbd

enabled application 'rbd' on pool 'rbd'

$ ceph -s

  cluster:

    id:     cbbcd33f-95c1-438b-90b7-d57f9ca5835f

    health: HEALTH_OK

  services:

    mon: 3 daemons, quorum node1,node2,node3

    mgr: node1(active)

    osd: 3 osds: 3 up, 3 in

    rgw: 1 daemon active

  data:

    pools:   5 pools, 160 pgs

    objects: 267  objects, 138 MiB

    usage:   3.4 GiB used, 57 GiB / 60 GiB avail

    pgs:     160 active+clean

Ceph 文件系统快速入门

准备工作

1.确认你使用了合适的内核版本，详情见操作系统推荐(http://docs.ceph.org.cn/start/os-recommendations) (ceph-client主机上操作)

lsb_release -a

uname -r

2.在管理节点上，通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点 (ceph-deploy主机上操作)

$ cd my_cluster

$ ceph-deploy install ceph-client

3.确保 Ceph 存储集群在运行，且处于 active + clean 状态。同时，确保至少有一个 Ceph 元数据服务器在运行

# 命令示例：ceph -s [-m {monitor-ip-address}] [-k {path/to/ceph.client.admin.keyring}]

# 因为元数据服务器mds在node1主机上  (ceph-client主机上操作)

$ ceph -s -m node1 -k /etc/ceph/ceph.client.admin.keyring

  cluster:

    id:     cbbcd33f-95c1-438b-90b7-d57f9ca5835f

    health: HEALTH_OK

  services:

    mon: 3 daemons, quorum node1,node2,node3

    mgr: node1(active)

    osd: 3 osds: 3 up, 3 in

    rgw: 1 daemon active

  data:

    pools:   5 pools, 160 pgs

    objects: 267  objects, 138 MiB

    usage:   3.4 GiB used, 57 GiB / 60 GiB avail

    pgs:     160 active+clean

创建文件系统

虽然已创建了元数据服务器，但如果你没有创建存储池和文件系统，它是不会变为活动状态的。(http://docs.ceph.org.cn/cephfs/createfs/)

# 命令示例：ceph osd pool create cephfs_data <pg_num>

# 命令示例：ceph osd pool create cephfs_metadata <pg_num>

# 命令示例：ceph fs new <fs_name> cephfs_metadata cephfs_data

# 一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据 (ceph-client主机上操作)

$ ceph osd pool create cephfs_data 32 32

pool 'cephfs_data' created

$ ceph osd pool create cephfs_metadata 32 32

pool 'cephfs_metadata' created

$ ceph fs new cephfs cephfs_metadata cephfs_data

new fs with metadata pool 8 and data pool 9

文件系统创建完毕后， MDS 服务器就能达到 active 状态了，比如在一个单 MDS 系统中：(ceph-client主机上操作)

$ ceph mds stat

cephfs-1/1/1 up  {0=node1=up:active}

建好文件系统且 MDS 活跃后，你就可以挂载此文件系统了.

创建密钥文件

Ceph 存储集群默认启用认证，你应该有个包含密钥的配置文件（但不是密钥环本身）。用下述方法获取某一用户的密钥： (ceph-client主机上操作)

1.在密钥环文件中找到与某用户对应的密钥，例如：

$ cat /etc/ceph/ceph.client.admin.keyring

2.找到用于挂载 Ceph 文件系统的用户，复制其密钥。大概看起来如下所示：

[client.admin]

   key = AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==

3.打开文本编辑器

4.把密钥粘帖进去，大概像这样：

  AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==

5.保存文件，并把其用户名 name 作为一个属性（如 admin.secret ）。

$ echo "AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==" >> admin.secret

6.确保此文件对用户有合适的权限，但对其他用户不可见。

内核驱动

把 Ceph FS 挂载为内核驱动。

# 命令示例：sudo mkdir /mnt/mycephfs

# 命令示例：sudo mount -t ceph {ip-address-of-monitor}:6789:/ /mnt/mycephfs

Ceph 存储集群默认需要认证，所以挂载时需要指定用户名 name 和创建密钥文件一节中创建的密钥文件 secretfile ，例如：(ceph-client主机上操作)

# 命令示例：sudo mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs -o name=admin,secretfile=admin.secret

$ sudo mount -t ceph node1:6789:/ /mnt/mycephfs -o name=admin,secretfile=admin.secret

$ mount -l

10.16.16.111:6789:/ on /mnt/mycephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl)

从管理节点而非服务器节点挂载 Ceph FS 文件系统

用户空间文件系统（ FUSE ）

注：找不到ceph-fuse命令，这一步暂时不做

把 Ceph FS 挂载为用户空间文件系统（ FUSE ）

# 命令示例：sudo mkdir ~/mycephfs

# 命令示例：ceph-fuse -m node1:6789 ~/mycephfs

# Ceph 存储集群默认要求认证，需指定相应的密钥环文件，除非它在默认位置（即 /etc/ceph ）：

# 命令示例：sudo ceph-fuse -k ./ceph.client.admin.keyring -m 192.168.0.1:6789 ~/mycephfs

Ceph 对象存储快速入门

从 firefly（v0.80）起，Ceph 存储集群显著地简化了 Ceph 对象网关的安装和配置。网关守护进程内嵌了 Civetweb，无需额外安装 web 服务器或配置 FastCGI。此外，可以直接使用 ceph-deploy 来安装网关软件包、生成密钥、配置数据目录以及创建一个网关实例。

Civetweb 默认使用 7480 端口。要么直接打开 7480 端口，要么在你的 Ceph 配置文件中设置首选端口（例如 80 端口）。

安装 Ceph 对象网关

1.在 client-node 上执行预安装步骤。如果你打算使用 Civetweb 的默认端口 7480 ，必须通过 firewall-cmd 或 iptables 来打开它.

2.从管理节点的工作目录，在 client-node 上安装 Ceph 对象网关软件包。例如：

# 命令示例：ceph-deploy install --rgw <client-node> [<client-node> ...]

$ ceph-deploy install --rgw ceph-client

新建 Ceph 对象网关实例

从管理节点的工作目录，在 client-node 上新建一个 Ceph 对象网关实例。例如：

$ ceph-deploy rgw create ceph-client

一旦网关开始运行，你就可以通过 7480 端口来访问它（比如 http://ceph-client:7480 ）。

配置 Ceph 对象网关实例

这一步相当于是修改访问的端口号，从默认的7480换成80

1.通过修改 Ceph 配置文件可以更改默认端口（比如改成 80 ）。增加名为 [client.rgw.<client-node>] 的小节，把 <client-node> 替换成你自己 Ceph 客户端节点的短名称（即 hostname -s 的输出）。例如，你的节点名就是 client-node ，在 [global] 节后增加一个类似于下面的小节：

# 命令示例

[client.rgw.client-node]

rgw_frontends = "civetweb port=80"

实际情况

[client.rgw.ceph-client]

rgw_frontends = "civetweb port=80"

确保在 rgw_frontends 键值对的 port= 中没有空格。

如果你打算使用 80 端口，确保 Apache 服务器没有在使用该端口，否则会和 Civetweb 冲突。出现这种情况时我们建议移除 Apache 服务。

$ ceph-deploy --overwrite-conf config push node1 node2 node3

2.为了使新端口的设置生效，需要重启 Ceph 对象网关。在 RHEL 7 和 Fedora 上，执行：

# 示例命令：sudo systemctl restart ceph-radosgw.service

$ sudo systemctl restart ceph-radosgw.service

3.最后，检查节点的防火墙，确保你所选用的端口（例如 80 端口）处于开放状态。如果没有，把该端口加入放行规则并重载防火墙的配置。例如：

sudo firewall-cmd --list-all sudo firewall-cmd --zone=public --add-port

80/tcp --permanent

sudo firewall-cmd --reload

你应该可以生成一个未授权的请求，并收到应答。例如，一个如下不带参数的请求：

http://<client-node>:80

应该收到这样的应答：

<ListAllMyBucketsResult>

<Owner>

<ID>anonymous</ID>

<DisplayName/>

</Owner>

<Buckets/>

</ListAllMyBucketsResult>

巴特西

安装ceph (快速) 步骤三： Ceph 客户端