块存储管理系列文章

（3）使用 librbd 将虚拟机运行在 Ceph RBD

Ceph 块存储

Ceph 块设备允许共享物理资源，并且可以调整大小。它们会在 Ceph 集群中的多个 OSD 上等量存储数据。Ceph 块设备会利用 RADOS 功能，例如创建快照、复制和一致性。Ceph 的 RADOS块设备 (RBD) 使用内核模块或 librbd 库与 OSD 交互。

Ceph 的块设备为内核模块提供高性能及无限的可扩展性。它们支持虚拟化解决方案（例如QEMU）或依赖于 libvirt 的基于云的计算系统（例如 OpenStack）。您可以使用同一个集群来同时操作对象网关、CephFS 和 RADOS 块设备。

创建RBD

（1）客户端安装rbd包

# zypper se ceph-common

# zypper in ceph-common

（2）显示帮助信息

# rbd help <command> <subcommand>

# rbd help snap list

（3）复制配置文件和key

# scp admin:/etc/ceph/ceph.conf .

# scp admin:/etc/ceph/ceph.client.admin.keyring .

（4）创建块设备

# ceph osd pool create rbd   replicated

# rbd create test001 --size  --pool rbd

# rbd ls

test001

（5）映射块设备

# rbd map test001

/dev/rbd0

（6）查看已映射设备

# rbd showmapped

 id pool image   snap device

   rbd  test001 -    /dev/rbd0

（7）格式化块设备，并且挂载

# mkfs.xfs -q /dev/rbd0

# mkdir /mnt/ceph-test001

# mount /dev/rbd/rbd/test001 /mnt/ceph-test001/

注意：rbd的指令如果省略-p / --pool参数，则会默认-p rbd，而这个rbd pool是默认生成的。

检查挂载情况

# df -Th
Filesystem              Type      Size  Used Avail Use% Mounted on

/dev/rbd0               xfs      1014M   33M  982M   % /mnt/ceph-test001

检查rbd镜像的信息

# rbd --image test001 info

rbd image 'test001':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

        id: 408ea3f9d1c3b

        block_name_prefix: rbd_data.408ea3f9d1c3b

        format:

        features: layering

        op_features:

        flags:

        create_timestamp: Mon Sep  ::

        access_timestamp: Mon Sep  ::

        modify_timestamp: Mon Sep  ::

size: 就是这个块的大小，即1024MB=1G，1024MB/256 = 4M,共分成了256个对象(object)，每个对象4M
order 22, 22是个编号，4M是22， 8M是23，也就是2^22 bytes = 4MB, 2^23 bytes = 8MB。
block_name_prefix: 这个是块的最重要的属性了，这是每个块在ceph中的唯一前缀编号，有了这个前缀，把服务器上的OSD都拔下来带回家，就能复活所有的VM了。
format : 格式有两种，1和2

（8）设置自动挂载

# vim /etc/ceph/rbdmap

  rbd/test001  id=admin,keyring=/etc/ceph/ceph.client.admin.keyring

# systemctl start rbdmap.service

# systemctl enable rbdmap.service

# systemctl status rbdmap.service

# vim /etc/fstab

 /dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev

# mount -a

RBD 扩容缩容

（1）查看rbd0 原有大小为1024M

# df -Th

Filesystem              Type      Size  Used Avail Use% Mounted on

/dev/rbd0               xfs      1014M   33M  982M   % /mnt/ceph-test001


# rbd --image test001 info
rbd image 'test001':
        size 1 GiB in 256 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 408ea3f9d1c3b
        block_name_prefix: rbd_data.408ea3f9d1c3b
        format: 2
        features: layering
        op_features: 
        flags:

（2）在线扩容

# rbd resize rbd/test001 --size

Resizing image: % complete...done.

# rbd --image test001 info

rbd image 'test001':

        size 4 GiB in 1024 objects

        order  ( MiB objects)

        snapshot_count:

        id: 408ea3f9d1c3b

        block_name_prefix: rbd_data.408ea3f9d1c3b

        format:

        features: layering

        op_features:

        flags:

        create_timestamp: Mon Sep  ::

        access_timestamp: Mon Sep  ::

        modify_timestamp: Mon Sep  ::

（3）文件系统扩容

# xfs_growfs /mnt/ceph-test001/

# df -Th

Filesystem              Type      Size  Used Avail Use% Mounted on

/dev/rbd0               xfs       4.0G   34M  .0G   % /mnt/ceph-test001

（4）在线缩小（XFS文件系统不支持缩小）

# rbd -p rbd resize test001 --size  --allow-shrink

RBD 快照和回滚

快照：某块设备在一个特定时间点的一份只读副本，可以通过创建和恢复快照来保持RBD镜像的状体已经从快照恢复原始数据。
快照是在集群中操作，并不知道客户端是否有额外的数据，当有很重的IO时，会有dirt脏数据没有刷到磁盘上去，快照是无法保持这部分数据。
Ceph 支持快照分层，这可让您轻松快速地克隆 VM 映像。
Ceph 使用 rbd 命令和许多高级接口（包括QEMU、 libvirt 、OpenStack 和 CloudStack）支持块设备快照。
注意：做快照前，请先客户端停止IO并同步块数据。

1) 在block设备上创建文件

# echo "Ceph This is snapshot test" > /mnt/ceph-test001/snapshot_test_file

# cat /mnt/ceph-test001/snapshot_test_file 

Ceph This is snapshot test

2) 创建快照

语法：rbd snap create <pool-name>/<image-name>@<snap-name>

# rbd snap create rbd/test001@test001_snap

3) 显示创建的快照

# rbd snap ls rbd/test001

SNAPID NAME         SIZE TIMESTAMP

      test001_snap 1GiB Mon Feb  ::

4) 删除文件

# rm -rf /mnt/ceph-test001/snapshot_test_file

5) 通过快照恢复

语法：rbd snap rollback <pool-name>/<image-name>@<snap-name>

# rbd snap rollback rbd/test001@test001_snap

# umount /mnt/ceph-test001

# mount –a

# ll /mnt/ceph-test001/

total

-rw-r--r--  root root  Jul  : snapshot_test_file

6) 清除快照，表示所有的快照都删除

语法：rbd --pool {pool-name} snap purge {image-name}

rbd snap purge {pool-name}/{image-name}

# rbd snap purge rbd/test001

7) 删除快照，表示只删除指定的快照

语法：rbd snap rm <pool-name>/<image-name>@<snap-name>

# rbd snap rm rbd/test001@test001_snap

# rbd snap ls rbd/test001                # 再次显示快照已经没有了

快照分层 / RBD克隆

分层：支持创建某一设备快照的很多写时复制（ COW）克隆。分层快照使得ceph块设备客户端可以很快地创建映射，分层特性允许客户端创建多个Ceph RBD克隆实例。
快照是只读的，但COW克隆是完全可写的

（1）Clone必须rbd的image是类型 II

# rbd info test001

rbd image 'test001':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

        id: 408ea3f9d1c3b

        block_name_prefix: rbd_data.408ea3f9d1c3b

        format:

        features: layering

        op_features:

        flags:

        create_tim

（2）SUSE默认是类型II，如不是，创建时添加 --image-format 2参数

# rbd create test001 --size  --image-format

# rbd create test002 --size  --image-format 

# rbd info test002

rbd image 'test002':

        size  MB in  objects

        order  ( kB objects)

        block_name_prefix: rb..b3dd.74b0dc51

        format:

（3）创建COW克隆，首先要保护这个快照

克隆会访问父快照。如果用户意外删除了父快照，则所有克隆都会损坏。为了防止数据丢失，您需要先保护快照，然后才能克隆它。

# rbd snap create rbd/test001@test001_snap       # 创建快照

# rbd snap protect rbd/test001@test001_snap      # 保护

# rbd -p rbd ls -l

NAME                 SIZE  PARENT FMT PROT LOCK

test001               GiB

test001@test001_snap  GiB           yes      <=== protect

test002               GiB

（4）快照克隆

语法：rbd clone {pool-name}/{parent-image}@{snap-name} {pool-name}/{child-image-name}

# rbd clone rbd/test001@test001_snap rbd/test001_snap_clone

注意：可以将快照从一个存储池克隆到另一个存储池中的映像。例如，可以在一个存储池中将只读映像和快照作为模板维护，而在另一个存储池中维护可写入克隆

# ceph osd pool create rbd_clone   replicated

# rbd clone rbd/test001@test001_snap rbd_clone/test001_snap_rbd_clone

（5）检查新镜像信息

# rbd ls
test001
test001_snap_clone
test002

# rbd ls -p rbd_clone

test001_snap_rbd_clone

# rbd info rbd/test001_snap_clone

rbd image 'test001_snap_clone':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

        id: 4153d12df2e2e

        block_name_prefix: rbd_data.4153d12df2e2e

        format:

        features: layering

        op_features:

        flags:

        create_timestamp: Mon Sep  ::

        access_timestamp: Mon Sep  ::

        modify_timestamp: Mon Sep  ::

        parent: rbd/test001@test001_snap

        overlap:  GiB

显示children of snapshot

# rbd children rbd/test001@test001_snap

rbd/test001_snap_clone

rbd_clone/test001_snap_rbd_clone

（6）平展克隆的映像

不在使用父镜像快照，所谓的完整克隆而不是之前的链接克隆，提高性能。

语法：# rbd --pool pool-name flatten --image image-name

# rbd flatten rbd/test001_snap_clone

Image flatten: % complete...done.

# rbd flatten rbd_clone/test001_snap_rbd_clone

会发现父镜像/快照的名字不存在了，并且克隆是独立的

# rbd info rbd/test001_snap_clone

rbd image 'test001_snap_clone':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

        id: 4153d12df2e2e

        block_name_prefix: rbd_data.4153d12df2e2e

        format:

        features: layering

        op_features:

        flags:

        create_timestamp: Mon Sep  ::

        access_timestamp: Mon Sep  ::

        modify_timestamp: Mon Sep  ::

（7）取消保护快照

# rbd info rbd/test001@test001_snap          
rbd image 'test001':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

            .......

        protected: True

# rbd snap unprotect rbd/test001@test001_snap # 取消保护的

# rbd info rbd/test001@test001_snap 
rbd image 'test001':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
           ......
        protected: False

迁移RBD

（1）导出 RBD 镜像

语法：rbd export [image-name] [dest-path]

# rbd export test001 /tmp/test001_rbd_image
Exporting image: 100% complete...done

（2）导入 RBD 镜像

语法：# rbd import [path] [dest-image]

# rbd import /tmp/test001_rbd_image test002      
Importing image: 100% complete...done.

# rbd ls
test001
test002

# rbd info test002
rbd image 'test002':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 40b02f91b3a9d
        block_name_prefix: rbd_data.40b02f91b3a9d
        format: 2
        features: layering
        op_features: 
        flags:

如何确认 RBD 镜像被那个客户端使用？

（1）通过 rbd status 命令确认镜像被那个客户端所使用

# rbd -p rbd ls

test001

test002

# rbd status rbd/test001

Watchers:

        watcher=192.168.2.39:/ client. cookie=

可以看到该镜像或者instance属于192.168.2.39 IP地址

（2）RBD 头部信息

查看镜像信息

# rbd info test001

rbd image 'test001':

        size  GiB in  objects

        order  ( MiB objects)

        snapshot_count:

        id: 408ea3f9d1c3b

        block_name_prefix: rbd_data.408ea3f9d1c3b

        format:

        features: layering

通过头部信息查找

# rados -p rbd listwatchers rbd_header.408ea3f9d1c3b

watcher=192.168.2.39:/ client. cookie=

脚本通过遍历池信息查找

# for each in `rados -p rbd ls | grep rbd_header`; do echo $each: && rados -p \
　　rbd listwatchers $each && echo -e '\n';done


rbd_header.408ea3f9d1c3b:

watcher=192.168.2.39:/ client. cookie=

删除 RBD

1) 注释映射信息

# vim /etc/ceph/rbdmap

rbd/test001  id=admin,keyring=/etc/ceph/ceph.client.admin.keyring

2) 注释下面挂载信息

# vim /etc/fstab

/dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev

3) 显示映射关系

# rbd showmapped

id pool image   snap device

  rbd  test001 -    /dev/rbd0

4) 卸载映射关系，删除test001块设备

# rbd unmap /dev/rbd0

# rbd rm rbd/test001

巴特西

RBD 基本使用 - Storage6

Ceph 块存储

创建RBD

RBD 扩容缩容

RBD 快照和回滚

快照分层 / RBD克隆

迁移RBD

如何确认 RBD 镜像被那个客户端使用？

删除 RBD

最新文章

热门文章

巴特西

RBD 基本使用 - Storage6

Ceph 块存储

创建RBD

RBD 扩容 缩容

RBD 快照和回滚

快照分层 / RBD克隆

迁移RBD

如何确认 RBD 镜像被那个客户端使用？

删除 RBD

最新文章

热门文章

RBD 扩容缩容