目录

前言

SQLAlchemy 的使用方法和相关基础内容也写过不少了, 有兴趣的小伙伴可以翻阅以往的博文, 本篇主要记录一下 SQLAlchemy 在 Openstack 中的使用规范.

更改数据库的方法

在开发 Openstack 项目的过程中, 对 models class 进行直接修改是不被允许的. 这不符合持续集成的规范, 也可能导致原始数据的丢失. 所以我们会使用一种类似打补丁的方式来对 Openstack 项目的数据库进行持续更新, 这也就是为什么在 /opt/stack/nova/nova/db/sqlalchemy/migrate_repo/versions 路径下存在这么多文件的原因.

为数据库添加一张或多张新表

当需要为 Openstack 项目新添一张表时, 我们会 /opt/stack/nova/nova/db/sqlalchemy/migrate_repo/versions 目录下新建一个文件, 并且需要为文件名指定一个有序的编号, EG. 016_add_new_table.py

from sqlalchemy import Boolean, Column, DateTime, BigInteger

from sqlalchemy import MetaData, String, Table

from oslo_log import log as logging

LOG = logging.getLogger(__name__)

def define_tables(meta):

    # 定义一个 Table 对象

    new_table_name = Table(

        "new_table_name", meta,

        Column("created_at", DateTime),

        Column("updated_at", DateTime),

        Column("deleted_at", DateTime),

        Column("deleted", Boolean),

        mysql_engine="InnoDB")

    ...

    return [new_table_name, ...]

def upgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    # create all tables

    # Take care on create order for those with FK dependencies

    tables = define_tables(meta)

    # 循环创建表列表

    for table in tables:

        try:

            table.create()

        except Exception:

            LOG.info(_LE('Exception while creating table.'))

            raise

def downgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    tables = define_tables(meta)

    tables.reverse()

    for table in tables:

        table.drop()

删除一张或多张表

from sqlalchemy import MetaData

from sqlalchemy import Table

def upgrade(migrate_engine):

    meta = MetaData(migrate_engine)

    meta.reflect(migrate_engine)

    table_names = ['compute_node_stats', 'compute_nodes', 'instance_actions',

                   'instance_actions_events', 'instance_faults', 'migrations']

    for table_name in table_names:

        # 创建表对象, 然后在通过表对象来调用 drop() 方法实现删除.

        table = Table('dump_' + table_name, meta)

        table.drop(checkfirst=True)

为旧表添加一个字段

from sqlalchemy import Column, MetaData, String, Table

NEW_COLUMN_NAME = 'initiator_name'

def upgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    # 定义一个表对象, 因为是更新操作, 所以表 exsi_hypervisors 需要已经存在于数据库中

    exsi_hypervisors = Table('exsi_hypervisors', meta, autoload=True)

    # 定义一个字段对象

    initiator_protocol = Column(NEW_COLUMN_NAME, String(length=255))

    # 如果表中还没有该字段, 则添加一个新的字段

    if not hasattr(exsi_hypervisors.c, NEW_COLUMN_NAME):

        # 表对象调用 create_column() 方法来将字段插入

        exsi_hypervisors.create_column(initiator_protocol)

为旧表更新一个字段

from sqlalchemy import Column, MetaData, String, Table

NEW_COLUMN_NAME = 'initiator_name'

def upgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    # 获取一个表对象

    exsi_hypervisors = Table('exsi_hypervisors', meta, autoload=True)

    # 如果表对象中已经存在了 metadata_reserve 属性(字段), 则 alter 该属性(字段)

    if hasattr(exsi_hypervisors.c, 'metadata_reserve'):

        # 获取 metadata_reserve 属性对象

        exsi_hypervisors_metadate_reserve = getattr(exsi_hypervisors.c,

                                                    'metadata_reserve')

        # 通过属性对象来调用 alter() 方法, 并且传入需要更新的字段名和类型作为实参

        exsi_hypervisors_metadate_reserve.alter(name='initiator_protocol',

                                                type=String(255))

为旧表初始化一条新的记录

from datetime import datetime

from uuid import uuid4

from sqlalchemy import MetaData, Table

def upgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    # 定义要插入的记录数据

    values = [{'created_at': datetime.utcnow(),

               'id': str(uuid4()),

               'group': 'global',

               'setting_option': 'cpu_over_allocate',

               'setting_value': '6',

               'description': 'Over allocate CPU'}]

    # 创建一个 table 对象, 该表必须是已经存在于数据库内的表, 才能够被插入

    system_settings = Table('system_settings', meta,

                            autoload=True)

    # 通过表对象来调用 insert() 方法实现插入数据

    for value in values:

        system_settings.insert().values(value).execute()

def downgrade(migrate_engine):

    meta = MetaData()

    meta.bind = migrate_engine

    system_settings = Table('system_settings', meta,

                            autoload=True)

    try:

        system_settings.delete().\

            where(system_settings.c.setting_option == 'cpu_over_allocate').\

            execute()

    except Exception as e:

        raise e

最后

在实现了数据库修改的文件之后执行指令:

serviceName-manager db dync

就能够对现有的数据库进行更新.

以这种补丁的方式来修改 Openstack 项目的数据库, 能够更好的支持持续的集成, 和降低数据丢失的风险, 尽管这些数据是测试数据也存在这价值. 所以我们一本很少对数据库进行删除操作, 如若必须删除数据库中的数据库一定要谨慎.