本文由云+社区发表

作者:邵宗文,2009年加入腾讯,现为腾讯云数据库专家产品经理。之前曾负责为OMG事业群构建数据库平台,部署,规划及运维支持,为腾讯网,新闻客户端,快报,视频,财经,体育等提供了稳定的服务。06-09年曾任新浪数据库专家,数据库平台主管,有非常丰富的海量大数据经验。

下方视频为邵宗文在未来大会演讲实录。每个行业对数据库有不一样的要求,云上数据库通过智能化运维,数据会越来越多,准确度也越来越高,模型也会越来越精准。腾讯云上数据库如何满足用户多样化的诉求?一起来听听吧。

数据库SaaS服务体系

数据SaaS服务涵盖用户从上云,日常运维使用,数据安全审计,及订阅商业分析。

腾讯云数据库让您可以轻松在云端部署、使用数据库。通过云数据库MySQL,您在几分钟内即可部署可扩展的数据库实例。不仅经济实惠,而且可以弹性调整硬件容量的大小而无需停机。TencentDB for MySQL 提供备份回档、监控、快速扩容、数据传输等数据库运维全套解决方案,为您简化 IT 运维工作,让您能更加专注于业务发展。

数据库迁移

数据传输服务(Data Transmission Serivce DTS)提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务,帮助您在业务不停服的前提下轻松完成数据库迁移,利用实时同步通道轻松构建异地容灾的高可用数据库架构。数据传输服务DTS的目标是帮用户将复杂的数据交互工作承担下来,让用户可以专注于上层的业务开发。

数据迁移

支持不同环境及不同类型的数据库迁移。支持迁移的源库包括有公网IP的外网自建数据库,通过VPN、专线等网络环境接入腾讯云的自建数据库,云服务器CVM自建数据库;目标库为TencentDB for MySQL实例。支持查看所有迁移任务的状态及多任务批量操作。 DTS提供的数据迁移功能是您数据上云的的最佳选择。数据迁移仅需几步设置,则可帮助您完成数据从本地迁移上云的一系列繁琐工作。迁移过程中并不影响源数据库继续对外提供服务,最小化上云过程对您业务的影响。

提供自建 MySQL 数据库到云数据库 TencentDB for MySQL 的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 MySQL 数据库迁移。实例有关联灾备实例暂不支持数据传输服务,请建工单进行迁移。(通过增量迁移的时间建议不超过15天,请确保主从追上之后单击迁移完成按钮。)

1.Redis 迁移

在线迁移工具暂不支持的迁移类型:主从版、集群版、自研CKV+引擎 三者实例间的迁移。

迁移注意事项
  1. 目前仅支持迁移到腾讯云 redis 的主从版本;
  2. 为保障迁移效率,CVM 自建实例迁移不支持跨地域迁移;
  3. 由于 rdb 协议限制,暂不支持自建实例 redis 3.2 版本的迁移;
  4. 外网实例迁移时,请确保源实例服务在外网环境下可访问;
  5. 进行迁移任务时,只允许迁移正常运行状态下的实例,且未初始化密码或者有其他任务在执行中的实例,是不能够迁移的;
  6. 目的实例必须是没有数据的空实例,迁移过程中,会锁住实例,不能对实例进行写入操作;
  7. 迁移成功时,由业务侧验证数据后,可断开源实例连接,将连接切换到目标实例。

2.PostgreSQL 数据库迁移

数据传输服务 DTS 支持数据迁移功能,提供自建 PostgreSQL 数据库到云数据库TencentDB for MySQL的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 PostgreSQL 数据库迁移。数据迁移目前只支持 PostgreSQL 数据库的版本是9.3.x,9.5.x,同时9.3.x 不支持增量同步,9.5.x 需要通过在线同步插件才能支持。

数据库审计

数据库审计是腾讯云为了解决行业客户遇到的诸如金融审计需求,以及实际运行中遇到的安全防护,SQL 延迟性能问题等多种综合需求而提供的产品。

1.全面审计

  • 数据库访问的全部记录,最大程度满足用户审计需求,可追溯对应用者的身份和行为;
  • 准确审计:用户可设置规则,只保证规则匹配到的审计规则有数据保存,规则也可以设置为全量审计;
  • 提供海量 TB 级数据存储,可以后续根据用户要求提供长期备份。

2.高效审计

  • 与目前其他通过旁路做审计检查方式不同,腾讯云数据库 TencentDB for MySQL 通过内核插件进行上报;
  • 后期还会逐步增加实时阻隔功能,另外在实际测试影响性能不到 2%;
  • 高效分析:提供用户、IP、客户端工具、访问时间、操作对象、SQL 操作类型、成功与否、访问时长、影响行数等多种检索条件的快速分析与检索,实测 30 多亿级数据 6-8 秒内响应。

背景说明

管理风险

系统管理员存在的误操作、违规操作、越权操作,损害业务系统安全运行;

多人公用一个帐号,责任难以分清;

第三方开发维护人员的误操作,恶意操作和篡改;

超级管理员权限过大,无法审计监控。

技术风险

应用系统开发商后门或漏洞;

离职员工留下后门。

政策风险

无法达到国家等级保护(三级)明确要求(7.1.3.3);

满足不了行业信息安全合规性文件要求——如人行《金融行业信息系统信息安全等级保护实施指引》;

数据订阅

数据传输服务 DTS 提供了基于 binlog 的增量数据订阅功能,仅需几步简单操作,即可订阅云数据库 TencentDB for MySQL 的增量更新数据:

  • 在腾讯云 DTS 控制台购买并创建 TencentDB for MySQL 实例的订阅通道。
  • 使用 DTS 数据订阅 SDK 连接这个订阅通道,订阅并消费增量数据。

原理

我们会通过模拟从库向主库获取对应 binlog 内容进行分析,大概架构图如下,我们会通过解析 binlog ,按照订阅通道配置的库表进行分析,所以几乎对主库没有影响。

注意:

  • 目前我们对订阅的消息内容默认会保留最近 3 天。
  • 另外如果订阅整库的话,后续新增的表也是会在原有订阅通道出现,不需要对原订阅通道进行新增配置操作。
  • 目前只支持 TencentDB for MySQL5.6,后续会很快支持 TencentDB for MySQL5.7。
  • 数据订阅暂不支持view,触发器和外键。
  • 数据订阅初次配置需要对相关 binlog_row_image 参数做调整,会根据符合条件自动 kill 老的 session 使参数立即生效。
  • 数据订阅目前支持的字符集包括 latin1,utf8,utf8mb4。

总结

未来的云数据库将会成为企业IT架构的“水,电,煤”,可以按需快速启动,支持各种类型的数据,满足所有种类的业务,无限存储,无服务器,全智能,自驱动,零运维,闲时免费,覆盖全球并能自动扩展到近用户端,提供稳定可靠自由扩展的服务,腾讯云数据库将不懈的努力将更多的产品能力普惠世界。

此文已由腾讯云+社区在各渠道发布

获取更多新鲜技术干货,可以关注我们腾讯云技术社区-云加社区官方号及知乎机构号

最新文章

  1. java连接mysql数据库详细步骤解析
  2. 【WMware】关于VMware服务器虚拟化管理之服务器容量扩充
  3. 几种任务调度的 Java 实现方法与比较
  4. wiglewifi
  5. google project tango 学习笔记
  6. ADO.NET(很精彩全面)
  7. Oracle 10g 数据文件的第一个数据块结构
  8. MFC对话框
  9. idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
  10. Android中canvas.save()和canvas.restore()的使用
  11. ECOS高可用集群
  12. JSP page指令
  13. Apache Beam 剖析
  14. ubuntu 装机必备
  15. 项目重构之数据源配置与优化:log4j 配置数据库连接池Druid,并实现日志存储到数据库
  16. webpack 优化
  17. NLP自然语言处理中的hanlp分词实例
  18. 2018.12.15 hdu4641 K-string(后缀自动机)
  19. Java 装饰器模式详解
  20. 一个具有缓存数据功能的HttpWebRequest工具类

热门文章

  1. Spring Boot全局支持CORS(跨源请求)的配置方法
  2. SSM-SpringMVC-14:SpringMVC中大话注解式开发基础--呕心沥血版
  3. JavaScript单线程和异步机制
  4. python爬取网易云周杰伦所有专辑,歌曲,评论,并完成可视化分析
  5. 使用STM32Cube在STM32F7开发板上实现SD+Freertos+Fatfs
  6. 2. 引入springmvc
  7. [python]多线程模块thread与threading
  8. java.sql.SQLException: Incorrect string value: '\xE5\xBC\xA0\xE9\x9B\xB7' for column 'content' at row 1
  9. C++中虚拟继承
  10. 在C++中怎么输入反斜杠“ \ ”