0. 存储引擎基础 存储引擎的基本功能和数据结构 一个存储引擎需要实现三个基本的功能: write(key, value)                                                二分查找并插入 read(key)    ->    return value                            二分查找并返回 scan(begin, end)    ->    return values              求key在某区间内的所有

前言 经常会有这样一种业务逻辑,就是需要根据Redis中Key的规则,模糊查询对应的数据,当数据量少时,利用常规的命令也能满足需求,但是数据量大时,就会导致堵塞,就算是采用不堵塞的函数,如果数据需要显示的话,显示结果的时间也比较慢,用户体验不好. Lua脚本 Redis 自2.6.0版本之后,就内置了Lua脚本,可以执行相关Lua脚本,提高操作效率:具体Lua脚本大家百度自行学习,不难: 应用: 这里记录的是在C#中的简单使用,其他语言也类似: 引用的包StackExchange.Redis, 

package com.test; import java.util.ArrayList; import java.util.HashMap; import java.util.LinkedHashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; import java.util.UUID; import net.sf.json.JSONArray; import net.sf.json.

RocksDB介绍 RocksDB简介 RocksDB是基于C++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效.高性能.单点的数据库引擎.它是由Facebook基于Google开源的kv存储LevelDB开发开发.RocksDB使用LSM存储引擎.它针对不同的生产环境进行调优,可以直接使用内存.也可以使用Flash.或者用硬盘或者HDFS.而且支持不同的压缩算法,有一整套的工具用于生产.调试使用.RocksDB是一种嵌入式.KV型.持久化的存储. 使用嵌入式的数据存储原因有

import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.util.Assert;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.jedis.JedisPoolConfig;import redis.clients.jedis.exceptions.Jedis

前言 mysql目前支持的事务引擎有innodb,tokudb. rocksdb加入mysql阵营后,mysql支持的事务引擎增长至3个.myrocks目前支持的事务隔离级别有read-committed和repeatable-read. 同innodb一样,myrocks也支持MVCC机制.可以说,myrocks提供了很好的事务支持,能够满足的一般业务的事务需求. sequence number 谈到rocksdb事务,就必须提及rocksdb中的sequence number机制.rocks

概况 rocksdb作为KV存储引擎,那么myrocks记录最终会以kv的形式存储在rocksdb中.MySQL中的表一般由若干索引组成, 在innodb存储引擎中,每个索引对应一颗B树,而在rocksdb存储引擎中,索引对应于rocksdb中一段连续范围的数据.具体来说,这个范围是此索引id和id+1之间的所有数据.如果表的所有索引都在一个column family, 那表的这些索引数据在物理上基本是连续的.可以参考之前文章中的图示 myrocks记录格式 myrocks以索引为单位,将表的所

WCDB背景 自己初次见到WCDB是微信开发团队公众号在今年五月份推送的一篇文章中(开发者团队的微信号上面图片中有,值得大家关注一下),那时候就说在筹备着WCDB的开源,觉得很是新奇,在两个多月前WCDB开源了!自己是最近才有时间看的WCDB,总结一下自己的理解和学习的东西,WCDB是微信团队开源的支持Android,也支持iOS,那当然也是会支持macOS的一个移动端数据库框架,FMDB估计做iOS的99.99%的都知道,就像Android开发中使用LitePal一样,都是在SQLite的基础

Ⅰ.高层接口 ConnectionFactory Connection Channel Consumor Ⅱ.操作流程及API [一]创建连接工厂ConnectionFactory ConnectionFactory factory = new ConnectionFactory(); ​ 我们可以为actory设置各种参数来进行连接初始化 factory.setUsername("guest");//设置服务器登录账号 factory.setPassword("guest&

摘要:本文讲述业务配置中心(下文简述为配置中心)的关键技术和实现方式. 本文分享自华为云社区<手把手教你物联网平台如何实现业务配置中心>,作者: 华为云IoT专家团 . 上一篇<华为云物联网高级攻城狮的4年配置中心实践分享>文章中分享了业务配置中心. 本文讲述业务配置中心(下文简述为配置中心)的关键技术和实现方式.华为云物联网平台按照本文的实现方式实现了一个业务配置中心,该配置中心2020年1月上线,平稳运行至今. 1 概念 1.1 运维配置 和用户无关,通常为集群界级别的配置,程

redis-cli KEYS "pattern" | xargs redis-cli DEL Redis keys命令支持模式匹配,但是del命令不支持模式匹配,有时候需要根据一定的模式来模糊删除key,这时只能结合shell命令来完成了. 具体命令是: redis-cli KEYS "pattern" | xargs redis-cli DEL 其中pattern是keys命令支持的模式,这样就可以模糊删除key了.服务器上测试删除150万条数据的效率也是很高的.

Redis 使用 Lua 模糊查询所有key 及 相对应的集合总数 .Net 4.5.1 需要引入:    StackExchange.Redis  (测试用的 1.2.4.0) 方法一: 优点:原子操作,对于大数据操作快,lua 语法难写. var Prefix = "Cache"; //Key 前缀,关键词 var dic = new Dictionary<string, long>(); //转换为键值队 var db = new Multiplexer(name).

pom依赖: <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.5.0</version> </dependency> 代码直接可用: import org.testng.annotations.BeforeClass; import org.testng.annotations.Tes

两种情况: 1.删除指定前缀开头的rediskey ,扫描和删除过程中对线上无感知 2.删除一个大的list,set,zset,hash,这种得分批次减少大小,一直缩到0再删 第一种情况:只要知道线上操作的时候我们要用scan来代替 keys ,这一点就行了,简单脚本如下: del.sh #!/bin/bash ; i <= ; i++)) do b=$[ $i * ] echo $b redis-cli -h test.m.cnhza.kvstore.aliyuncs.com -a test:

概述 compaction主要包括两类:将内存中imutable 转储到磁盘上sst的过程称之为flush或者minor compaction:磁盘上的sst文件从低层向高层转储的过程称之为compaction或者是major compaction.对于myrocks来说,compaction过程都由后台线程触发,对于minor compaction和major compaction分别对应一组线程,通过参数rocksdb_max_background_flushes和rocksdb_max_b

Rocksdb是一个kv引擎,由facebook团队基于levelDB改进而来,Rocksdb采用LSM-tree存储数据,良好的读写特性以及压缩特性使得其非常受欢迎.此外,Rocksdb引擎作为插件已经集成在facebook维护的MySQL分支,用户可以通过SQL来访问rocksDB.本文主要通过分析Rocksdb引擎的记录格式,并通过对比innodb,来让大家了解Rocksdb.Rocksdb作为一个kv引擎,用户通过put(key,value)来写入key,或者通过get(key)接口来获

Redis与KV存储(RocksDB)融合之编码方式 简介 Redis 是目前 NoSQL 领域的当红炸子鸡,它象一把瑞士军刀,小巧.锋利.实用,特别适合解决一些使用传统关系数据库难以解决的问题.Redis 作为内存数据库,所有的数据全部都存在内存中,特别适合处理少量的热数据.当有巨量数据超过内存大小需要落盘保存时,就需要使用 Redis + KV存储的方案了. 本文涉及的Ardb就是一个完全兼容Redis协议的NoSQL的存储服务.其存储基于现有成熟的KV存储引擎实现,理论上任何类似B-Tre

前言 上一篇关系数据库常用SQL语句语法大全主要是关系型数据库大体结构,本文细说一下关系型数据库查询的SQL语法. 语法回顾 SELECT [ALL|DISTINCT] <目标列表达式>[,<目标列表达式>]- FROM <表名或视图名>[,<表名或视图名>]- [WHERE <条件表达式>] [GROUP BY <列名> [HAVING <条件表达式>]] [ORDER BY <列名> [ASC|DESC]-

前言 使用StackExchange.Redis没有直接相关的方法进行模糊查询的批量删除和修改操作,虽然可以通过Scan相关的方法进行模糊查询,例如:HashScan("hashkey", "*key*"),然后再使用相关的方法进行相关的批量操作,但是如果缓存数据量比较大,效率低下,那么可以使用Lua脚本进行模糊查询的批量操作:ScriptEvaluate(LuaScript.Prepare(...)). 通过keys进行模糊查询后的批量操作 批量删除 var re

删除所有Key,可以使用Redis的flushdb和flushall命令 //删除当前数据库中的所有Key flushdb //删除所有数据库中的key flushall 如果要访问 Redis 中特定的数据库,使用下面的命令 //下面的命令指定数据序号为0,即默认数据库 redis-cli -n keys del 如果要指定 Redis 数据库访问密码,使用下面的命令 redis-cli -a password keys "*" | xargs redis-cli -a passwo

Redis keys命令支持模式匹配,但是del命令不支持模式匹配,有时候需要根据一定的模式来模糊删除key,这时只能结合shell命令来完成了. 具体命令是: redis-cli KEYS "pattern" | xargs redis-cli DEL 其中pattern是keys命令支持的模式,这样就可以模糊删除key了. 实战: 密码验证情况下 ./redis-cli -a passwd keys *test* | xargs ./redis-cli -a passwd del