最近有个业务写远远大于读,读也集中在最近写入,这不很适合采用leveldb存储么,leveldb业界貌似ssdb用得挺广,花了两天时间就ssdb简单做下测试,以下总结. ssdb 是leveldb的redis兼容协议封装,并且实现了主从同步,源码不多易读:主要对redis命令封装,get/set 不说,leveldb 是有序的,相比redis通过scan遍历的命令,利用有序性 list.hset也通过key+fileld/seq - val 方式存储,ttl 会单独存储一个hset 保存过期时间

NoSQL系列:选择合适的数据库 为什么使用NoSQL数据库? 阻抗失衡 关系模型和内存中的数据结构不匹配 采用更为方便的数据交互方式提升开发效率 待处理的数据量很大 数据量超过关系型数据库的承载能力 大集群的出现 在成本方面,集群中应用关系数据库,许可费用是一笔很大的支出: 横向扩展和纵向扩展:关系数据库一般只能是纵向扩展,通过对单机服务器的性能换代增强而实现:而对于扩展到多个服务器, DBMS先天不足:(DBMS不是设计给集群使用的) 对数据的访问效率要求高 NoSQL数据库的分类 键值数据

内容目录: 为什么使用NoSQL数据库? 键值数据库 文档数据库 列族数据库 图数据库 附思维导图 参考 NoSQL系列:选择合适的数据库 为什么使用NoSQL数据库? 阻抗失衡 关系模型和内存中的数据结构不匹配 采用更为方便的数据交互方式提升开发效率 待处理的数据量很大 数据量超过关系型数据库的承载能力 大集群的出现 在成本方面,集群中应用关系数据库,许可费用是一笔很大的支出: 横向扩展和纵向扩展:关系数据库一般只能是纵向扩展,通过对单机服务器的性能换代增强而实现:而对于扩展到多个服务器, D

最近有个业务场景存储压力很大,写远远大于读,读也集中在最近写入,想想这不很适合采用leveldb存储么.leveldb的话好像用ssdb比较多,花了两天时间就ssdb简单做下测试,以下总结. ssdb 是对leveldb存储引擎的redis兼容协议封装,并且实现了主从同步,源码不多易读.对于支持的操作,除了get/set KV存储,由于 leveldb 是有序的,还可实现很多操作:通过scan遍历的命令,利用有序性 list.hset也通过key+fileld/seq - val 方式存储,tt

基本用法 数据结构 class DBImpl : public DB { private:     struct CompactionState;     struct Writer;// Information kept for every waiting writer     Env* const env_; // 文件,目录,日志,Schedule线程     const InternalKeyComparator internal_comparator_;     const Inter

1.DBImpl::Open      uint64_t new_log_number = impl->versions_->NewFileNumber();      WritableFile* lfile;      s = options.env->NewWritableFile(LogFileName(dbname, new_log_number),                                       &lfile);             ed

1.源码 1 Status DB::Open(const Options& options, const std::string& dbname,      uint64_t new_log_number = impl->versions_->NewFileNumber();      WritableFile* lfile;      s = options.env->NewWritableFile(LogFileName(dbname, new_log_number)

LevelDB库简介 一.LevelDB入门 LevelDB是Google开源的持久化KV单机数据库,具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景.LevelDB应用了LSM (Log Structured Merge) 策略,lsm_tree对索引变更进行延迟及批量处理,并通过一种类似于归并排序的方式高效地将更新迁移到磁盘,降低索引插入开销,关于LSM,本文在后面也会简单提及. 根据Leveldb官方网站的描述,Leve

Redis常用数据类型介绍.使用场景及其操作命令 本文章同时也在cpper.info发布. Redis目前支持5种数据类型,分别是: 1.String(字符串) 2.List(列表) 3.Hash(字典) 4.Set(集合) 5.Sorted Set(有序集合) 下面就分别介绍这五种数据类型及其相应的操作命令. 1. String(字符串) String是简单的 key-value 键值对,value 不仅可以是 String,也可以是数字.String在redis内部存储默认就是一个字符串,被

最近小组准备启动一个 node 开源项目,从前端亲和力.大数据下的IO性能.可扩展性几点入手挑选了 NoSql 数据库,但具体使用哪一款产品还需要做一次选型. 我们最终把选项范围缩窄在 HBase.Redis.MongoDB.Couchbase.LevelDB 五款较主流的数据库产品中,本文将主要对它们进行分析对比. 鉴于缺乏项目中的实战经验沉淀,本文内容和观点主要还是从各平台资料搜罗汇总,也不会有太多深入或底层原理探讨. 本文所引用的资料来源将示于本文尾部.所汇总的内容仅供参考,若有异议望指正

LevelDB(v1.3) 源码阅读系列使用 LevelDB v1.3 版本的代码,可以通过如下方式下载并切换到 v1.3 版本的代码: $ git clone https://github.com/google/leveldb.git $ cd leveldb $ git checkout -b v1.3 v1.3 本文涉及的代码文件为: include/slice.h 1. Slice 简介 LevelDB Slice 对经常使用的字符串进行了简单的封装,它自己不管理内存,仅仅提供对已有字符

C: Consistency 一致性 • A: Availability 可用性(指的是快速获取数据) • P: Tolerance of network Partition 分区容忍性(分布式) 10年前,Eric Brewer教授指出了著名的CAP理论,后来Seth Gilbert 和 Nancy lynch两人证明了CAP理论的正确性.CAP理论告诉我们,一个分布式系统不可能满足一致性,可用性和分区容错性这三个需求,最多只能同时满足两个. BASE模型反ACID模型,完全不同ACID模型,

前段时间在做大数据的KV引擎应用,测试了leveldb的性能,感觉挺好的,美中不足的是他是基于磁盘读写.在我们的场景里,IO频率预计会远远超出磁盘的承受能力,并且太频繁的读取可能也会引发磁盘恶化的速度. 所以考虑再三,决定使用leveldb+memory的形式. 具体的实时方法很简单了,有很多前辈写过leveldb+kt的封装.启动说明.[bluecase:kyoto tycoon + leveldb存储的性能优化] 需要注意的是,如果像我们一样,要启用kt的expire字段,那么是不用加上"#

可以说是不知天高地厚.. 可以说是班门弄斧.. 但是,我今天还就这样走了,我喜欢!!!!!! 注:后续文章,限于篇幅,不懂名词都有 紫色+下划线 超链接,有兴趣,可以查阅: 网上关于Leveldb 的源码剖析啊,解析啊什么的有好多,差不多都是大神级别的在搞,如果我们水平相当,那不如凑一对呗: 既然开始了,哪有停下的道理,先了解一下Levedb的关荣历史.完美现在和光辉的未来: Leveldb: 1.Leveldb是一个google实现的非常高效的kv数据库,目前能够支持billion级别的数据量

LevelDb日知录之一:LevelDb 101 说起LevelDb也许您不清楚,但是如果作为IT工程师,不知道下面两位大神级别的工程师,那您的领导估计会Hold不住了:Jeff Dean和Sanjay Ghemawat.这两位是Google公司重量级的工程师,为数甚少的Google Fellow之二. Jeff Dean其人:http://research.google.com/people/jeff/index.html,Google大规模分布式平台Bigtable和MapReduce主要设

一. zookeeper安装(集群):http://www.cnblogs.com/wangfajun/p/8692117.html  √ 二. ActiveMq配置: 1. ActiveMq集群部署规划: 环境:Centos6.6.JDK1.7 版本:ActiveMq 5.11.1 zookeeper集群环境:. 主机 集群端口 消息端口 管控台端口 ActiveMq节点安装目录 10.0.70.12 62621 51511 8161 /home/fajun/activemq/node-01

先来看看Leveldb的基本框架,几大关键组件,如图1-1所示. Leveldb是一种基于operation log的文件系统,是Log-Structured-Merge Tree的典型实现.LSM源自Ousterhout和Rosenblum在1991年发表的经典论文<The Design and Implementation of a Log-Structured File System>. 由于采用了op log,它就可以把随机的磁盘写操作,变成了对op log的append操作,因此提高

leveldb中实现了一个简单的内存管理工具Arena,其基本思想为:先预先向系统申请一块内存,此后需要申请内存时,直接到预先分配的内存中申请. 那么这样做的目的是什么呢? (1)避免了频率地进行malloc/new和free/delete操作,同时对于内存管理变得简单,对于内存的释放工作交给Arena. (2)避免造成大量的内存碎片.(还需去了解一下) 下面看具体的源码分析: Arena定义: class Arena { public: Arena(); ~Arena(); // Return

几天前淘宝量子恒道在博客上分析了HBase的Cache机制,本篇文章,结合LevelDB 1.7.0版本的源码,分析下LevelDB的Cache机制. 概述 LevelDB是Google开源的持久化KV单机存储引擎,据称是HBase的鼻祖Bigtable的重要组件tablet的开源实现.针对存储面对的普遍随机IO问题,LevelDB采用merge-dump的方式,将逻辑场景的随机写请求转换成顺序写log和写memtable的操作,由后台线程根据策略将memtable持久化成分层的sstable.

LevelDb的基本结构如下: 由六大部分组成: 一.MemTable,用户写入和读取的直接对象, 二.Immutable MemTable,用户状态写入的对象写满的MemTable之后会转为ImmutableMemTable,之后会写sst文件, 三.LOG文件,是WAL机制的部分,用户在写入MemTable的时候会先写入LOG文件,用来进行灾备恢复 四.SST文件,在磁盘上的文件,基本是一种KV结构,进行state持久存储的地方, 五.Current文件,有多个manifest文件,curr