大数据时代的 9 大Key-Value存储数据库
在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。
本文就为你介绍9种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。
Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
官网:http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/
相关资料:Documentation、FAQ、Blog、Forums
2. LevelDB
Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。
官网:http://code.google.com/p/leveldb/
相关资料:Benchmarks、Mailing List、Twitter
3. Scalaris
官网:http://scalaris.googlecode.com/
相关资料:Users and Developers Guide、FAQ、Mailing List
4. Project Voldemort
Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:
- 支持自动复制数据到多个服务器上。
- 支持数据自动分割所以每个服务器只包含总数据的一个子集。
- 提供服务器故障透明处理功能。
- 支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
- 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
- 每个节点相互独立,互不影响。
- 支持可插拔的数据放置策略
官网:http://project-voldemort.com/
相关资料:Wiki、Mailing List、Github、Project Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort
5. HyperDex
- 分布式KV存储,系统性能能够随节点数目线性扩展
- 吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
- 使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
相关资料:Documentation、Blog、GitHub、FAQ、Announcement Mailing List、Discussion Mailing List
6. Berkeley DB
7. Apache Accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。
官网:http://accumulo.apache.org/
相关资料:Manual、Mailing Lists、Apache Accumulo Users Group
8. Redis
最新文章
- docker 目录迁移
- 《C++ API设计》作者Martin Reddy访谈问题征集
- REST WCF Service中的WebMessageBodyStyle
- Java面试题大全(一)
- HMM 自学教程(二)生成模型
- 事务并发处理: DB+ORM+逻辑代码
- (三)学习JavaScript之getElementsByTagName方法
- Fragment 常见问题
- 关于Cococs中的CCActionEase(下)
- nginx: [emerg] the ";ssl"; parameter requires ngx_http_ssl_module in ......
- 鼠标滑过侧边弹出内容(JS)
- kafka consumer 指定 offset,进行消息回溯
- win10 + VS2010 + OpenCV2.4.10重编译OpenCV开发环境搭建
- Bug03_SSM整合_mybatis result maps collection already contains value...
- Zookeeper集群 + Kafka集群 + KafkaOffsetMonitor 监控
- android开发(33) 让 actionbar 透明2
- Spring4.X + spring MVC + Mybatis3 零配置应用开发框架搭建详解(1) - 基本介绍
- java集合中的HashMap源码分析
- React Native 系列(九)
- JDBC 利用反射技术将查询结果封装为对象(简单ORM实现)
热门文章
- SSIS CDC(Change Data Capture)组件在数据库中启用报错。 The error returned was 14234: 'The specified '@server' is invalid
- 猪猪的机器学习笔记(十四)EM算法
- linux串口编程(c)
- STM32之中断与事件---中断与事件的区别
- La=LaULb (循环链表)
- 重新生成IE02
- Android的回调模拟
- read/write拥塞与非拥塞
- referer htttp headers 统计信息 防盗链
- wiki oi 3116 高精度练习之加法