为什么会有Aerospike? Redis是一个纯内存型数据库,性能上没有多大问题. 但这又带来一个新问题,内存是很贵的,所以全内存的存储成本非常昂贵.为了节省成本,我们需要把一部分不经常用到的数据存储到硬盘上, 但是又要求性能不能下降很多,这时候 Aerospike 数据库应运而生,它可以是内存 + SSD 存储. Aerospike 官网:http://www.aerospike.com/ github地址:https://github.com/aerospike   Redis与Aeros

一个Linux文件默认有3个时间.atime:对此文件的访问时间. ctime:此文件inode发生变化的时间. mtime:此文件的修改时间. 如果有多个小文件(比如Web服务器的页面上有多个小图片),通常就没有必要记录文件的访问时间了,这样可以减少写磁盘的I/O.这要如何配置呢?首先,修改文件系统的配置文件:vim /etc/fstab.然后,在包含大量小文件的分区中使用noatime和nodiratime这两个命 令.例如:/dev/sda5 /data/pics ext3 noatime

# 下面的例子将会进行把数据写入磁盘的操作: # 900秒(15分钟)之后,且至少1次变更 # 300秒(5分钟)之后,且至少10次变更 # 60秒之后,且至少10000次变更 # # 注意:你要想不写磁盘的话就把所有 "save" 设置注释掉就行了. save 900 1 save 300 10 save 60 10000 redis01:/data01/redis# cat /etc/redis.conf | grep mem redis01:/data01/redis# cat

一个Linux文件默认有3个时间. atime:对此文件的访问时间. ctime:此文件inode发生变化的时间. mtime:此文件的修改时间. 如果有多个小文件(比如Web服务器的页面上有多个小图片),通常就没有必要记录文件的访问时间了,这样可以减少写磁盘的I/O.这要如何配置呢? 首先,修改文件系统的配置文件:vim /etc/fstab.然后,在包含大量小文件的分区中使用noatime和nodiratime这两个命 令.例如:/dev/sda5 /data/pics ext3 noati

遇到一个案例,在这里记录一下 一套Oracle 11.2.0.4 RAC环境,操作系统是RHEL 6.5,共享磁盘是通过UDEV实现RAW绑定设备名,如下 [root@rac1 opt]# ll /dev/sd* brw-rw----. 1 root disk 8, 0 Dec 2 20:26 /dev/sda brw-rw----. 1 root disk 8, 1 Dec 2 20:26 /dev/sda1 brw-rw----. 1 root disk 8, 2 Dec 2 20:26 /

最近几天,遇到一个莫名其妙的问题,每天几乎同一时段微服务自己跑着跑着就假死了,过几个小时就又自动恢复了. 通过对定时任务.网卡.内存.磁盘.业务日志的排查分析,只有磁盘的IO在假死前一段时间偏高,经查只要到业务访问高峰时段就会出现磁盘IO偏高的问题. 然后分析日志,也没有明显的异常日志,只是最近业务需求改动比较大,为了方便调试及线上问题排查,增加了不少业务日志. 然后,通过分析logback.xml的日志配置,日志打印采用的是同步打印appender,配置如下: <?xml version=&quo

查看 Redis 日志 发现系统在频繁报错: [26641] 18 Dec 04:02:14 * 1 changes in 900 seconds. Saving… [26641] 18 Dec 04:02:14 # Can’t save in background: fork: Cannot allocate memory   在小内存的进程上做一个fork,不需要太多资源,但当这个进程的内存空间以G为单位时,fork就成为一件很恐怖的操作.何况在16G内存的主机上fork 14G内存的进程呢

查看 Redis 日志发现系统在频繁报错: [1821] 10 Nov 09:59:04.086 # Can't save in background: fork: Cannot allocate memory [1821] 10 Nov 09:59:10.002 * 1 changes in 900 seconds. Saving... 在小内存的进程上做一个fork,不需要太多资源,但当这个进程的内存空间以G为单位时,fork就成为一件很恐怖的操作.何况在16G内存的主机上fork 14G内

YARN:Yet Another Resource Negotiator, Hadoop集群的资源管理器,可以对运行在Hadoop上的MapReduce V2,Spark,Impala等进行内存和CPU的分配. MapReduce过程分析 input split(输入分片)阶段:在进行Map之前,会根据输入文件的大小进行输入分片,每个输入分片对应一个Map任务.输入分片本身并不记录输入数据的内容,而是记录一个分片的长度和一个记录数据所在位置的数组.输入分片往往和HDFS的block关系密切,比如

Spark Streaming的容错包括了三个地方的容错: 1.Executor失败容错:Executor的失败会重新启动一个新的Executor,这个是Spark自身的特性.如果Receiver所在的Executor失败了,那么Spark Streaming会在另外一个Executor上启动这个Receiver(这个Executor上可能存在已经接收到的数据的备份) 2.Driver失败的容错:如果Driver失败的话,那么整个Spark Streaming应用将会全部挂掉.所以Driver端

第22章 其他产品的选择 本章将为读者介绍其他的数据库产品,主要是NoSQL产品的选择.读者在熟悉MySQL之外,也应该了解其他的数据库产品.本章的目的是给读者一个引导,如何选择一些NoSQL产品,而不是推介或否定某些NoSQL产品,读者应该自己研究最新的稳定版本的NoSQL产品,确定是否符合生产环境的需要.在介绍NoSQL产品 之前,有必要先了解一下列式数据库产品. 22.1 列式数据库产品 数据的存储可以简单地理解为,行式数据库,即把每行的数据串起来存储在数据库内,而列式数据库则是把每列的数

数据写入方式 1.  update-in-place原地更新 2.  append-only btree/copy on write tree顺序文件末尾追加   数据被按照特定方式放置,提升读性能,但写性能下降,对b+树和hash更新时需要随机读写: 1. 二分查找,将文件数据有序保存,使用二分查找来完成指定key的查找 2. 哈希,用哈希将数据分割为不同的bucket 3. B+树,减少外部文件的读取 4. 外部文件,将数据保存为日志,并创建一个hash或者查找树映射相应的文件   存储结构

最近公司为方便tracing.排查, 搞全链路日志收集,而我手上的10亿+pv的动态前端服务必然在考虑之列. 之前呢. 都是运维定制的收集方式: 如上图,rsyslog push kafka, 优点嘛: 稳定,肯定不会丢日志: 报点也很明显:性能差,IO略高,毕竟疯狂flush disk,不带buffer的. 最担心的一点是我目前是抽样1/5的mc/redis/curl等日志量, 如果按公司要求,最好收集100%的日志,那么IO得天天报警,(我们是0.8*cpu数),而且磁盘空间即使每天清理也不

个推专注为开发者们提供消息推送服务多年.通过个推SDK,手机终端与服务器建立长连接,维持在线状态.然而在网络异常等情况下,消息无法实时送达到终端用户,因而推送服务器建立了一份离线消息列表,以待用户重新登录时,进行消息的下发.这部分数据存储在个推Redis集群,整个集群包括主从共百余个实例,key的数量在10亿级别,存储空间在T级别,带来了一定的维护成本和运维挑战.作为个推的后端开发工程师,我们也一直在寻找高性价比的方案. 个推整个集群的QPS在百万级别,若选择使用Aerospike,对比实测下来

好久没有更新了... 主要内容: 缓存简介 页高速缓存 页回写 1. 缓存简介 在编程中,缓存是很常见也很有效的一种提高程序性能的机制. linux内核也不例外,为了提高I/O性能,也引入了缓存机制,即将一部分磁盘上的数据缓存到内存中. 1.1 原理 之所以通过缓存能提高I/O性能是基于以下2个重要的原理: CPU访问内存的速度远远大于访问磁盘的速度(访问速度差距不是一般的大,差好几个数量级) 数据一旦被访问,就有可能在短期内再次被访问(临时局部原理) 1.2 策略 缓存的创建和读取没什么好说的

认识 EXT2 文件系统 Linux最传统的磁盘文件系统(filesystem)使用的是EXT2这个啦!所以要了解文件系统就得要由认识EXT2开始! 而文件系统是创建在硬盘上面的,因此我们得了解硬盘的物理组成才行.磁盘物理组成的部分我们在第零章谈过了,至于磁盘分区则在第三章谈过了,所以底下只会很快的复习这两部份. 重点在于inode, block还有superblock等文件系统的基本部分喔! 硬盘组成与分割的复习 由于各项磁盘的物理组成我们在第零章里面就介绍过, 同时第三章也谈过分割的概念了,

一. CPU性能评估 1.vmstat [-V] [-n] [depay [count]] -V : 打印出版本信息,可选参数 -n : 在周期性循环输出时,头部信息仅显示一次 delay : 两次输出之间的时间间隔 count : 按照delay指定的时间间隔统计的次数.默认是1 如:vmstat 1 3 user1@user1-desktop:~$ vmstat 1 3 procs -----------memory---------- ---swap-- -----io---- -syst

Physical Disk: 单次IO大小 Avg.Disk Bytes/Read Avg.Disk Bytes/Write IO响应时间 Avg.Disk sec/Read Avg.Disk sec/Write IOPS DiskReads/sec DiskWrites/sec DiskTransfers/sec IO吞吐率 DiskBytes/sec DiskRead Bytes/sec DiskWrite Bytes/sec 磁盘有两个重要的参数:Seek time.Rotational

14.4.2 Change Buffer change buffer 是一个特殊的数据结构 用于cahce 改变的secondary index pages 当被影响的pages 不在buffer pool里,buffered changes, 可能是由于 INSERT, UPDATE, or DELETE 操作(DML) 是随后合并 当pages是被君子爱到Buffer pool通过其他读操作 不像clustered indexes,secondary indexes 通常不是非唯一的, 插入

Linux & Unix 中 df 和 du 命令统计磁盘空间数值不一致 经常会使用 df 和 du 分别查看磁盘空闲空间和占用空间,偶尔会发现 df(空闲空间) 会小于磁盘大小减去 du(占用空间). 两个命令实现目的是一样的,但是实现的过程有着本质的区别.就像两个人是到同一个地方,但走不同的路,所以路程的长短也就不同.     df 命令的全称是 Disk Free ,显而易见它是统计磁盘中空闲的空间,也即空闲的磁盘块数.它是通过硬盘分配图进行计算出的.     du 命令的全称是 Disk

glog本身是很高效的,google的大牛肯定知道大规模的写日志用glog的话肯定会影响业务线程的处理,带负荷的磁盘IO谁都桑不起.比方levelDB就是默认异步写,更不用说google的三驾马车都是分布式的.之前看过其论文,简直是引领时代. 在glog的issue里有人提出了异步写的问题,可是语焉不详,只是0.33版本号已经有了接口,可是还不友好,可是全然能够实现磁盘日志的异步写. 今天算是花了点时间踩了点坑,算是基本能够搞了.稳定之后会把这个版本号和glog,g2log,mudo loggi