Redis内存管理的基石zmallc.c源代码解读(一)
当我第一次阅读了这个文件的源代码的时候。我笑了,忽然想起前几周阿里电话二面的时候,问到了自己定义内存管理函数并处理8字节对齐问题。
当时无言以对,在面试官无数次的提示下才答了出来,结果显而易见,挂掉了二面。而这份源代码中函数zmalloc()和zfree()的设计思路和实现原理,正是面试官想要的答案。
源代码结构
zmalloc.c文件的内容例如以下:
主要函数
- zmalloc()
- zfree()
- zcalloc()
- zrelloc()
- zstrdup()
字长与字节对齐
所谓的8字节对齐,就是指变量的起始地址是8的倍数。比方程序运行时(CPU)在读取long型数据的时候。仅仅须要一个总线周期,时间更短。假设不是8字节对齐的则须要两个总线周期才干读完数据。
里面多用sizeof(long)或sizeof(size_t)来表示。size_t(gcc中其值为long unsigned int)和long的长度是一样的,long的长度就是计算机的字长。
这样在未来的系统中假设字长(long的大小)不是8个字节了。该段代码依旧能保证对应代码可用。
zmalloc
- malloc()
- zmalloc_oom_handler【函数指针】
- zmalloc_default_oom()【被上面的函数指针所指向】
- update_zmalloc_stat_alloc()【宏函数】
- update_zmalloc_stat_add()【宏函数】
zmalloc()源代码
void *zmalloc(size_t size) {
void *ptr = malloc(size+PREFIX_SIZE); if (!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_alloc(zmalloc_size(ptr));
return ptr;
#else
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
#endif
}
參数size是我们须要分配的内存大小。实际上我们调用malloc实际分配的大小是size+PREFIX_SIZE。PREFIX_SIZE是一个条件编译的宏。不同的平台有不同的结果,在Linux中其值是sizeof(size_t),所以我们多分配了一个字长(8个字节)的空间(后面代码可以看到多分配8个字节的目的是用于储存size的值)。
该函数实际上是一个函数指针指向函数zmalloc_default_oom,其主要功能就是打印错误信息并终止程序。
// oom是out of memory(内存不足)的意思
static void zmalloc_default_oom(size_t size) {
fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n",
size);
fflush(stderr);
abort();
}
接下来是宏的条件编译,我们聚焦在#else的部分。
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
update_zmalloc_stat_alloc源代码
#define update_zmalloc_stat_alloc(__n) do { \
size_t _n = (__n); \
if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \
if (zmalloc_thread_safe) { \
update_zmalloc_stat_add(_n); \
} else { \
used_memory += _n; \
} \
} while(0)
这个宏函数最外圈有一个do{...}while(0)循环看似毫无意义,实际上大有深意。
这部分内容不是本文讨论的重点,这里不再赘述。详细请看网上的这篇文章http://www.spongeliu.com/415.html。
if(_n&7) _n += 8 - (_n&7);
这段代码就是推断分配的内存空间的大小是不是8的倍数。假设内存大小不是8的倍数,就加上对应的偏移量使之变成8的倍数。_n&7 在功能上等价于 _n%8,只是位操作的效率显然更高。
used_memory是zmalloc.c文件里定义的全局静态变量,表示已分配内存的大小。假设是内存安全的就使用update_zmalloc_stat_add来给used_memory加上n。
#define update_zmalloc_stat_add(__n) do { \
pthread_mutex_lock(&used_memory_mutex); \
used_memory += (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0)
pthread_mutex_lock()和pthread_mutex_unlock()使用相互排斥锁(mutex)来实现线程同步,前者表示加锁,后者表示解锁,它们是POSIX定义的线程同步函数。当加锁以后它后面的代码在多线程同一时候运行这段代码的时候就仅仅会运行一次,也就是实现了线程安全。
zfree
- free()
- update_zmalloc_free()【宏函数】
- update_zmalloc_sub()【宏函数】
- zmalloc_size()
zfree()源代码
void zfree(void *ptr) {
#ifndef HAVE_MALLOC_SIZE
void *realptr;
size_t oldsize;
#endif if (ptr == NULL) return;
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_free(zmalloc_size(ptr));
free(ptr);
#else
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
free(realptr);
#endif
}
重点关注#else后面的代码
realptr = (char *)ptr - PREFIX_SIZE;
oldsize = *((size_t*)realptr);
先进行类型转换再取指针所指向的值。通过zmalloc()函数的分析,可知这里存储着我们最初须要分配的内存大小(zmalloc中的size)。这里赋值个oldsize
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
update_zmalloc_stat_free()也是一个宏函数,和zmalloc中update_zmalloc_stat_alloc()大致同样。唯一不同之处是前者在给变量used_memory减去分配的空间,而后者是加上该空间大小。
最后free(realptr)。清除空间
update_zmalloc_free源代码
#define update_zmalloc_stat_free(__n) do { \
size_t _n = (__n); \
if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \
if (zmalloc_thread_safe) { \
update_zmalloc_stat_sub(_n); \
} else { \
used_memory -= _n; \
} \
} while(0)
当中的函数update_zmalloc_sub与zmalloc()中的update_zmalloc_add相对应,但功能相反,提供线程安全地used_memory减法操作。
#define update_zmalloc_stat_sub(__n) do { \
pthread_mutex_lock(&used_memory_mutex); \
used_memory -= (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0)
zcalloc
void *calloc(size_t nmemb, size_t size);
void *zcalloc(size_t size);
- 它分配的空间大小是 size * nmemb。比方calloc(10,sizoef(char)); // 分配10个字节
- calloc()会对分配的空间做初始化工作(初始化为0),而malloc()不会
- calloc()
- update_zmalloc_stat_alloc()【宏函数】
- update_zmalloc_stat_add()【宏函数】
zcalloc()源代码
void *zcalloc(size_t size) {
void *ptr = calloc(1, size+PREFIX_SIZE); if (!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_alloc(zmalloc_size(ptr));
return ptr;
#else
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
#endif
}
zcalloc()中没有calloc()的第一个函数nmemb。
由于它每次调用calloc(),其第一个參数都是1。
也就是说zcalloc()功能是每次分配 size+PREFIX_SIZE 的空间,并初始化。
zrealloc
void *realloc (void *ptr, size_t size);
void *zrealloc(void *ptr, size_t size);
- zmalloc()
- zmalloc_size()
- realloc()
- zmalloc_oom_handler【函数指针】
- update_zmalloc_stat_free()【宏函数】
- update_zmalloc_stat_alloc()【宏函数】
zrealloc()源代码
void *zrealloc(void *ptr, size_t size) {
#ifndef HAVE_MALLOC_SIZE
void *realptr;
#endif
size_t oldsize;
void *newptr; if (ptr == NULL) return zmalloc(size);
#ifdef HAVE_MALLOC_SIZE
oldsize = zmalloc_size(ptr);
newptr = realloc(ptr,size);
if (!newptr) zmalloc_oom_handler(size); update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(zmalloc_size(newptr));
return newptr;
#else
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
newptr = realloc(realptr,size+PREFIX_SIZE);
if (!newptr) zmalloc_oom_handler(size); *((size_t*)newptr) = size;
update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(size);
return (char*)newptr+PREFIX_SIZE;
#endif
}
经过前面关于zmalloc()和zfree()的源代码解读,相信您一定可以非常轻松地读懂zrealloc()的源代码,这里我就不赘述了。
zstrdup
从这个函数名中,非常easy发现它是string duplicate的缩写,即字符串复制。它的代码比較简单。先看一下声明:
char *zstrdup(const char *s);
功能描写叙述:复制字符串s的内容。到新的内存空间,构造新的字符串【堆区】。
并将这段新的字符串地址返回。
zstrdup源代码
char *zstrdup(const char *s) {
size_t l = strlen(s)+1;
char *p = zmalloc(l); memcpy(p,s,l);
return p;
}
- 首先,先获得字符串s的长度,新闻strlen()函数是不统计'\0'的,所以最后要加1。
- 然后调用zmalloc()来分配足够的空间。首地址为p。
- 调用memcpy来完毕复制。
- 然后返回p。
memcpy
声明例如以下:
void *memcpy(void *dest, const void *src, size_t n);
dest即目的地址。src是源地址。n是要复制的字节数。
最新文章
- .net中如何使用cookie
- springmvc:BeanNameViewResolver访问内部资源视图对象和访问外部资源视图对象
- CODESOFT都出中文官网了,你还等什么呢
- Solr高亮显示highlight的三种实现
- jquery方法的参数解读
- 【Uva 12558】 Egyptian Fractions (HARD version) (迭代加深搜,IDA*)
- ASCII码、base64编码 为什么有的代码要用 base64 进行编码?
- dom 删除和清除
- 基于LINUX的多功能聊天室
- 在MVC中添加拦截器实现登录后的权限验证
- 获取标签的src属性兼容性
- ruby直接字符串压缩与解压缩
- ASP.NET MVC5 + EF6 + LayUI实战教程,通用后台管理系统框架(3)
- 自学Zabbix4.3 zabbix实战监控Web网站性能
- day8--socketserver
- spring 自己定义标签 学习二
- unigui在阿里云服务器上部署
- [学习笔记]Link-Cut Tree
- Android SDK不能够更新
- eclipse中导入dtd文件实现xml的自动提示功能
热门文章
- 看好腾讯,鄙视百度(腾讯的核心竞争力,不是超过10亿的QQ的注册用户,也不是某一项产品、技术方面优势,而是“耐心”:懂得在合适的时间推出合适的产品。”)
- get_browser()用法
- 7. Spring Boot 启动加载数据 CommandLineRunner
- 使用node.js+babel,支持import/export语法
- 洛谷 P1157 组合的输出
- Android开发之搜芽项目的图片载入问题(使用Volley进行网络图片载入)
- 函数的引用透明性(referential transparency)
- android 指定时间加一个小时算法
- stm32的串口中断
- google校招在线測试题---2048