本文来自EasyDarwin团队Fantasy(fantasy(at)easydarwin.org)

一. EasyDarwin网络模型介绍

EventContext负责监听全部网络读写事件。EventContext::RequestEvent每次插入一个监听事件到

监听列表(select 文件描写叙述符集合),EventThread::Entry()死循环监听加入到该FD_SET的全部文件描写叙述符的

事件。Entry()->select_waitevent()每次返回下一个要处理的事件节点,包含事件处理对象的哈希key,以及事件类型。

然后投递到线程池中的某一个线程的任务队列。注意这里是每个线程维护自己的任务队列。

相关代码,ProcessEvent->Signal()。当中实现了一个简单的均衡算法,决定投递到哪一个线程的任务队列。EventContext每处理完一个事件,会删掉监听的文件描写叙述符。然后执行完后会再次调用RequestEvent()插入到监听列表。并且激活监听(往管道写数据)。TaskThread::Entry()负责处理上面投递过来的任务,执行虚方法Run()。相关代码。theTimeout = theTask->Run()。全部网络模块均会继承并实现Task类的Run()方法。

二. select和epoll的区别

select内核实现,

sys_select()->do_select()
{
for(;;)
{
循环遍历FD_SET看是否有事件发生,
}
}

select最大仅仅支持1024个文件描写叙述符。原因#define __FD_SETSIZE 1024,定义超过1024会造成处理性能上的下降;

epoll内核实现,

网络事件中断中调用ep_poll_callback(),将网络事件加入到epoll队列。这样,epoll_wait()等待的时候,就不会像select循环,由于队列中的每个事件都是有效的。

由此看来epoll比select效率高,并且队列不受限制。可以随意大小。

可是假设select命中到有效的时间的概率也很高的时候,它俩效率是几乎相同的。

三. 把EasyDarwin的网络模型换成epoll

实现过程比較简单。依照前面select提供的接口,挨个实现一遍。然后把调用的地方加以操作系统类型的宏开关,兼容windows的编译。

实现之后,调试却花了很长时间,刚開始发现线程池在插入监听事件的时候会出现资源竞争,程序执行了一段时间后就出现异常了,不读取推送的数据了。经过review代码发现应该是没有加锁导致插入的时候资源竞争,有的没有成功插入,所以监听不到事件。后面加锁后经过调试,避免了一些死锁问题后,稳定执行了几天没有出现故障。

经过年前后将近2个月的开发和稳定调试、測试。EasyDarwin开源流媒体server最终成功将底层select网络模型改动优化成epoll网络模型。将EasyDarwin流媒体server在网络处理的效率上提升到了还有一个档次(这里得感谢EasyDarwin开源团队成员Fantasy的无私贡献,是他牺牲宝贵的业余歇息时间,连夜奋战开发和调试。才干取得EasyDarwin底层改造的成果)。

众所周知,select模型在处理大并发量的网络请求上具有一些瓶颈。默认在Linux上同一时候可以处理的网络连接数FD_SETSIZE为1024,尽管可以通过改动FD_SETSIZE的定义大小,但在FD_SETSIZE大于1024时。由于select模型先天的原因。对网络事件无法做到及时准确定位。其处理性能上并没有得到同步的提升,所以,带来的就是整个流媒体server在并发量上的瓶颈;而改动成epoll网络模型之后,其网络事件的处理性能得到提升,再加上EasyDarwin架构上的优势,採用线程池。任务队列及Reactor技术,使得网络事件可以很高效地被感知、处理(这里的任务队列还涉及到一个无锁队列的优化,这个在兴许的博客中会详细分析),这样,使得整个EasyDarwin流媒体server具有很高效的事件处理能力。并且经过长时间的測试。稳定性很好!

须要说明的是,EasyDarwin在Windows端还是沿用的select网络模型。从眼下的情况上来看。大并发量需求的项目多数部署在Linux系统上,Windows上EasyDarwin作为小规模或者研究型项目,全然可以满足需求。所以,将EasyDarwin+IOCP列入以后的开发计划中;

Epoll模型基本的代码在EasyDarwin Github上,文件夹位置在:https://github.com/EasyDarwin/EasyDarwin/tree/master/CommonUtilitiesLib。主要文件是:epollEvent.h和epollEvent.cpp

EasyDarwin开源流媒体server项目还在一直进行更加高性能的优化,项目地址:https://github.com/EasyDarwin

获取很多其它信息

邮件:support@easydarwin.org

WEB:www.EasyDarwin.org

Copyright © EasyDarwin.org 2013-2016

最新文章

  1. ubuntu14.04下安装node.js
  2. 创建线注记LineElement
  3. 二叉搜索树、B树
  4. HtmlHelper的扩展
  5. 使用RestTemplate Spring安全认证
  6. canvas-画蜗牛
  7. Google GFS文件系统深入分析
  8. centos5.5 安装git
  9. 虚拟局域网(VLAN)组态
  10. jsp解决kindeditor在线编辑器struts图片上传问题
  11. Mac 必备软件 Quicksilver
  12. Lucene.net(4.8.0) 学习问题记录四: IndexWriter 索引的优化以及思考
  13. 正则 re模块
  14. 莫烦keras学习自修第一天【keras的安装】
  15. 2. ansible-playbook 条件语句-内部变量使用
  16. JAVA正则表达式:Pattern、Matcher、String
  17. golang xml parent node add attribute without struct
  18. jq中工作中用到的一些方法总结
  19. [转载]CSS Tools: Reset CSS
  20. java自动给版本升级,遇9变0且前面一个版本加1

热门文章

  1. linux下安装firefox
  2. spoj 7001 Visible Lattice Points莫比乌斯反演
  3. 【CF1020C】Elections(贪心)
  4. 【NOIP2016练习】T2 跑跑步 (数论)
  5. vue2.0 mintUI 学习备忘
  6. 机器人操作系统ROS Indigo 入门学习(1)——安装ROS Indigo【转】
  7. ADO如何记录SQL日志
  8. [NSThread sleepForTimeInterval:3.0];
  9. hdu 4300 Clairewd’s message(具体解释,扩展KMP)
  10. Linux中的热键[Tab] [Ctrl]-c [Ctrl]-d