Nginx源码研究三：Epoll在NGINX中的使用

Web服务器在面对高并发的情况下，网络的IO一般选择IO复用，像apache选择的Select/poll。Nginx在linux 2.6后选择Epoll做网路IO，提高了WEB服务的并发能力。

在本章，我们将看看NGINX如何使用epoll。

首先，我们看一下数据结构图：

1、从结构图中，我们先看第一部分，NGINX拿到socket标示符，绑定本地地址，监听socket标示符信息，由于NGINX支持多server，支持各个server使用不同的端口、不同的协议族。如此需要多个socket句柄来支持，NGINX利用ngx_listening_t这个数据结构来保存打开的socket信息并且放置在一个数组里面。这个过程是在初始化cycle中完成的。

2、关于socket句柄，我们区分两类，一类是上一部分说的服务端申请的socket，这一部分socket处理和客户端连接的情况，如果有新的连接进来，将会产生关于这一批socket的事件；第二类，是连接建立后，服务端accept客户端的socket句柄，针对这个句柄，服务端做读和写的操作。

我们再看一下下图绘制的一个处理流程。

我们再通过代码来看看整个过程

分析配置文件，申请socket fd

2、处理事件模块的初始化

static ngx_int_t

ngx_event_process_init(ngx_cycle_t *cycle)

{

    .......

    //对所有NGX_EVENT_MODULE模块执行module->actions.init

    for (m = ; ngx_modules[m]; m++) {

        if (ngx_modules[m]->type != NGX_EVENT_MODULE) {

            continue;

        }

        if (ngx_modules[m]->ctx_index != ecf->use) {

            continue;

        }

        module = ngx_modules[m]->ctx;

        if (module->actions.init(cycle, ngx_timer_resolution) != NGX_OK) {

            /* fatal */

            exit();

        }

        break;

    }

    ......

    cycle->connections =

        ngx_alloc(sizeof(ngx_connection_t) * cycle->connection_n, cycle->log);

    if (cycle->connections == NULL) {

        return NGX_ERROR;

    }

    c = cycle->connections;

    cycle->read_events = ngx_alloc(sizeof(ngx_event_t) * cycle->connection_n,

                                   cycle->log);

    if (cycle->read_events == NULL) {

        return NGX_ERROR;

    }

    rev = cycle->read_events;

    for (i = ; i < cycle->connection_n; i++) {

        rev[i].closed = ;

        rev[i].instance = ;

#if (NGX_THREADS)

        rev[i].lock = &c[i].lock;

        rev[i].own_lock = &c[i].lock;

#endif

    }

    cycle->write_events = ngx_alloc(sizeof(ngx_event_t) * cycle->connection_n,

                                    cycle->log);

    if (cycle->write_events == NULL) {

        return NGX_ERROR;

    }

    wev = cycle->write_events;

    for (i = ; i < cycle->connection_n; i++) {

        wev[i].closed = ;

#if (NGX_THREADS)

        wev[i].lock = &c[i].lock;

        wev[i].own_lock = &c[i].lock;

#endif

    }

    i = cycle->connection_n;

    next = NULL;

    do {

        i--;

        c[i].data = next;

        c[i].read = &cycle->read_events[i];

        c[i].write = &cycle->write_events[i];

        c[i].fd = (ngx_socket_t) -;

        next = &c[i];

#if (NGX_THREADS)

        c[i].lock = ;

#endif

    } while (i);

    cycle->free_connections = next;

    cycle->free_connection_n = cycle->connection_n;

    /* for each listening socket */

    ls = cycle->listening.elts;

    for (i = ; i < cycle->listening.nelts; i++) {

        //获取空余连接，将服务端申请的每个socket fd占用一个连接，

        c = ngx_get_connection(ls[i].fd, cycle->log);

        ......

        rev->handler = ngx_event_accept;

        if (ngx_use_accept_mutex) {

            continue;

        }

        if (ngx_event_flags & NGX_USE_RTSIG_EVENT) {

            if (ngx_add_conn(c) == NGX_ERROR) {

                return NGX_ERROR;

            }

        } else {

            //如果使用epoll模块，则在epoll上注册读事件，操作类型是EPOLL_CTL_ADD，也就是关注服务端申请的socket fd是否有新连接申请

            if (ngx_add_event(rev, NGX_READ_EVENT, ) == NGX_ERROR) {

                return NGX_ERROR;

            }

        }

    }

    return NGX_OK;

}

3、 EPOLL在发现新事件后，会查找处理该事件的方法，实际上先查找对应的连接，该连接指针是如下方式，利用epoll_event结构体成员data的ptr指针可以用来存储用户的连接信息，我们在看看后面是怎么处理的

static ngx_int_t

ngx_epoll_add_event(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags)

{

    .......

    //epoll_event结构体成员data的ptr指针可以用来存储用户的指针信息，这里用来存储连接信息，其中事件的instance标识主要用来显示事件是否过期

    ee.events = events | (uint32_t) flags;

    ee.data.ptr = (void *) ((uintptr_t) c | ev->instance); //把instance加到ee的末尾（由于内存对齐，末尾一般为0）

…….

    if (epoll_ctl(ep, op, c->fd, &ee) == -) {

        ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno,

                      "epoll_ctl(%d, %d) failed", op, c->fd);

        return NGX_ERROR;

    }

    .......

    return NGX_OK;

}

4、

static void

ngx_worker_process_cycle(ngx_cycle_t *cycle, void *data)

{

    ......

    ngx_worker_process_init(cycle, worker);

    ......

    for ( ;; ) {

        ......

        ngx_process_events_and_timers(cycle);

        ......

    }

}

5、

void

ngx_process_events_and_timers(ngx_cycle_t *cycle)

{

    ......

    (void) ngx_process_events(cycle, timer, flags);

    ......

}

巴特西

Nginx源码研究三：Epoll在NGINX中的使用

最新文章

热门文章