App下載

Linux高性能I/O框架庫Libevent介紹

猿友 2020-08-13 14:48:45 瀏覽數(shù) (9726)
反饋

這篇文章主要講一下Libevent庫的內(nèi)容，順便對I/O庫整體做個介紹。

Linux服務(wù)器程序必須處理的三類事件：

  • I/O事件
  • 信號
  • 定時事件

在處理這三類事件時我們通常需要考慮如下三個問題：

  • 統(tǒng)一事件源。很明顯，統(tǒng)一處理這三類事件既能使代碼簡單易懂，又能避免一些潛在的邏輯錯誤。
  • 可移植性。不同的操作系統(tǒng)具有不同的I/O復(fù)用方式，比如Solaris的dev/poll文件，FressBSD的kqueue機(jī)制，Linux的epoll系統(tǒng)調(diào)用
  • 對并發(fā)編程的支持，在多進(jìn)程和多線程環(huán)境下，我們需要考慮各執(zhí)行實(shí)體如何協(xié)同處理客戶連接、信號和定時器，以避免競態(tài)條件。

幸運(yùn)的是，開源社區(qū)提供了很多優(yōu)秀的I/O框架庫，他們不僅解決了上述問題，讓開發(fā)者可以將精力完全放在程序的邏輯上，而且穩(wěn)定性、性能等各方面都相當(dāng)出色。而Libevent就是其中相對輕量級的框架庫。

I/O框架庫概述

I/O框架庫以庫函數(shù)的形式，封裝了較為底層的系統(tǒng)調(diào)用，給應(yīng)用程序提供了一組更便于使用的接口。這些庫函數(shù)往往比程序員自己實(shí)現(xiàn)的同樣功能的函數(shù)更合理、更高效、且更健壯。因?yàn)樗鼈兘?jīng)受住了真實(shí)網(wǎng)絡(luò)環(huán)境下的高壓測試，以及時間的考驗(yàn)。

各種I/O框架庫的實(shí)現(xiàn)原理基本相似，要么以Reactor模式實(shí)現(xiàn)，要么以Procator模式實(shí)現(xiàn)（高性能服務(wù)器程序框架 - 兩種高效的事件處理模式），要么同時以這兩種模式實(shí)現(xiàn)。舉例來說，基于Reactor模式的I/O框架庫包含如下幾個組件：

  • 句柄Handle
  • 事件多路分發(fā)器EventDemultiplexer
  • 事件處理器Eventhandler
  • 具體的事件處理器ConcreteEventHandler
  • Reactor

（推薦教程：Linux教程）

這些組件關(guān)系如下圖：

組件關(guān)系

  1. 句柄: I/O框架庫要處理的對象，即I/O事件、信號和定時事件，統(tǒng)一稱為事件源。一個事件源通常和一個句柄綁定在一起。句柄的作用是，當(dāng)內(nèi)核檢測到就緒事件時，它將通過句柄來通知應(yīng)用程序這一事件。在Linux環(huán)境下，I/O事件對應(yīng)的句柄是文件描述符，信號事件對應(yīng)的句柄就是信號值。
  2. 事件多路分發(fā)器：事件的到來是隨機(jī)的、異步的。我們無法預(yù)知程序何時收到一個客戶連接請求，又亦活收到一個暫停信號。所以程序需要循環(huán)地等待并處理事件，這就是事件循環(huán)。在事件循環(huán)中，等待事件一般使用I/O復(fù)用技術(shù)來實(shí)現(xiàn)。I/O框架庫一般將系統(tǒng)支持的各種I/O復(fù)用系統(tǒng)調(diào)用封裝成統(tǒng)一的接口，稱為事件多路分發(fā)器。事件多路分發(fā)器的demultiplex方法是等待事件的核心函數(shù)，其內(nèi)部調(diào)用的是select、poll、epoll_wait等函數(shù)。此外事件多路分發(fā)器還需實(shí)現(xiàn)register_event和remove_event方法，以供調(diào)用者往事件多路分發(fā)器中添加事件和從事件多路分發(fā)器中刪除事件。
  3. 事件處理器和具體時間處理器：事件處理器執(zhí)行事件對應(yīng)的業(yè)務(wù)邏輯。它通常包含一個或多個handle_event回調(diào)函數(shù)，這些回調(diào)函數(shù)在事件循環(huán)中被執(zhí)行。I/O框架庫提供的事件處理器通常是一個接口，用戶需要繼承它來實(shí)現(xiàn)自己的事件處理器，即具體事件處理器。因此，事件處理器中的回調(diào)函數(shù)一般被聲明為需函數(shù)，以支持用戶的擴(kuò)展。此外，事件處理器一般還提供一個get_handle方法，它返回與該事件處理器關(guān)聯(lián)的句柄。那么事件處理器和句柄有什么關(guān)系？當(dāng)時間多路分發(fā)器檢測到有事件發(fā)生時，它是通過句柄來通知應(yīng)用程序的。因此，我們必須將事件處理器和句柄綁定，才能在事件發(fā)生時獲取到正確的事件處理器。
  4. Reactor：Reactor是I/O框架的核心。它提供的幾個主要方法是：
    • handle_events：該方法執(zhí)行事件循環(huán)。它重復(fù)如下過程：等待事件，然后依次處理所有就緒事件對應(yīng)的事件處理器。
    • register_handler: 該方法調(diào)用事件多路分發(fā)器的register_event方法來往事件多路分發(fā)器中注冊一個事件。 -remove_handler：該方法調(diào)用事件多路分發(fā)器的remove_event方法來往刪除事件多路分發(fā)器中注冊一個事件。

I/O框架庫的工作時序如下：

I/O工作時序

Libevent源碼分析

Libevent是開源社區(qū)的一款高性能的I/O框架庫，具有如下特點(diǎn)：

  • 跨平臺支持
  • 統(tǒng)一事件源
  • 線程安全
  • 基于Reactor模式的實(shí)現(xiàn)

（推薦微課：Linux微課）

一個實(shí)例

下面是用Libevent庫實(shí)現(xiàn)的一個“Hello World”程序。

include <sys/signal.h>

#include <event2/event.h>


void signal_cb(int fd, short event, void *argc)
{
    struct event_base* base = (event_base*)argc;
    struct timeval delay = {2, 0};
    printf("Caught an interrupt signal; exiting cleanly in two seconds....\n");
    event_base_loopexit(base, &delay);
}


void timeout_cb(int fd, short event, void* argc)
{
    printf("timeout\n");
}


int main(int argc, char const *argv[])
{
    struct event_base* base = event_base_new();
    struct event* signal_event = evsignal_new(base, SIGINT, signal_cb, base);
    event_add(signal_event, NULL);


    timeval tv = {1, 0};
    struct event* timeout_event = evtimer_new(base, timeout_cb, NULL);
    event_add(timeout_event, &tv);


    event_base_dispatch(base);


    event_free(timeout_event);
    event_free(signal_event);
    event_base_free(base);


    return 0;
}

上述代碼雖然簡單，但卻基本描述了Libevent庫的主要邏輯：

  1. 調(diào)用event_base_new函數(shù)創(chuàng)建event_base對象。一個event_base相當(dāng)于一個Reactor實(shí)例。
  2. 創(chuàng)建具體的事件處理器，并設(shè)置它們所從屬的Reactor實(shí)例。evsignal_new和evtimer_new分別用于創(chuàng)建信號事務(wù)處理器和定時事件處理器。它們是定義在如下：

定義

define evsignal_new(b, x, cb, arg) \

    event_new((b), (x), EV_SIGNAL|EV_PERSIST, (cb), (arg))
#define evtimer_new(b, cb, arg)     event_new((b), -1, 0, (cb), (arg))

可見，他們的統(tǒng)一入口是event_new函數(shù)，即用于創(chuàng)建通用事件處理器的函數(shù)，定義如下：

event_new(struct event_base base, evutil_socket_t fd, short events, void (cb)(evutil_socket_t, short, void ), void arg)其中，base參數(shù)指定行

其中：

  • base參數(shù)指定新創(chuàng)建的事件處理器從屬的Reactor。
  • fd參數(shù)指定與事件處理器關(guān)聯(lián)的句柄。創(chuàng)建I/O事件處理器時，應(yīng)該給fd參數(shù)傳遞文件描述符；創(chuàng)建信號事件處理器時，應(yīng)該給fd參數(shù)傳遞信號值，比如之前實(shí)例代碼中的SIGINT；創(chuàng)建定時事件處理器時則應(yīng)該給fd參數(shù)傳遞-1。
  • events參數(shù)指定事件類型，定義如下：

    #define EV_TIMEOUT  0x01   /*定時事件*/
    #define EV_READ     0x02         /*可讀事件*/
    #define EV_WRITE    0x04        /*可寫事件*/
    #define EV_SIGNAL   0x08       /*信號事件*/
    #define EV_PERSIST  0x10     /*永久事件*/
    /*邊緣觸發(fā)事件，需要I/O復(fù)用系統(tǒng)調(diào)用支持，比如epoll */
    #define EV_ET       0x20

上述代碼中，EV_PERSIST的作用是：事件被觸發(fā)后，自動重新對這個event調(diào)用event_add函數(shù)。

  • cb參數(shù)指定目標(biāo)事件對應(yīng)的回調(diào)函數(shù)，相當(dāng)于事件處理器handle_event方法.
  • arg則是Reactor傳遞給回調(diào)函數(shù)的參數(shù)。

event_new函數(shù)成功時返回一個event類型的對象，也就是Libevent的事件處理器。Libevent用單詞“event”來描述事件處理器，而不是事件，所以約定如下：

  • 事件指的是一個句柄上綁定的事件，比如文件描述符 0 上的可讀事件
  • 事件處理器，也就是event結(jié)構(gòu)提類型的對象，除了包含事件必須具備的兩個要素（句柄和事件類型）外，還有很多其他成員，比如回調(diào)函數(shù)
  • 事件由事件多路分發(fā)器管理，事件處理器則由事件隊(duì)列管理，事件隊(duì)列包括多種，比如event_base中的注冊事件隊(duì)列。
  • 事件循環(huán)對一個被激活事件（就緒事件）的處理，指的是執(zhí)行該事件對應(yīng)的事件處理器中的回調(diào)函數(shù)。

  1. 調(diào)用event_add函數(shù)，將事件處理器添加到注冊事件隊(duì)列中，并將該事件處理器對應(yīng)的事件添加到事件多路分發(fā)器中。even_add函數(shù)相當(dāng)于Reactor中的register_handler方法。
  2. 調(diào)用event_base_dispatch函數(shù)來執(zhí)行事件循環(huán)
  3. 事件循環(huán)結(jié)束后，使用*_free系列釋放系統(tǒng)資源

（推薦課程：Linux就該這么學(xué)）

源代碼組織結(jié)構(gòu)

  • github地址：https://github.com/libevent/libevent
  • 頭文件目錄include/event2。該目錄是自Libevent主板本升級到2.0之后引入的，是提供給應(yīng)用程序使用的，比如event.h頭文件是核心函數(shù)，http.h頭文件提供HTTP協(xié)議相關(guān)服務(wù)，rpc.h頭文件提供遠(yuǎn)程過程調(diào)用支持。
  • 源碼根目錄下的頭文件。這些頭文件分為兩類：
  • 一類是對include/event2目錄下的部分頭文件的包裝
  • 另外一類是供Libevent內(nèi)部使用的輔助性頭文件，它們的文件名都具有*-internal.h的形式。
  • 通用數(shù)據(jù)目錄compat/sys。該目錄下僅有一個文件----queue.h。它封裝了跨平臺的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，包括單向鏈表、雙向鏈表、隊(duì)列、尾隊(duì)列和循環(huán)隊(duì)列。
  • sample目錄。提供一些示例代碼
  • test目錄。提供一次額測試代碼
  • WIN32-Code。提供Windows平臺上的一些專用代碼。
  • event.c文件。該文件時間Libevent的整體框架，主要是event和event_base兩個結(jié)構(gòu)體的相關(guān)操作。
  • debpoll.c、kqueue.c、evport.c、select.c、win32select.c、poll.c和epoll.c文件。它們分別封裝了如下I/O復(fù)用機(jī)制：/dev/poll、kqueue、event ports 、POSIX select、Windows select、poll和epoll。這些文件的主要內(nèi)容相似，都是針對結(jié)構(gòu)體eventop所定義的接口函數(shù)的具體實(shí)現(xiàn)。
  • minheap-internal.h：該文件實(shí)現(xiàn)了一個事件堆，以提供對定時事件的支持。
  • signal.c：提供對信號的支持。其內(nèi)容也是針對結(jié)構(gòu)體eventop所定義的接口函數(shù)的具體實(shí)現(xiàn)
  • evmap.c文件：它維護(hù)句柄（文件描述符或信號）與時間處理器的映射關(guān)系
  • event_tagging.c：提供往緩沖區(qū)中添加標(biāo)記數(shù)據(jù)，比如一個正數(shù)，以及從緩沖區(qū)中讀取標(biāo)記數(shù)據(jù)的函數(shù)
  • event_iocp文件：提供對Windows IOCP(Input/Output Completion Port，輸入輸出完成端口)的支持
  • buffer*.c文件：提供對網(wǎng)絡(luò)I/O緩沖的控制，包括：輸入輸出數(shù)據(jù)過濾，傳輸速率限制，使用SSL（Secure Sockets Layer）協(xié)議對應(yīng)用數(shù)據(jù)進(jìn)行保護(hù)，以及零拷貝文件傳輸?shù)取?/li>
  • evthread*.c文件：提供對多線程的支持
  • listener.c：封裝了對監(jiān)聽socket的操作，包括監(jiān)聽連接和接受連接
  • logs.c文件。它是Libevent的日志文件系統(tǒng)
  • evutil.c、evutil_rand.c、strlcpy.c和arc4random.c文件：提供了一些基本操作，比如生成隨機(jī)數(shù)、獲取socket地址信息、讀取文件、設(shè)置socket屬性等
  • evdns.c、http.c和evrpc.c地址信息：分別提供了對DNS協(xié)議、HTTP協(xié)議和RPC（Remote Procddure Call，遠(yuǎn)程過程調(diào)用）協(xié)議的支持
  • epoll_sub.c文件，該文件未見使用

在整個源碼中，event-internal.h、include/event2/event_struct.h、event.c和evmap.c等4個文件最為重要。它們定義了event和event_base結(jié)構(gòu)體，并實(shí)現(xiàn)了這兩個結(jié)構(gòu)體的相關(guān)操作。

以上就是關(guān)于Linux中高性能I/O框架庫Libevent的相關(guān)介紹了，希望對大家有所幫助。

庫 linux

1 人點(diǎn)贊