Tornado 異步和非阻塞 I/O

2022-04-24 19:00 更新

異步和非阻塞 I/O

實時 Web 功能需要每個用戶的長期空閑連接。在傳統(tǒng)的同步 Web 服務(wù)器中,這意味著為每個用戶分配一個線程,這可能非常昂貴。

為了最小化并發(fā)連接的成本,Tornado 使用單線程事件循環(huán)。這意味著所有應(yīng)用程序代碼都應(yīng)該以異步和非阻塞為目標(biāo),因為一次只能激活一個操作。

術(shù)語異步和非阻塞密切相關(guān),經(jīng)常互換使用,但它們并不完全相同。

阻塞

當(dāng)一個函數(shù)在返回之前等待某事發(fā)生時會阻塞。一個函數(shù)可能會因為多種原因而阻塞:網(wǎng)絡(luò) I/O、磁盤 I/O、互斥鎖等。事實上,每個函數(shù)在運行和使用 CPU 時都會阻塞,至少有一點點阻塞(舉一個極端的例子來演示為什么 CPU 阻塞必須像其他類型的阻塞一樣受到重視,請考慮密碼散列函數(shù),如 bcrypt,其設(shè)計使用數(shù)百毫秒的 CPU 時間,遠(yuǎn)遠(yuǎn)超過典型的網(wǎng)絡(luò)或磁盤訪問)。

一個函數(shù)在某些方面可以是阻塞的,而在其他方面可以是非阻塞的。在 Tornado 的上下文中,我們通常在網(wǎng)絡(luò) I/O 的上下文中討論阻塞,盡管所有類型的阻塞都將被最小化。

異步

異步函數(shù)在完成之前返回,并且通常會在觸發(fā)應(yīng)用程序中的某些未來操作之前在后臺發(fā)生一些工作(與正常的 同步函數(shù)相反,它們在返回之前完成它們將要做的所有事情)。異步接口有多種風(fēng)格:

  • 回調(diào)參數(shù)
  • 返回占位符 ( Future, Promise, Deferred)
  • 交付到隊列
  • 回調(diào)注冊表(例如 POSIX 信號)

無論使用哪種類型的接口, 根據(jù)定義,異步函數(shù)與其調(diào)用者的交互方式不同;沒有免費的方法可以以對其調(diào)用者透明的方式使同步函數(shù)異步(像gevent 之類的系統(tǒng)使用輕量級線程來提供與異步系統(tǒng)相當(dāng)?shù)男阅埽鼈儗嶋H上并沒有使事情異步)。

Tornado 中的異步操作通常返回占位符對象 ( Futures),但一些低級組件(例如IOLoop使用回調(diào)的組件)除外。Futures通常使用awaitoryield 關(guān)鍵字轉(zhuǎn)換成它們的結(jié)果。

演示例子

這是一個同步函數(shù):

from tornado.httpclient import HTTPClient

def synchronous_fetch(url):
    http_client = HTTPClient()
    response = http_client.fetch(url)
    return response.body

這是作為原生協(xié)程異步重寫的相同函數(shù):

from tornado.httpclient import AsyncHTTPClient

async def asynchronous_fetch(url):
    http_client = AsyncHTTPClient()
    response = await http_client.fetch(url)
    return response.body

或者為了與舊版本Python兼容,請使用以下?tornado.gen?模塊

from tornado.httpclient import AsyncHTTPClient
from tornado import gen

@gen.coroutine
def async_fetch_gen(url):
    http_client = AsyncHTTPClient()
    response = yield http_client.fetch(url)
    raise gen.Return(response.body)

協(xié)程有點神奇,但它們在內(nèi)部做的事情是這樣的:

from tornado.concurrent import Future

def async_fetch_manual(url):
    http_client = AsyncHTTPClient()
    my_future = Future()
    fetch_future = http_client.fetch(url)
    def on_fetch(f):
        my_future.set_result(f.result().body)
    fetch_future.add_done_callback(on_fetch)
    return my_future

請注意:協(xié)程?Future?在 fetch 完成之前返回它。這就是使協(xié)同程序異步的原因。
任何你可以用協(xié)程做的事情,你也可以通過傳遞回調(diào)對象來做,但是協(xié)程提供了一個重要的簡化,它讓你以與同步時相同的方式組織你的代碼。這對于錯誤處理尤其重要,因為?try?/?except?塊的工作方式與您在協(xié)程中所期望的一樣,而這很難通過回調(diào)實現(xiàn)。本指南的下一部分將深入討論協(xié)程


以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號