App下載

Python with和上下文管理工具詳解

猿友 2021-01-05 14:11:33 瀏覽數(shù) (2030)
反饋

前言

如果你有閱讀源碼的習(xí)慣,可能會(huì)看到一些優(yōu)秀的代碼經(jīng)常出現(xiàn)帶有 “with” 關(guān)鍵字的語(yǔ)句,它通常用在什么場(chǎng)景呢?今天就來(lái)說說 with 和 上下文管理器。

對(duì)于系統(tǒng)資源如文件、數(shù)據(jù)庫(kù)連接、socket 而言,應(yīng)用程序打開這些資源并執(zhí)行完業(yè)務(wù)邏輯之后,必須做的一件事就是要關(guān)閉(斷開)該資源。

比如 Python 程序打開一個(gè)文件,往文件中寫內(nèi)容,寫完之后,就要關(guān)閉該文件,否則會(huì)出現(xiàn)什么情況呢?極端情況下會(huì)出現(xiàn) "Too many open files" 的錯(cuò)誤,因?yàn)橄到y(tǒng)允許你打開的最大文件數(shù)量是有限的。

同樣,對(duì)于數(shù)據(jù)庫(kù),如果連接數(shù)過多而沒有及時(shí)關(guān)閉的話,就可能會(huì)出現(xiàn) "Can not connect to MySQL server Too many connections",因?yàn)閿?shù)據(jù)庫(kù)連接是一種非常昂貴的資源,不可能無(wú)限制的被創(chuàng)建。

來(lái)看看如何正確關(guān)閉一個(gè)文件。

普通版

def test1():

    f = open("output.txt", "w")

    f.write("python之禪")

    f.close()

這樣寫有一個(gè)潛在的問題,如果在調(diào)用 write 的過程中,出現(xiàn)了異常進(jìn)而導(dǎo)致后續(xù)代碼無(wú)法繼續(xù)執(zhí)行,close 方法無(wú)法被正常調(diào)用,因此資源就會(huì)一直被該程序占用而無(wú)法被釋放。那么該如何改進(jìn)代碼呢?

進(jìn)階版

def test2():

    f = open("output.txt", "w")

    try:

        f.write("python之禪")

    except IOError:

        print("oops error")

    finally:

        f.close()

改良版本的程序是對(duì)可能發(fā)生異常的代碼處進(jìn)行 try 捕獲,使用 try/finally 語(yǔ)句,該語(yǔ)句表示如果在 try 代碼塊中程序出現(xiàn)了異常,后續(xù)代碼就不再執(zhí)行,而直接跳轉(zhuǎn)到 except 代碼塊。而無(wú)論如何,finally 塊的代碼最終都會(huì)被執(zhí)行。因此,只要把 close 放在 finally 代碼中,文件就一定會(huì)關(guān)閉。

高級(jí)版

def test3():

    with open("output.txt", "w") as f:

        f.write("Python之禪")

一種更加簡(jiǎn)潔、優(yōu)雅的方式就是用 with 關(guān)鍵字。open 方法的返回值賦值給變量 f,當(dāng)離開 with 代碼塊的時(shí)候,系統(tǒng)會(huì)自動(dòng)調(diào)用 f.close() 方法, with 的作用和使用 try/finally 語(yǔ)句是一樣的。那么它的實(shí)現(xiàn)原理是什么?在講 with 的原理前要涉及到另外一個(gè)概念,就是上下文管理器(Context Manager)。

上下文管理器

任何實(shí)現(xiàn)了 __enter__() 和 __exit__() 方法的對(duì)象都可稱之為上下文管理器,上下文管理器對(duì)象可以使用 with 關(guān)鍵字。顯然,文件(file)對(duì)象也實(shí)現(xiàn)了上下文管理器。

那么文件對(duì)象是如何實(shí)現(xiàn)這兩個(gè)方法的呢?我們可以模擬實(shí)現(xiàn)一個(gè)自己的文件類,讓該類實(shí)現(xiàn) __enter__() 和 __exit__() 方法。

class File():

    def __init__(self, filename, mode):

        self.filename = filename

        self.mode = mode

    def __enter__(self):

        print("entering")

        self.f = open(self.filename, self.mode)

        return self.f

    def __exit__(self, *args):

        print("will exit")

        self.f.close()

__enter__() 方法返回資源對(duì)象,這里就是你將要打開的那個(gè)文件對(duì)象,__exit__() 方法處理一些清除工作。

因?yàn)?File 類實(shí)現(xiàn)了上下文管理器,現(xiàn)在就可以使用 with 語(yǔ)句了。

with File('out.txt', 'w') as f:

    print("writing")

    f.write('hello, python')

這樣,你就無(wú)需顯式地調(diào)用 close 方法了,由系統(tǒng)自動(dòng)去調(diào)用,哪怕中間遇到異常,close 方法也會(huì)被調(diào)用。

contextlib

Python 還提供了一個(gè) contextmanager 的裝飾器,更進(jìn)一步簡(jiǎn)化了上下文管理器的實(shí)現(xiàn)方式。通過 yield 將函數(shù)分割成兩部分,yield 之前的語(yǔ)句在 __enter__ 方法中執(zhí)行,yield 之后的語(yǔ)句在 __exit__ 方法中執(zhí)行。緊跟在 yield 后面的值是函數(shù)的返回值。 

from contextlib import contextmanager

 

@contextmanager

def my_open(path, mode):

    f = open(path, mode)

    yield f

    f.close()

調(diào)用:

with my_open('out.txt', 'w') as f:

    f.write("hello , the simplest context manager")

總結(jié)

Python 提供了 with 語(yǔ)法用于簡(jiǎn)化資源操作的后續(xù)清除操作,是 try/finally 的替代方法,實(shí)現(xiàn)原理建立在上下文管理器之上。此外,Python 還提供了一個(gè) contextmanager 裝飾器,更進(jìn)一步簡(jiǎn)化上下管理器的實(shí)現(xiàn)方式。

推薦閱讀:Python3 入門、Python3 進(jìn)階


0 人點(diǎn)贊