W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗(yàn)值獎(jiǎng)勵(lì)
你需要將一個(gè)Python對象序列化為一個(gè)字節(jié)流,以便將它保存到一個(gè)文件、存儲到數(shù)據(jù)庫或者通過網(wǎng)絡(luò)傳輸它。
對于序列化最普遍的做法就是使用 pickle
模塊。為了將一個(gè)對象保存到一個(gè)文件中,可以這樣做:
import pickle
data = ... # Some Python object
f = open('somefile', 'wb')
pickle.dump(data, f)
為了將一個(gè)對象轉(zhuǎn)儲為一個(gè)字符串,可以使用 pickle.dumps()
:
s = pickle.dumps(data)
為了從字節(jié)流中恢復(fù)一個(gè)對象,使用 picle.load()
或 pickle.loads()
函數(shù)。比如:
# Restore from a file
f = open('somefile', 'rb')
data = pickle.load(f)
# Restore from a string
data = pickle.loads(s)
對于大多數(shù)應(yīng)用程序來講,dump()
和 load()
函數(shù)的使用就是你有效使用 pickle
模塊所需的全部了。它可適用于絕大部分Python數(shù)據(jù)類型和用戶自定義類的對象實(shí)例。如果你碰到某個(gè)庫可以讓你在數(shù)據(jù)庫中保存/恢復(fù)Python對象或者是通過網(wǎng)絡(luò)傳輸對象的話,那么很有可能這個(gè)庫的底層就使用了 pickle
模塊。
pickle
是一種Python特有的自描述的數(shù)據(jù)編碼。通過自描述,被序列化后的數(shù)據(jù)包含每個(gè)對象開始和結(jié)束以及它的類型信息。因此,你無需擔(dān)心對象記錄的定義,它總是能工作。舉個(gè)例子,如果要處理多個(gè)對象,你可以這樣做:
>>> import pickle
>>> f = open('somedata', 'wb')
>>> pickle.dump([1, 2, 3, 4], f)
>>> pickle.dump('hello', f)
>>> pickle.dump({'Apple', 'Pear', 'Banana'}, f)
>>> f.close()
>>> f = open('somedata', 'rb')
>>> pickle.load(f)
[1, 2, 3, 4]
>>> pickle.load(f)
'hello'
>>> pickle.load(f)
{'Apple', 'Pear', 'Banana'}
>>>
你還能序列化函數(shù),類,還有接口,但是結(jié)果數(shù)據(jù)僅僅將它們的名稱編碼成對應(yīng)的代碼對象。例如:
>>> import math
>>> import pickle.
>>> pickle.dumps(math.cos)
b'\x80\x03cmath\ncos\nq\x00.'
>>>
當(dāng)數(shù)據(jù)反序列化回來的時(shí)候,會先假定所有的源數(shù)據(jù)時(shí)可用的。模塊、類和函數(shù)會自動(dòng)按需導(dǎo)入進(jìn)來。對于Python數(shù)據(jù)被不同機(jī)器上的解析器所共享的應(yīng)用程序而言,數(shù)據(jù)的保存可能會有問題,因?yàn)樗械臋C(jī)器都必須訪問同一個(gè)源代碼。
注
千萬不要對不信任的數(shù)據(jù)使用pickle.load()。
pickle在加載時(shí)有一個(gè)副作用就是它會自動(dòng)加載相應(yīng)模塊并構(gòu)造實(shí)例對象。
但是某個(gè)壞人如果知道pickle的工作原理,
他就可以創(chuàng)建一個(gè)惡意的數(shù)據(jù)導(dǎo)致Python執(zhí)行隨意指定的系統(tǒng)命令。
因此,一定要保證pickle只在相互之間可以認(rèn)證對方的解析器的內(nèi)部使用。
有些類型的對象是不能被序列化的。這些通常是那些依賴外部系統(tǒng)狀態(tài)的對象, 比如打開的文件,網(wǎng)絡(luò)連接,線程,進(jìn)程,棧幀等等。 用戶自定義類可以通過提供 __getstate__()
和 __setstate__()
方法來繞過這些限制。 如果定義了這兩個(gè)方法,pickle.dump()
就會調(diào)用 __getstate__()
獲取序列化的對象。 類似的,__setstate__()
在反序列化時(shí)被調(diào)用。為了演示這個(gè)工作原理, 下面是一個(gè)在內(nèi)部定義了一個(gè)線程但仍然可以序列化和反序列化的類: # countdown.py
import time
import threading
class Countdown:
def __init__(self, n):
self.n = n
self.thr = threading.Thread(target=self.run)
self.thr.daemon = True
self.thr.start()
def run(self):
while self.n > 0:
print('T-minus', self.n)
self.n -= 1
time.sleep(5)
def __getstate__(self):
return self.n
def __setstate__(self, n):
self.__init__(n)
試著運(yùn)行下面的序列化試驗(yàn)代碼:
>>> import countdown
>>> c = countdown.Countdown(30)
>>> T-minus 30
T-minus 29
T-minus 28
...
>>> # After a few moments
>>> f = open('cstate.p', 'wb')
>>> import pickle
>>> pickle.dump(c, f)
>>> f.close()
然后退出Python解析器并重啟后再試驗(yàn)下:
>>> f = open('cstate.p', 'rb')
>>> pickle.load(f)
countdown.Countdown object at 0x10069e2d0>
T-minus 19
T-minus 18
...
你可以看到線程又奇跡般的重生了,從你第一次序列化它的地方又恢復(fù)過來。
pickle
對于大型的數(shù)據(jù)結(jié)構(gòu)比如使用 array
或 numpy
模塊創(chuàng)建的二進(jìn)制數(shù)組效率并不是一個(gè)高效的編碼方式。如果你需要移動(dòng)大量的數(shù)組數(shù)據(jù),你最好是先在一個(gè)文件中將其保存為數(shù)組數(shù)據(jù)塊或使用更高級的標(biāo)準(zhǔn)編碼方式如HDF5(需要第三方庫的支持)。
由于 pickle
是Python特有的并且附著在源碼上,所有如果需要長期存儲數(shù)據(jù)的時(shí)候不應(yīng)該選用它。例如,如果源碼變動(dòng)了,你所有的存儲數(shù)據(jù)可能會被破壞并且變得不可讀取。坦白來講,對于在數(shù)據(jù)庫和存檔文件中存儲數(shù)據(jù)時(shí),你最好使用更加標(biāo)準(zhǔn)的數(shù)據(jù)編碼格式如XML,CSV或JSON。這些編碼格式更標(biāo)準(zhǔn),可以被不同的語言支持,并且也能很好的適應(yīng)源碼變更。
最后一點(diǎn)要注意的是 pickle
有大量的配置選項(xiàng)和一些棘手的問題。對于最常見的使用場景,你不需要去擔(dān)心這個(gè),但是如果你要在一個(gè)重要的程序中使用pickle去做序列化的話,最好去查閱一下 官方文檔 。
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報(bào)電話:173-0602-2364|舉報(bào)郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: