App下載

Pytorch model.train 和model.eval有什么區(qū)別?如何使用?

猿友 2021-07-20 09:56:59 瀏覽數(shù) (4592)
反饋

在學(xué)習(xí)機(jī)器學(xué)習(xí)的時(shí)候很多小伙伴都會(huì)了解到模型的訓(xùn)練和測(cè)試,也會(huì)了解到兩個(gè)關(guān)于模型訓(xùn)練和測(cè)試會(huì)涉及到的函數(shù)——train和eval,那么model.train和model.eval有什么區(qū)別呢?接下來(lái)小編就帶你來(lái)好好了解一下。

在訓(xùn)練模型時(shí)會(huì)在前面加上:

model.train()

在測(cè)試模型時(shí)在前面使用:

model.eval()

同時(shí)發(fā)現(xiàn),如果不寫(xiě)這兩個(gè)程序也可以運(yùn)行,這是因?yàn)檫@兩個(gè)方法是針對(duì)在網(wǎng)絡(luò)訓(xùn)練和測(cè)試時(shí)采用不同方式的情況,比如Batch Normalization 和 Dropout。

訓(xùn)練時(shí)是正對(duì)每個(gè)min-batch的,但是在測(cè)試中往往是針對(duì)單張圖片,即不存在min-batch的概念。

由于網(wǎng)絡(luò)訓(xùn)練完畢后參數(shù)都是固定的,因此每個(gè)批次的均值和方差都是不變的,因此直接結(jié)算所有batch的均值和方差。

所有Batch Normalization的訓(xùn)練和測(cè)試時(shí)的操作不同

在訓(xùn)練中,每個(gè)隱層的神經(jīng)元先乘概率P,然后在進(jìn)行激活,在測(cè)試中,所有的神經(jīng)元先進(jìn)行激活,然后每個(gè)隱層神經(jīng)元的輸出乘P。

補(bǔ)充:Pytorch踩坑記錄——model.eval()

最近在寫(xiě)代碼時(shí)遇到一個(gè)問(wèn)題,原本訓(xùn)練好的模型,加載進(jìn)來(lái)進(jìn)行inference準(zhǔn)確率直接掉了5個(gè)點(diǎn),尼瑪,這簡(jiǎn)直不能忍啊~本菜雞下意識(shí)地感知到我肯定又在哪里寫(xiě)了bug了~~~于是開(kāi)始到處排查,從model load到data load,最終在一個(gè)被我封裝好的module的犄角旮旯里找到了問(wèn)題,于是順便就在這里總結(jié)一下,避免以后再犯。

對(duì)于訓(xùn)練好的模型加載進(jìn)來(lái)準(zhǔn)確率和原先的不符,比較常見(jiàn)的有兩方面的原因:

1)data

2)model.state_dict()

1) data

數(shù)據(jù)方面,檢查前后兩次加載的data有沒(méi)有發(fā)生變化。首先檢查 transforms.Normalize 使用的均值和方差是否和訓(xùn)練時(shí)相同;另外檢查在這個(gè)過(guò)程中數(shù)據(jù)是否經(jīng)過(guò)了存儲(chǔ)形式的改變,這有可能會(huì)帶來(lái)數(shù)據(jù)精度的變化導(dǎo)致一定的信息丟失。

比如我過(guò)用的其中一個(gè)數(shù)據(jù)集,原先將圖片存儲(chǔ)成向量形式,但其對(duì)應(yīng)的是“png”格式的數(shù)據(jù)(后來(lái)在原始文件中發(fā)現(xiàn)了相應(yīng)的描述。),而我進(jìn)行了一次data-to-img操作,將向量轉(zhuǎn)換成了“jpg”形式,這時(shí)加載進(jìn)來(lái)便造成了掉點(diǎn)。

2)model.state_dict()

第一方面造成的掉點(diǎn)一般不會(huì)太嚴(yán)重,第二方面造成的掉點(diǎn)就比較嚴(yán)重了,一旦模型的參數(shù)加載錯(cuò)了,那就誤差大了。

如果是參數(shù)沒(méi)有正確加載進(jìn)來(lái)則比較容易發(fā)現(xiàn),這時(shí)準(zhǔn)確率非常低,幾乎等于瞎猜。

而我這次遇到的情況是,準(zhǔn)確率并不是特別低,只掉了幾個(gè)點(diǎn),檢查了多次,均顯示模型參數(shù)已經(jīng)成功加載了。后來(lái)仔細(xì)查看后發(fā)現(xiàn)在其中一次調(diào)用模型進(jìn)行inference時(shí),忘了寫(xiě) ‘model.eval()',造成了模型的參數(shù)發(fā)生變化,再次調(diào)用則出現(xiàn)了掉點(diǎn)。

于是又回顧了一下model.eval()和model.train()的具體作用。如下:

model.train() 和 model.eval() 一般在模型訓(xùn)練和評(píng)價(jià)的時(shí)候會(huì)加上這兩句,主要是針對(duì)由于model 在訓(xùn)練時(shí)和評(píng)價(jià)時(shí) Batch

Normalization 和 Dropout 方法模式不同:

a) model.eval(),不啟用 BatchNormalization 和 Dropout。此時(shí)pytorch會(huì)自動(dòng)把BN和DropOut固定住,不會(huì)取平均,而是用訓(xùn)練好的值。不然的話,一旦test的batch_size過(guò)小,很容易就會(huì)因BN層導(dǎo)致模型performance損失較大;

b) model.train() :?jiǎn)⒂?BatchNormalization 和 Dropout。 在模型測(cè)試階段使用model.train() 讓model變成訓(xùn)練模式,此時(shí) dropout和batch normalization的操作在訓(xùn)練q起到防止網(wǎng)絡(luò)過(guò)擬合的問(wèn)題。

因此,在使用PyTorch進(jìn)行訓(xùn)練和測(cè)試時(shí)一定要記得把實(shí)例化的model指定train/eval。

model.eval()   vs   torch.no_grad()

雖然二者都是eval的時(shí)候使用,但其作用并不相同:

model.eval() 負(fù)責(zé)改變batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。 見(jiàn)下方代碼:

  import torch
  import torch.nn as nn
 
  drop = nn.Dropout()
  x = torch.ones(10)
  
  # Train mode   
  drop.train()
  print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.])   
  
  # Eval mode   
  drop.eval()
  print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 負(fù)責(zé)關(guān)掉梯度計(jì)算,節(jié)省eval的時(shí)間。

只進(jìn)行inference時(shí),model.eval()是必須使用的,否則會(huì)影響結(jié)果準(zhǔn)確性。 而torch.no_grad()并不是強(qiáng)制的,只影響運(yùn)行效率。

小結(jié)

以上就是model.train和model.eval有什么區(qū)別的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持W3Cschool。



0 人點(diǎn)贊