App下載

PyTorch中inplace字段怎么用?數(shù)據(jù)就地處理是什么意思?

猿友 2021-07-20 10:41:06 瀏覽數(shù) (2220)
反饋

很多可能對pytorch的inplace字段有一些疑惑,這個字段到底是干啥用的?其實,這涉及到pytorch的運算機制,使用這個字段的話pytorch數(shù)據(jù)就地處理,這樣子就不會占用過多的內(nèi)存,也就達到了節(jié)省運算內(nèi)存的作用,那么pytorch的inplace字段怎么用呢?接下來小編就帶你來了解一下!

例如

torch.nn.ReLU(inplace=True)
inplace=True

表示進行原地操作,對上一層傳遞下來的tensor直接進行修改,如x=x+3;

inplace=False

表示新建一個變量存儲操作結(jié)果,如y=x+3,x=y;

inplace=True

可以節(jié)省運算內(nèi)存,不用多存儲變量。

補充:PyTorch中網(wǎng)絡(luò)里面的inplace=True字段的意思

在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

inplace=True的意思是進行原地操作,例如x=x+5,對x就是一個原地操作,y=x+5,x=y,完成了與x=x+5同樣的功能但是不是原地操作。

上面LeakyReLU中的inplace=True的含義是一樣的,是對于Conv2d這樣的上層網(wǎng)絡(luò)傳遞下來的tensor直接進行修改,好處就是可以節(jié)省運算內(nèi)存,不用多儲存變量y。

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

小結(jié)

以上就是pytorch的inplace字段怎么用的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持W3Cschool



0 人點贊