App下載

如何解決pytorch訓(xùn)練神經(jīng)網(wǎng)絡(luò)爆內(nèi)存?代碼優(yōu)化!

猿友 2021-07-19 16:01:55 瀏覽數(shù) (5352)
反饋

很多小伙伴可能會(huì)有pytorch訓(xùn)練神經(jīng)網(wǎng)絡(luò)爆內(nèi)存的情況,接下來小編就自身經(jīng)歷來講一講pytorch訓(xùn)練神經(jīng)網(wǎng)絡(luò)爆內(nèi)存要怎么解決吧。

訓(xùn)練的時(shí)候內(nèi)存一直在增加,最后內(nèi)存爆滿,被迫中斷。

爆內(nèi)存

后來換了一個(gè)電腦發(fā)現(xiàn)還是這樣,考慮是代碼的問題。

檢查才發(fā)現(xiàn)我的代碼兩次存了loss,只有一個(gè)地方寫的是loss.item()。問題就在loss,因?yàn)閘oss是variable類型。

要寫成loss_train = loss_train + loss.item(),不能直接寫loss_train = loss_train + loss。否則就會(huì)發(fā)現(xiàn)隨著epoch的增加,占的內(nèi)存也在一點(diǎn)一點(diǎn)增加。

算是一個(gè)小坑吧,希望大家還是要仔細(xì)。

補(bǔ)充:pytorch神經(jīng)網(wǎng)絡(luò)解決回歸問題(非常易懂)

對(duì)于pytorch的深度學(xué)習(xí)框架

在建立人工神經(jīng)網(wǎng)絡(luò)時(shí)整體的步驟主要有以下四步:

1、載入原始數(shù)據(jù)

2、構(gòu)建具體神經(jīng)網(wǎng)絡(luò)

3、進(jìn)行數(shù)據(jù)的訓(xùn)練

4、數(shù)據(jù)測(cè)試和驗(yàn)證

pytorch神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)載入,以MINIST書寫字體的原始數(shù)據(jù)為例:

import torch
import matplotlib.pyplot as  plt
def plot_curve(data):
    fig=plt.figure()
    plt.plot(range(len(data)),data,color="blue")
    plt.legend(["value"],loc="upper right")
    plt.xlabel("step")
    plt.ylabel("value")
    plt.show()
 
def plot_image(img,label,name):
    fig=plt.figure()
    for i in range(6):
        plt.subplot(2,3,i+1)
        plt.tight_layout()
        plt.imshow(img[i][0]*0.3081+0.1307,cmap="gray",interpolation="none")
        plt.title("{}:{}".format(name, label[i].item()))
        plt.xticks([])
        plt.yticks([])
    plt.show()
def one_hot(label,depth=10):
    out=torch.zeros(label.size(0),depth)
    idx=torch.LongTensor(label).view(-1,1)
    out.scatter_(dim=1,index=idx,value=1)
    return out
 
batch_size=512
import torch
from torch import nn                         #完成神經(jīng)網(wǎng)絡(luò)的構(gòu)建包
from torch.nn import functional as F         #包含常用的函數(shù)包
from torch import optim                      #優(yōu)化工具包
import torchvision                           #視覺工具包
import  matplotlib.pyplot as plt
from utils import plot_curve,plot_image,one_hot
#step1 load dataset   加載數(shù)據(jù)包
train_loader=torch.utils.data.DataLoader(
    torchvision.datasets.MNIST("minist_data",train=True,download=True,transform=torchvision.transforms.Compose(
        [torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
         ])),
    batch_size=batch_size,shuffle=True)
test_loader=torch.utils.data.DataLoader(
    torchvision.datasets.MNIST("minist_data",train=True,download=False,transform=torchvision.transforms.Compose(
        [torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
         ])),
    batch_size=batch_size,shuffle=False)
x,y=next(iter(train_loader))
print(x.shape,y.shape)
plot_image(x,y,"image")
print(x)
print(y)

以構(gòu)建一個(gè)簡單的回歸問題的神經(jīng)網(wǎng)絡(luò)為例,

其具體的實(shí)現(xiàn)代碼如下所示:

import torch
import torch.nn.functional as F  # 激勵(lì)函數(shù)都在這
 
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2 * torch.rand(x.size())  # noisy y data (tensor), shape=(100, 1)
 
class Net(torch.nn.Module):  # 繼承 torch 的 Module(固定)
    def __init__(self, n_feature, n_hidden, n_output):  # 定義層的信息,n_feature多少個(gè)輸入, n_hidden每層神經(jīng)元, n_output多少個(gè)輸出
        super(Net, self).__init__()  # 繼承 __init__ 功能(固定)
        # 定義每層用什么樣的形式
        self.hidden = torch.nn.Linear(n_feature, n_hidden)  # 定義隱藏層,線性輸出
        self.predict = torch.nn.Linear(n_hidden, n_output)  # 定義輸出層線性輸出
 
    def forward(self, x):  # x是輸入信息就是data,同時(shí)也是 Module 中的 forward 功能,定義神經(jīng)網(wǎng)絡(luò)前向傳遞的過程,把__init__中的層信息一個(gè)一個(gè)的組合起來
        # 正向傳播輸入值, 神經(jīng)網(wǎng)絡(luò)分析出輸出值
        x = F.relu(self.hidden(x))  # 定義激勵(lì)函數(shù)(隱藏層的線性值)
        x = self.predict(x)  # 輸出層,輸出值
        return x 
 
net = Net(n_feature=1, n_hidden=10, n_output=1) 
print(net)  # net 的結(jié)構(gòu)
"""
Net (
  (hidden): Linear (1 -> 10)
  (predict): Linear (10 -> 1)
)
"""
# optimizer 是訓(xùn)練的工具
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)  # 傳入 net 的所有參數(shù), 學(xué)習(xí)率
loss_func = torch.nn.MSELoss()  # 預(yù)測(cè)值和真實(shí)值的誤差計(jì)算公式 (均方差)
 
for t in range(100):  # 訓(xùn)練的步數(shù)100步
    prediction = net(x)  # 喂給 net 訓(xùn)練數(shù)據(jù) x, 每迭代一步,輸出預(yù)測(cè)值
 
    loss = loss_func(prediction, y)  # 計(jì)算兩者的誤差
 
    # 優(yōu)化步驟:
    optimizer.zero_grad()  # 清空上一步的殘余更新參數(shù)值
    loss.backward()  # 誤差反向傳播, 計(jì)算參數(shù)更新值
    optimizer.step()  # 將參數(shù)更新值施加到 net 的 parameters 上
 
import matplotlib.pyplot as plt 
plt.ion()  # 實(shí)時(shí)畫圖something about plotting 
for t in range(200):
    prediction = net(x)  # input x and predict based on x 
    loss = loss_func(prediction, y)  # must be (1. nn output, 2. target) 
    optimizer.zero_grad()  # clear gradients for next train
    loss.backward()  # backpropagation, compute gradients
    optimizer.step()  # apply gradients
 
    if t % 5 == 0:  # 每五步繪一次圖
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})
        plt.pause(0.1)
 
plt.ioff()
plt.show()

運(yùn)行結(jié)果

以上就是pytorch訓(xùn)練神經(jīng)網(wǎng)絡(luò)爆內(nèi)存的解決方案,希望能給大家一個(gè)參考,也希望大家多多支持W3Cschool



0 人點(diǎn)贊