pytorch，mxnet的模型有200M，但為什麼做推理時顯存會佔用800M左右？

pytorch，mxnet的模型有200M，但為什麼做推理時顯存會佔用800M左右？

網路在訓練時，除了本身定義的可訓練參數要佔用顯存，還有中間變數（包含梯度）也要佔用顯存。

因為有輸入和中間變數啊。

前向傳播的時候會為反向傳播緩存求導相關中間變數。

如果你只是想做前向傳播，你可以這麼做。

model.eval()

with torch.no_grad():

result = model(input)

你說的那個是參數量，還有輸入輸出呢

考慮方程y=ax+b，a和b是模型，計算時x和y也要佔用顯存。

模型推理過程中顯存的佔用主要是兩方面，一個是模型參數，另一個是模型推理中的中間變數。比如說dense block，下圖中的跨層鏈接，在推理的過程中都會作為中間變數而佔用顯存

&-->