方差:方差描述了訓練模型不同叠代階段訓練數據預測值的波動(或離散情況)。從數學的角度,可以理解為對每個預測值與預測平均值之差的平方和進行重新平均。通常在深度學習訓練中,初始階段模型不復雜,方差低;隨著訓練量的增加,模型逐漸擬合訓練數據,復雜度開始變高,方差也會逐漸變高。
[1],低偏差,低方差:這是訓練的理想模型。此時藍點集合基本落在靶心內,數據離散度小,基本在靶心內;
[2],低偏差,高方差:這是深度學習面臨的最大問題,過擬合。也就是說,模型過於接近訓練數據,導致其泛化(或概括)能力較差。如果符合測試集,其準確率會急劇下降。
[3],高偏差,低方差:這往往是訓練的初始階段;
[4],高偏差,高方差:這是訓練最差的情況,精度差,數據離散性差。