偏差方差分解試圖分解學習算法的期望泛化錯誤率。我們知道，算法在不同的訓練集中得到的結果很可能是不同的，即使這些訓練集來自同壹個分布。對於測試樣本團隊，設y D為數據集中m的標記，y為x的真實標記(註:理論上y=y D，有噪聲時，y會出現！=y D，即錯誤標簽)，f(x；d)為訓練集d學習M上的模型F的預測輸出。以回歸任務為例，學習算法的期望預測為:
復習偏差、方差和噪聲的含義；
偏差的方差分解表明，泛化性能是由學習算法的能力、數據的充分性和學習任務本身的難度決定的。給定學習任務？為了達到良好的泛化性能，需要使偏差小，即完全擬合數據，使方差小，即使數據擾動的影響小。
壹般來說？偏差和方差之間存在沖突，稱為偏差-方差困境。給定學習任務，假設我們可以控制學習算法的訓練程度，訓練不足時學習者的擬合能力不夠強，訓練數據的擾動不足以讓學習者產生顯著的變化，此時偏差主導泛化錯誤率；隨著訓練的深入，學習者的擬合能力逐漸增強，訓練數據的擾動可以被學習者逐漸學會，方差逐漸主導泛化錯誤率；經過充分的訓練，學習者的擬合能力是很強的，訓練數據的輕微擾動都會導致學習者發生顯著的變化。如果訓練數據的非全局特征是由學習者學習的，那麽它將會過擬合。
參考:
“機器學習”周誌華