1.1
使用相同樣本數的不同訓練集產生的方差為:
1.2
噪音是:
1.3
預期輸出和實際標記之間的差異稱為偏差，即:
1.4
假設噪聲的期望，算法的期望泛化誤差被分解為:
1.5
因為它獨立於，因此:
因此
1.6
所以期望的泛化誤差等於方差加偏差加噪聲。
假設壹個集成學習器由壹個弱學習器通過加權平均形成，完成回歸學習任務。對於樣本，弱學習者的歧義被定義為:
2.1
集成差異是:
2.2
個體學習者對樣本的平方誤差為:
2.3
那麽集合學習者對樣本的平方誤差是:
2.4
弱學習者的加權平均誤差為:
，然後:
？
因為，所以:
因此
整理:
2.5
2.6
即集成學習者的誤差等於個體學習者的平均誤差減去集成散度，說明好的集成學習者要求個體學習者好而不同，“好”意味著個體學習者的誤差低，“不同”意味著個體學習者的散度大。
參考:
“機器學習”周誌華
“統計學習方法”李航