一步步透視 GBDT Regression Tree
TL;DR
訓練完的 GBDT 是由多棵樹組成的 function set $f_1(x), …,f_{M}(x)$
- $F_M(x) = F_0(x) + \nu\sum^M_{i=1}f_i(x) $
訓練中的 GBDT,每棵新樹 $f_m(x)$ 都去擬合 target $y$ 與 $F_{m-1}(x)$ 的 $residual$,也就是 $\textit{gradient decent}$ 的方向
- $F_m(x) = F_{m-1}(x) + \nu f_m(x)$