一步步透視 GBDT Regression Tree

TL;DR

  • 訓練完的 GBDT 是由多棵樹組成的 function set $f_1(x), …,f_{M}(x)$

    • $F_M(x) = F_0(x) + \nu\sum^M_{i=1}f_i(x) $
  • 訓練中的 GBDT,每棵新樹 $f_m(x)$ 都去擬合 target $y$ 與 $F_{m-1}(x)$ 的 $residual$,也就是 $\textit{gradient decent}$ 的方向

    • $F_m(x) = F_{m-1}(x) + \nu f_m(x)$

Golf Boosting