理解 GBM 相關的關隘

下列就是為何針對殘差使用 CART 方法的原因:

-------------------------------------------------------------------------------------------------

一個函數對函數的求導不好理解，而且通常都無法通過上述公式直接求解 到梯度函數gi。為此，採取一個近似的方法，把函數Fi−1理解成在所有樣本上的離散的函數值，即: 

                                      [Fi−1 (x1),Fi−1 (x2),...,Fi−1 (xN)]

不難理解，這是一個 N 維矢量，然後計算

這是一個函數對矢量的求導，得到的也是一個梯度矢量。注意，這裏求導時的變量還是函數F，不是樣本xk。

嚴格來説 ĝi(xk) for k = 1,2, ... , N 只是描述了gi在某些個別點上的值，並不足以表達gi，但我們可以通過函數擬合的方法從ĝi(xk) for k = 1,2, ... , N 構造gi，這樣我們就通過近似的方法得到了函數對函數的梯度求導。

------------------------------------------------------------------------------------------