Tree Boosting 演算法

Tree Boosting 是指 base classifier/model 用  tree 來進行 boosting。一般最佳化的數值方法有牛頓與降階來找尋最小風險。所以下面兩演算法來算 booting tree:

1. 牛頓 boosting 演算法:

2. 降階 boosting 演算法:




留言

張貼留言

這個網誌中的熱門文章

標準差與 Wald 統計量

圖片
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...
閱讀完整內容

可能性比檢定(Likelihood ratio test)

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。
閱讀完整內容

Wold Decomposition Theorem

圖片
在一些介紹 ARIMA 的文章或書中，你偶爾會讀到 Wold Decomposition Theorem。去查文獻你可能會看到一堆公式，在不知所云之下就放棄了。 事實上與 Wold Decomposition Theorem 最有關係的是 MA process。 Wold Decomposition Theorem 以簡化的說，這是說任何 stationary process 可以表示成兩類型的 processes 的和: 一個是 non-deterministic 另一個是 deterministic。一個 process 稱為 deterministic (或 singular) 是當此 process 可以被一個線性回歸依據過去的值(甚至無法取得最近的值)所正確的預測。一個 process 稱為 non-deterministic( regular 或 stochastic) 是當一個線性回歸依據過去的值對預測是無用的。 這理論與 MA processes 連結如下: 這 Wold decomposition 的 non-deterministic 部份可以表示成一個 MA process 有可能有無限項並需要連續 Z-t 序列的是 uncorrelated 而不是 independent (如一些作者定義 MA processes 需要)。 任何 stationary non-deterministic 時間序列正式地可以表示這種形式， 上式 psi0 = 1 同時 psi1*psi1 + psi2*psi2+ ... <  Inf  {Z-t}  表示一個純的 random process( 或 uncorrelated white noise) 有 mean 0 與常數 variance (它與 process 的 deterministic 部分無關連)。  所謂 {Zt} 是用最佳的線性預測子來做預測的時候所產生的 one-step-ahead 預測誤差， {Zt} 有時稱作 innovations。上式是一個 MA(∞) process，它通常稱作 process 的 Wold representation。它有時也叫做一個 linear process 或 general linea...
閱讀完整內容