標準差與 Wald 統計量
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢?
在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有:
在 normal mean 模型，就有一個確切的有信心水準的信賴區間
或去計算 Wald 信賴區間。例如 Wald 對 theta 95% 信心水準的信賴區間就是:
在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量有一個確切標準的 normal 分布。而在非 normal 模型的情況下也會趨近如此結果。一個大的 |z| 伴隨著一個低可能性的 H0: theta = theta0。 例如，|z| > 2 就伴隨著可能性小於 15% [這裡的可能性是指 theta為 theta0 的可能性] 或 P-值小於 5% [否決 H0: theta = theta0]
那如果此 log-likelihood function 與二次相距甚遠會如何? 看下圖:(實線為 likelihood function; 點為二次曲線)
由一個可能性的觀點此 Wald 區間是有缺點的，因為它包含了那些在實際區間之外有較低可能性的值。
Wald 區間可能可以被稱為基於 MLE 的區間。說明白點，基於 {theta | L(theta)/L(theta-hat) > c}的信賴區間將稱為基於可能性的信賴區間。
Wald 區間通常使對稱的，但基於可能性的區間可能是非對稱。 計算上，Wald 區間比基於 likelihood 的區間容易許多。假如此 likelihood function 是 regular，上述兩區間會很像。但是如果不像，基於可能性的信賴區間是更可取的。所以如果可以拿得到基於可能性的區間，我們通常會報告這個區間。
在 binomial 例子，有 n = 10 同時 x = 8 ， 此二次曲線趨近很糟。 此 theta-hat 的標準差是 I(theta-hat)^(1/2) = 1/(62.5)^0.5 = 0.13，如此 Wald 95% 信心水準的信賴區間是 0.8 ± 1.96*0.13
給定 0.55 < theta < 1.05 ，很明顯是不合適的。而對 n = 100 ，theta 的標準差就是 I(theta-hat)^-0.5 = 1/(625)^0.5 = 0.04，這裡我們就有一個較好的二次曲線趨近，Wald 95% 信心水準的信賴區間是: 0.8 ± 1.96*0.04 或 0.72 < theta < 0.88 [相較於確切的基於可能性的區間 0.72 < theta < 0.87 是相當接近了]
為了使用 "MLE{標準差}"來代表 likelihood function ，我們是否總是應該檢查此 likelihood function 使否為 regular 呢? 原則上，是的。但實際上我們知道某些問題或某些參數往往較其它有較好的特點。通常建議對不熟的問題畫出它的 likelihood function。這也就是為何我們固定對我們例子顯示它們的 likelihood function。而當稀疏數據或當參數估計值接近邊界值時，對機率參數如 0 或 1，二次趨近不是洽當的。而報告出勝率的標準差或相關係數幾乎從來沒有意義過。
From: In All Likelihood: Statistical Modeling and Inference
在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有:
Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2
如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於:
theta-hat ± - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)
Prob(chi-squared < -2log(c))
例如: theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。
在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。
也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。
z = (theta-hat - theta0)/se(theta-hat)
theta-hat ± 1.96*se(theta-hat)
那如果此 log-likelihood function 與二次相距甚遠會如何? 看下圖:(實線為 likelihood function; 點為二次曲線)
由一個可能性的觀點此 Wald 區間是有缺點的，因為它包含了那些在實際區間之外有較低可能性的值。
Wald 區間可能可以被稱為基於 MLE 的區間。說明白點，基於 {theta | L(theta)/L(theta-hat) > c}的信賴區間將稱為基於可能性的信賴區間。
Wald 區間通常使對稱的，但基於可能性的區間可能是非對稱。 計算上，Wald 區間比基於 likelihood 的區間容易許多。假如此 likelihood function 是 regular，上述兩區間會很像。但是如果不像，基於可能性的信賴區間是更可取的。所以如果可以拿得到基於可能性的區間，我們通常會報告這個區間。
在 binomial 例子，有 n = 10 同時 x = 8 ， 此二次曲線趨近很糟。 此 theta-hat 的標準差是 I(theta-hat)^(1/2) = 1/(62.5)^0.5 = 0.13，如此 Wald 95% 信心水準的信賴區間是 0.8 ± 1.96*0.13
給定 0.55 < theta < 1.05 ，很明顯是不合適的。而對 n = 100 ，theta 的標準差就是 I(theta-hat)^-0.5 = 1/(625)^0.5 = 0.04，這裡我們就有一個較好的二次曲線趨近，Wald 95% 信心水準的信賴區間是: 0.8 ± 1.96*0.04 或 0.72 < theta < 0.88 [相較於確切的基於可能性的區間 0.72 < theta < 0.87 是相當接近了]
為了使用 "MLE{標準差}"來代表 likelihood function ，我們是否總是應該檢查此 likelihood function 使否為 regular 呢? 原則上，是的。但實際上我們知道某些問題或某些參數往往較其它有較好的特點。通常建議對不熟的問題畫出它的 likelihood function。這也就是為何我們固定對我們例子顯示它們的 likelihood function。而當稀疏數據或當參數估計值接近邊界值時，對機率參數如 0 或 1，二次趨近不是洽當的。而報告出勝率的標準差或相關係數幾乎從來沒有意義過。
From: In All Likelihood: Statistical Modeling and Inference
留言
張貼留言