不變性原則

可能性函式代表一個固定參數的不確定性，但它不是一個機率的密度函式。 那如何處理參數轉換呢?  我們將會假設一個一對一轉換，但這想法能普遍適用。在第一個 binormial 例子中有 n = 10 同時 x = 8，此theta1 = 0.8 vs theta1 = 03 的可能性比為:

L( theta1 = 0.8 )      (0.8)^8*(1 - 0.8)^2
-------------------  =  ------------------------- = 208.7
L( theta1 = 0.3 )      (0.3)^8*(1 - 0.3)^2 

i.e. 在給定的數據之下，theta 為 0.8 是比 theta 為 0.3 大約多 200 倍的可能。 

假設我們對將  theta 表示成 logit 度量有興趣，如:
                       theta
phi =  log { ------------- } ,
                     1 - theta

因此，直覺上我們關於 phi = phi1  = log (0.8/0.2) = 1.39 vs. phi=phi2 = log(0.3/0.7)= -0.85  相對訊息應該是:

L*(phi1)       L(theta1)
------------ = -------------= 208.7
L*(phi2)       L(theta2)

那也就是，我們的訊息對參數化(參數轉換)的選取應該是有不變性。

這在貝氏公式並非如此。 假設 theta 有一個無訊息的先驗函式; 後驗函式即為

f(phi|x) = f(theta(phi)|x) * | partial theta/partial phi |

                                                 exp(phi)
             = f(theta(phi) | x) * -------------------
                                             ( 1 + exp(phi) )^2

在此新 phi 度量關於 phi1 與 phi2 相對訊息現在等於

 f(phi1|x)       L(theta1)       exp(phi1) * ( 1 + exp(phi2))^2
------------ = ------------- * ----------------------------------------
 f(phi2|x)       L(theta2)       exp(phi2) * ( 1 + exp(phi1))^2

                 = 208.7 * 0.81 = 169.0

因此，可能性比的不變性性質與貝氏安排給參數一機率分布的習慣不相容。

假如不知道 theta 會在哪邊，自然我們不應該會知道 log { theta / (1-theta) } 或 theta^2 或 1/theta 會在哪邊。這似乎是合理的。換句話說，無論我們如何對問題建模，我們應該對參數是一樣無知才對。 但在貝氏的世界中，這不是真的。假如我們假設 theta 均勻的在 0 與 1 之間，則 theta^2 比起 1 而言，它是較可能接近 0。

注意可能性比的不變性性質非是一個反覆抽樣原則的意涵，故它不是一個頻率學派的必要條件。無論如何，毫無疑問頻率學派接納不變性。這與頻率學派拒絕接受對一個固定參數有分布的實際情況，故對為參數轉換所導致的一個 Jacobian 項並沒有意義。

站在貝氏的立場，真實地有些真理的成分。去想大家對於機率未知參數 theta, 但已知它在 0 與 1 之間，就像我們是在 theta^100 都一樣無知，這件事似乎迂腐。 我可能會打賭後者會比 1 相較更靠近 0 ( 假如 100 次方對您而言還不夠，那就讓它是 1000 或是 10000), 因此這就違反不變性原則。 唯一的方式去符合轉換之後無知程度的變化程度是採用一個參數的機率密度(成為一個成熟的貝氏學派)

無論如何，失去可能性比的不變性將是在實際上的重要損失:

- 首先，我們將損失 MLE 的不變性
- 每一參數化(轉換)的可能性可能伴隨需要一個 Jacobian 項。這項就必須要由一個先驗密度開始接下來的推導來計算。
- 我們就被迫要明著指定一個先驗密度

單就這些理由可能就足以將不變性的實用價值給正當合理化。不管如何，可能性比的不變性應該只視為一方便的公理而不只是一個自證的真理。

(這些討論不能套在隨機效應上，哪裡一個參數能有一個客觀的分布。這裡可能性的不變性是不需要的，因為可能性可以作用得像一個密度)

Reference: In All Likelihood: Statistical modeling and Inference.



留言

張貼留言

這個網誌中的熱門文章

標準差與 Wald 統計量

圖片
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...
閱讀完整內容

可能性比檢定(Likelihood ratio test)

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。
閱讀完整內容

Wold Decomposition Theorem

圖片
在一些介紹 ARIMA 的文章或書中，你偶爾會讀到 Wold Decomposition Theorem。去查文獻你可能會看到一堆公式，在不知所云之下就放棄了。 事實上與 Wold Decomposition Theorem 最有關係的是 MA process。 Wold Decomposition Theorem 以簡化的說，這是說任何 stationary process 可以表示成兩類型的 processes 的和: 一個是 non-deterministic 另一個是 deterministic。一個 process 稱為 deterministic (或 singular) 是當此 process 可以被一個線性回歸依據過去的值(甚至無法取得最近的值)所正確的預測。一個 process 稱為 non-deterministic( regular 或 stochastic) 是當一個線性回歸依據過去的值對預測是無用的。 這理論與 MA processes 連結如下: 這 Wold decomposition 的 non-deterministic 部份可以表示成一個 MA process 有可能有無限項並需要連續 Z-t 序列的是 uncorrelated 而不是 independent (如一些作者定義 MA processes 需要)。 任何 stationary non-deterministic 時間序列正式地可以表示這種形式， 上式 psi0 = 1 同時 psi1*psi1 + psi2*psi2+ ... <  Inf  {Z-t}  表示一個純的 random process( 或 uncorrelated white noise) 有 mean 0 與常數 variance (它與 process 的 deterministic 部分無關連)。  所謂 {Zt} 是用最佳的線性預測子來做預測的時候所產生的 one-step-ahead 預測誤差， {Zt} 有時稱作 innovations。上式是一個 MA(∞) process，它通常稱作 process 的 Wold representation。它有時也叫做一個 linear process 或 general linea...
閱讀完整內容