劉三 格物 鐵雲

可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。

一般而言，我們將一個 likelihood 區間以下面方式解釋: 像一般的信賴區間: 如果一有確切或大樣本的正當理由下。這個涵蓋大部份常規的數據分析所選取的參數會使得 likelihood 是合理的 regular。 像一個純 likelihood 區間: 假如沒有確切 probability-based 的正當理由而且大樣本理論是可疑的時候，這通常涉及小樣本的問題伴隨著非 normal 或複雜的分布，這部份此 likelihood 毫無疑問的是非 regular。當然用它也包含一些像是用 probability-based 解釋起來明顯荒謬的情況，如前篇所舉的例子。 在實際數據分析中，通常有一個不可避免的主觀判斷:承認信心程序目前的主導地位。我們會錯誤在 regularity 這邊，往往報告近似置信區間。因為 likelihood-based 區間對 regularity 的要求是相當寬鬆，所以上述的情況會減輕。 (為了取得一個信心水準，我們需要去做一個額外的關於數據如何在未來的實驗中被收集的假設) From: All In Likelihood: Statistical Modeling and Inference

何時我們使用純 likelihold 區間? 一個 likelihood 區間表示一個符合或被數據所支持的參數值集合。在給定模型情況下，一個 likelihood 區間是一種客觀的區間，在這種意義下，它沒有涉及任何主觀先驗的選取。無論如何，Fisher 是清楚 likelihood 本身只是提供一種相較於 probability-based 而言較弱推論形式。不像信賴區間，一個純 likelihood 區間沒有一種由重複抽樣而來的解釋 - 默默參照到就像實驗大量的被反覆所產生的長期的性質。這些長期性質提供 probability-based 區間一種(潛在)外在的有效度可以推廣普遍的範圍。 像是 likelihood-based 區間這種命名可能令人混淆，因為純 likelihood 區間與傳統 likelihood-based 信賴區間都是由相同的 likelihood function 所衍生出來。事實上，數值上來說它們是相同的。而我們現在這邊討論的是與這個區間有關聯的不確定性。傳統上，獲得它只能藉著機率(或信賴水準)。但由 Fisher支持圈的觀點這也可以藉由 likelihood 給報告出來。 從此以往，一個 likelihood-based 的區間，如果有一個理論上合理的信心水準， 則叫它信賴區間; 否則就叫它 likelihood 區間。大家都知道一般一個信心水準實際上不是針對一個實際的觀察區間，因為它只有在長遠的觀點看才會有意義。 假如我們將一個區間想成是 theta 在哪裡的猜測，一個 95% 正確的機率不能套在某一個各別特別的猜測。 (相比之下，由 likelihood 所提供的不確定的意義之下，它只套用在某一個各別特別的猜測。) 下面是改編自 Berger & Wolpert (1988) 的例子。 某一個人選一個固定的整數，要求你猜這個數基於下面這些數據: 他將投一枚硬幣兩次(但你看不到所投的結果)，同時在每次投幣時，如果是正面他會報 theta + 1；否則他報 theta -1。 因此，數據 X1 與 X2 是 iid 由在 theta+1 與 theta -1 都有相同為 0.5 的機率分布來的樣本。例如，他可能報 X1=5 與 X2 =5。 下面的猜測將有 75% 是正確機率: ...

與方便的同時，純 likelihood 推論有一嚴重的弱點: 它沒有一個外在確定方式來證明切點 c 有理。因為這選出的 c 並沒有參考到任何可以觀察的東西。 一般校準問題與此 likelihood 關連: 一 5% likelihood 沒有一個嚴格的意義(它依賴參數空間的大小)。 相較而言，一個 5% 機率作為一個長期頻率通常是有意義。所以，一種調整 likelihood 的方式是藉由機率。 這是在統計上傳統 likelihood-based 推論。 Fisher 宣稱無論何時只要可能我們應該使用機率 probability-based 推論; 這邊他將有準確信賴區間可獲得的情況與大樣本的情況納入。傳統(頻率學者)的對未知參數 theta 的推論靠的是估計值 theta-hat 的分布理論。 在一般情況下，大樣本理論是必須的。但它在 normal mean 模型下是簡單的。也就是當有 log(L(theta)/L(theta-hat)) ，此時如果 theta-hat 的估計式為 normal 則我們就較容易求得log(L(theta)/L(theta-hat)) 確切的分布。 例如，在 normal mean 模型下， Wilk's likelihood radio = 2log(L(theta-hat)/L(theta)) 就是一個確切的 chi-squared  分布。有確切的分布，我們就可以求取其大於某一切點 c 的機率。這是一個用來校準 likelihood 的關鍵分布理論。對一個未知但為固定的 theta 而言，它的 likelihood 區間 {theta| L(theta)/L(theta-hat) > c} 包含此 theta 的機率就是: Prob( L(theta)/L(theta-hat) > c) = Prob( 2log(L(theta-hat)/L(theta)) < -2log(c))                                          ...

在一般 regular 的條件下，我們簡單呈現 MLE 與它的標準差。在沒有那麼 regular 的情況時，我們可以建構那些仍然被公認還有不確定性的區間，以簡化對 likelihood function 的溝通。 在 Fisher 1973 年的書中提出了，在一些問題中，我們解釋 likelihood function 直接用來溝通關於我們對 theta 的不確定性。這些問題包含無法用精確機率來進行推論，同時樣本太小也會使大樣本得結果不再成立。 一個 likelihood 區間是定義成一包含有足夠高 likelihood 的參數值集合 :  { theta |  L(theta)/L(theta-hat) > c } ，c 為切點; L(theta)/L(theta-hat) 為 normalized likelihood。 在近代幾個作者 Barnard et al. (1962), Sprott (1975,2000), Edwards (1992), Royall (1997) , 與Lindsey (1996, 1999a,b)  都是直接用 likelihood 推論的擁護者。 Fisher 給了一個在binomial 參數情況下的特別例子。如何選擇切點 c 的問題先不討論，但他建議參數值小於 1/15 或 6.7% 的 likelihood 時，明顯的是它們將被嚴重懷疑。這樣的處方只有對數量參數有用，一般而言有調整問題我們需要去處理。 例如: 在 binormal 的例子，哪裡我們觀察 n=10 個裡出現 x=8 次。 theta 的 likelihood 區間在 c = 15% 與 4% 是 (0.50,0.96) 與 (0.41,0.98)。通常此區間沒有任何固定的公式，但是實際上用數值方法是相當容易的找到它。對數量參數，我們就使用格子搜尋來找它。 From: All In Likelihood: Statistical modeling and inference    

上周五下午，同事在執行 SUMAX FE 時，報告它的執行結果有重複輸出的問題。 結果去查 log，哈，log 檔的輸出也亂了。 本來以為是 web server 呼叫 SUMAX 的方式出問題。加班試了幾種執行方式，想避掉這樣的干擾，但結果並不理想。 星期六早上又用一個小時的時間試另一種執行方式，結果可行。所以，我有至少有一個方案可行了 經過兩天的休息的沉澱後... 我腦子有一個想法出來，會不會，問題背後的本質是一樣的 - 全域變數的控制。 所以，今天針對上述問題進行程式碼的調整: 1. 在模組中，將部分全域用傳參數的方式取代。除非不得已，否則不用全域變數。 2. 以 batch id 名稱區隔不同的 logger。 現在，無論將程式直接嵌入或 藉由 cgi 機制執行都有正常的輸出結果與 log 了。 問題發生時，為何沒立刻想到呢?  證據已經如此明顯，都是後見之明說的。  問題發生時，先別忙著找兇手。而是應先仔細直視所有事實。這是絕對必要的，從此出發之後，將這些事實進一步歸類，這對解題將有非常大的幫助。