典型的統計問題

在現實世界的問題中，不確定性是普遍的。但是統計是唯一科學的分支，系統性的努力去處理這些不確定性。對這些因受限於訊息而有不確定性的問題，統計是適用的: 統計目的不是去除不確定性，在許多案例中它僅僅是去量化它，在分析完成後不確定性還是不會消失。
.
範例: 阿斯匹靈數據

 在一個對低劑量阿斯匹靈對健康個人預防的好處研究中，對總共有 22,071 的健康的人隨機的安置於阿斯匹靈或安慰劑組，平均追蹤 5 年。在追蹤期間心臟病或中風的數據如下:

          Group      Heart     Strokes        Total
                          attacks
         Aspirin        139          119      11,037
         Placebo       239            98      11,034
         Total           378           217      22,071

主要的醫學問題是統計的: 阿斯匹靈有好處嗎?  明顯的在阿斯匹靈組有較少的心臟病 139 對 239。但是我們面對相同問題:  這證據有足夠強到我們有信心回答這問題嗎?  中風的副作用在阿斯匹靈組是較大的，雖然 119 比 98  不像它的好處那樣令人信服。

假設我們表達阿斯匹靈的好處以相對風險:

139/11037
--------------- = 0.58
239/11034

相對風險 1 代表阿斯匹靈沒有好處，而相對風險遠小於 1 代表阿斯匹靈有好處。然而  0.58 是足夠小於 1 嗎? 回答如此的問題需要一個隨機模型來描寫我們所觀察的數據。在這個範例中，我們對在阿斯匹靈組的心臟病數以 binomial(theta1) 進行建模，在安慰劑組的心臟病數以 binormial(theta2) 。因此，真正的相對風險就是 theta = theta1/theta2。

讓我們用 0.58 來表示這觀察到的相對風險。這數字沒有不確定性，所以不能用它來回答原來問題中的統計本質。是否這實驗包含這樣的訊息 -  theta 是遠小於 1?

現在我們假設這個研究實驗擴大 10 倍，所以也假設有相同的事件比例，也就是我們觀察到 1390 比 2390 的心臟病。然後相對風險 theta 還是 0.58。 但直覺上，訊息現在應該比較強了吧。

所以，也必需包含一些對 theta 精準度的量測數據，由此我們可用來評估遠離 1 的信心。

如此，現在接下來我們可以陳述統計推論的基本問題:  如何由觀測數據到對我們有興趣參數進行陳述呢?

From: In All Likelihood: Statistical Modelling and Inference Using Likelihood

 

留言

張貼留言

這個網誌中的熱門文章

標準差與 Wald 統計量

圖片
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...
閱讀完整內容

可能性比檢定(Likelihood ratio test)

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。
閱讀完整內容

Wold Decomposition Theorem

圖片
在一些介紹 ARIMA 的文章或書中，你偶爾會讀到 Wold Decomposition Theorem。去查文獻你可能會看到一堆公式，在不知所云之下就放棄了。 事實上與 Wold Decomposition Theorem 最有關係的是 MA process。 Wold Decomposition Theorem 以簡化的說，這是說任何 stationary process 可以表示成兩類型的 processes 的和: 一個是 non-deterministic 另一個是 deterministic。一個 process 稱為 deterministic (或 singular) 是當此 process 可以被一個線性回歸依據過去的值(甚至無法取得最近的值)所正確的預測。一個 process 稱為 non-deterministic( regular 或 stochastic) 是當一個線性回歸依據過去的值對預測是無用的。 這理論與 MA processes 連結如下: 這 Wold decomposition 的 non-deterministic 部份可以表示成一個 MA process 有可能有無限項並需要連續 Z-t 序列的是 uncorrelated 而不是 independent (如一些作者定義 MA processes 需要)。 任何 stationary non-deterministic 時間序列正式地可以表示這種形式， 上式 psi0 = 1 同時 psi1*psi1 + psi2*psi2+ ... <  Inf  {Z-t}  表示一個純的 random process( 或 uncorrelated white noise) 有 mean 0 與常數 variance (它與 process 的 deterministic 部分無關連)。  所謂 {Zt} 是用最佳的線性預測子來做預測的時候所產生的 one-step-ahead 預測誤差， {Zt} 有時稱作 innovations。上式是一個 MA(∞) process，它通常稱作 process 的 Wold representation。它有時也叫做一個 linear process 或 general linea...
閱讀完整內容