統計問題與模型


隨機元素

在統計問題中，有明顯的隨機元素無法以算術法則處理。以交通為例，我們直覺上接受有不同的意外事故或隨機事件會造成死亡數的增加；事實上如果這兩個數字完全相同我們可能會驚訝。因此，統計方法需要隨機模型去處理這方面的問題。而這些模型與方法的發展是統計的數學或演譯面向。

雖然模型的數學操作是精確沒有疑義的，但模型的選擇本身卻是不確定的。記住這一點很重要，因為大部份統計分析的正確性是建立在模型是正確的條件下。

這是權衡 - 我們分析時需要一些模型(尤其當只有稀疏的數據時)來處理，但錯誤的模型卻會導致錯誤的結論。

歸納的過程

統計問題是歸納的: 他們處理的問題是由觀察特定現實的結果所產生的。這些現實通常是由某個實驗或研究的產出。這些問題典型是較觀察值本身更加一般化: 他們問一些不是直接觀察到的，而是以某種方式含在這些觀測數據中。我們說我們由數據"推測"某些事情。以交通死亡數為例，在說明解釋產生隨機不同的意外事故之後，我們想要去比較的潛在事故/死亡率。

如在數學上的歸納問題，有時只有需要一些部份的可獲得訊息用來建立新理論。在一個演譯問題上，為了推導主要結論必須使用所有數據，無法接受略掉任何部份的數據。與統計推斷有某些相似之處的歸納問題是法庭審判 - 確定被告有罪或無罪。證人發誓說“真理，全部真理，只有真理”體現了歸納過程的要求。


統計不確定有兩類:
1. 隨機的不確定: 包含固定參數與隨機結果的不確定性。關於參數的不確性一般可以用進行大量的實驗來降低。許多在統計推論上的概念都是處理這種不確定性，如樣本分布、變異、信心水準、p-value 等。


2. 歸納的不確定: 歸咎於訊息的不完整，因為我們可能不能量化或控制這類的不確定性，這種是較困難處理。

數學上來說，我們可以視隨機不確定性是在一個所假設的模型上的條件下而存在的。在模型內的數學是完全精確的而且是在統計學家的控制當中。然而，模型選擇的本身卻帶有歸納的不確定性，這不只不能精確而且統計學家也無法掌握。

這兩類型的不確定性尤其在大的數據集時會被放大。隨機的不確定性變得比較不重要，而歸納的不確定性變得非常重要:  如

我們選對模型類別了嗎?
我們可以一般化我們在數據中的發現嗎?
我們已考慮或量測所有相關的變數嗎?
我們問對問題了嗎?

給定一數據，依它們被收集的方式，通常有一些不確定，如它的變數定義、問題的用字與順序、樣本的代表性等等。

from In All Likelihood: statistical modeling

留言

張貼留言

這個網誌中的熱門文章

標準差與 Wald 統計量

圖片
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...
閱讀完整內容

可能性比檢定(Likelihood ratio test)

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。
閱讀完整內容

Wold Decomposition Theorem

圖片
在一些介紹 ARIMA 的文章或書中，你偶爾會讀到 Wold Decomposition Theorem。去查文獻你可能會看到一堆公式，在不知所云之下就放棄了。 事實上與 Wold Decomposition Theorem 最有關係的是 MA process。 Wold Decomposition Theorem 以簡化的說，這是說任何 stationary process 可以表示成兩類型的 processes 的和: 一個是 non-deterministic 另一個是 deterministic。一個 process 稱為 deterministic (或 singular) 是當此 process 可以被一個線性回歸依據過去的值(甚至無法取得最近的值)所正確的預測。一個 process 稱為 non-deterministic( regular 或 stochastic) 是當一個線性回歸依據過去的值對預測是無用的。 這理論與 MA processes 連結如下: 這 Wold decomposition 的 non-deterministic 部份可以表示成一個 MA process 有可能有無限項並需要連續 Z-t 序列的是 uncorrelated 而不是 independent (如一些作者定義 MA processes 需要)。 任何 stationary non-deterministic 時間序列正式地可以表示這種形式， 上式 psi0 = 1 同時 psi1*psi1 + psi2*psi2+ ... <  Inf  {Z-t}  表示一個純的 random process( 或 uncorrelated white noise) 有 mean 0 與常數 variance (它與 process 的 deterministic 部分無關連)。  所謂 {Zt} 是用最佳的線性預測子來做預測的時候所產生的 one-step-ahead 預測誤差， {Zt} 有時稱作 innovations。上式是一個 MA(∞) process，它通常稱作 process 的 Wold representation。它有時也叫做一個 linear process 或 general linea...
閱讀完整內容