時間序列中的預測原則

1. 基於條件期望值的預測:  Y(t+1)  預測值為 t 時可以得到的所有資訊所構成  X(t)*，其好壞的評判，是基於 loss function :  

                         Mean Square Error(MSE) = (Y(t+1) - g(X(t)*))^2 的期望值

在此的評判的條件下，當 g(X(t)*) = E[Y(t+1)|X(t)*] 時的 MSE 為最小。故 Y(t+1)  的最佳預測為 E[Y(t+1)|X(t)*]

2. 基於線性投影的預測: 將預測值限定為上述 X(t)* 的線性函數: g(X(t)*) = a' X(t) ，且假設我們找到一個 a 可使得預測誤差 Y(t+1) - a'X(t) 與 X(t) 是線性不相關的，也就是 E[(Y(t+1) - a'X(t)) X(t)'] = 0' 。如果上述成立，則 a' X(t) 就叫做 Y(t+1) 在 X(t) 上的線性投影 。

問題: 在  X(t) 上的線性投影會是有最小的 MSE 嗎?  會的。

因為 MSE = E[ (Y(t+1) - g'X(t))^2] = E[(Y(t+1) - a'X(t) + a'X(t) - g'X(t))^2]

                                              = E[(Y(t+1) - a'X(t))^2]+2E[(Y(t+1) - a'X(t))(a'X(t) - g'X(t))]+E[(a'X(t) - g'X(t))^2] 

                                              = E[(Y(t+1) - a'X(t))^2]+E[(a'X(t) - g'X(t))^2] 

則當 g'X(t) = a'X(t) 有最小值。a'X(t) 為 Y(t+1) 在 X(t) 上的線性投影，同時MSE 為最小。

線性投影可用符號:  P[Y(t+1)|X(t)] = a'X(t)。

基於線性投影的預測的 MSE >= 基於條件期望值的預測的 MSE 

因為條件期望值的預測是所有可能的預測 g(X(t)) 而線性投影的預測限制泛圍在 線性函數 a'X(t)。

 引用自 James D. Hamilton - Time Series Analysis