迴歸中的 White Noise

在作迴歸時，一般都會假設其 random shock 或 white noise 是 iid - 彼此獨立且分布相同。但是當迴歸涉及的數據為時間序列時，這些 white noise 通常是 autocorrelated。

當這些 white noise 是 autocorrelative 而我們又沒加以更正時，假如我們直接以 OLS 來估計其係數，會有以下的結果:

1. 每個參數的估計不在是最佳的(不再有最小的變異)
2. 殘差的變異很可能低估
3. R-squared 很可能高估
4. F 與 t 統計量無效
5. 因為 autocorrelation 在殘差中，從公式求得的預測將較不精準(因為我們忽略了在其中的有用資訊)

當殘差中有 autocorrelation 時，我們可用 ARIMA 去模型。將此模型代入迴歸式，將獲得 DR:
( 迴歸的 white noise N_t 被代成 ARIMA 中的 a_t ，a_t 變成此 DR 的 white noise or random shock)

上述的重點在於: 迴歸的 white noise 用一 ARIMA(1,0,1) process 來描述其時間模式。另一種可表示成:

由上式就可以很清楚的看見 a_t 就是 Y_t 減去 DR 配適或預測的 Y_t_hat。上述 DR 的參數我們無法直接用 OLS ，而需要用 MLE 來估計。