Resample - 改變時間序列的顆粒度

Python 的 pandas 套件內提供一個 resample 函式在處理這種事情，你可先參考:

https://machinelearningmastery.com/resample-interpolate-time-series-data-python/

知道它大概做什麼。然後你會發現，resample 的第一個參數有點陌生，它用來表示目標顆粒度的轉換 (the offset string or object representing target conversion): 這些顆粒度的表示法如下:
AliasDescription
Bbusiness day frequency
Ccustom business day frequency
Dcalendar day frequency
Wweekly frequency
Mmonth end frequency
SMsemi-month end frequency (15th and end of month)
BMbusiness month end frequency
CBMcustom business month end frequency
MSmonth start frequency
SMSsemi-month start frequency (1st and 15th)
BMSbusiness month start frequency
CBMScustom business month start frequency
Qquarter end frequency
BQbusiness quarter end frequency
QSquarter start frequency
BQSbusiness quarter start frequency
A, Yyear end frequency
BA, BYbusiness year end frequency
AS, YSyear start frequency
BAS, BYSbusiness year start frequency
BHbusiness hour frequency
Hhourly frequency
T, minminutely frequency
Ssecondly frequency
L, msmilliseconds
U, usmicroseconds
Nnanoseconds

又有

AliasDescription
W-SUNweekly frequency (Sundays). Same as ‘W’
W-MONweekly frequency (Mondays)
W-TUEweekly frequency (Tuesdays)
W-WEDweekly frequency (Wednesdays)
W-THUweekly frequency (Thursdays)
W-FRIweekly frequency (Fridays)
W-SATweekly frequency (Saturdays)
(B)Q(S)-DECquarterly frequency, year ends in December. Same as ‘Q’
(B)Q(S)-JANquarterly frequency, year ends in January
(B)Q(S)-FEBquarterly frequency, year ends in February
(B)Q(S)-MARquarterly frequency, year ends in March
(B)Q(S)-APRquarterly frequency, year ends in April
(B)Q(S)-MAYquarterly frequency, year ends in May
(B)Q(S)-JUNquarterly frequency, year ends in June
(B)Q(S)-JULquarterly frequency, year ends in July
(B)Q(S)-AUGquarterly frequency, year ends in August
(B)Q(S)-SEPquarterly frequency, year ends in September
(B)Q(S)-OCTquarterly frequency, year ends in October
(B)Q(S)-NOVquarterly frequency, year ends in November
(B)A(S)-DECannual frequency, anchored end of December. Same as ‘A’
(B)A(S)-JANannual frequency, anchored end of January
(B)A(S)-FEBannual frequency, anchored end of February
(B)A(S)-MARannual frequency, anchored end of March
(B)A(S)-APRannual frequency, anchored end of April
(B)A(S)-MAYannual frequency, anchored end of May
(B)A(S)-JUNannual frequency, anchored end of June
(B)A(S)-JULannual frequency, anchored end of July
(B)A(S)-AUGannual frequency, anchored end of August
(B)A(S)-SEPannual frequency, anchored end of September
(B)A(S)-OCTannual frequency, anchored end of October
(B)A(S)-NOVannual frequency, anchored end of November
例如:

resample("QS-JUN")

quarterly start frequency, year ends in June

留言

張貼留言

這個網誌中的熱門文章

標準差與 Wald 統計量

圖片
可能性或信賴區間對 MLE 是有用的添補，認可了在一個參數 theta 的不確定性; 它比 likelihood function 更簡單。前面我們也提過 observed Fisher Information : I(theta) 也是 MLE 的添補。那麼它與基於可能性的區間的關係為何呢? 在 regular 的情形下，log-likelihood 的二次趨近運作良好， I(theta) 是有其意義的。這時我們有: Log(L(theta)/L(theta-hat)) ~ -1/2*I(theta-hat)(theta-theta-hat)^2 如此，可能性區間 { theta | L(theta)/L(theta-hat) > c } 就可趨近於: theta-hat  ±  - (-2*log(c))^(1/2)(I(theta-hat))^(-1/2)  在 normal mean 模型，就有一個確切的有信心水準的信賴區間 Prob(chi-squared < -2log(c)) 例如:  theta-hat ± - 1.96 * I(theta-hat)^(1/2) 是一個確切的有 95% 信心水準的信賴區間。  在非 normal 的情況下，如上篇提到的有一 95%信心水準的信賴區間。注意: 設置此區間涉及兩層的趨近: log-likelihood 的二次趨近(I(theta-hat)與信心水準(Willk's) 的趨近。 也可與 normal mean 模型類比，一般 (I(theta-hat))^(-1/2) 提供了 theta-hat 的標準差訊息。常例以 'MLE{標準差}'一對的形式來報告。它主要用途是用 Wald 統計量來檢定 H0: theta = theta0。 z = (theta-hat - theta0)/se(theta-hat) 或去計算 Wald 信賴區間。例如 Wald 對 theta  95% 信心水準的信賴區間就是:  theta-hat ± 1.96*se(theta-hat) 在 normal mean 模型，在 H0 條件下，這個 Wald z 統計量...
閱讀完整內容

可能性比檢定(Likelihood ratio test)

直接使用 likelihood  來做假設檢定，例如去檢定一個 Null hypothesis: H0: theta = theta0，我們可以以報告 H0 的可能性 likelihood 作為 theta0 標準化過的可能性 likelihood : L(theta0)/L(theta-hat) 我們能夠去 reject H0，宣告數據不支持它，假如它的可能性是太小，意味著有其它被數據有多很多支持的假設。多小才算太小就留給主觀判斷，它可依應用情況或其它可能包含先驗知識的來考量。 在法庭的許多情況，對 "被告是無辜的" 的假設，在我們可以否決它之前，可能設定它在低可能性的水準，與此同時 "經基因工程的食物沒有副作用" 的假設可以更輕而易舉的被否決。 無論如何，可能性測定的議題在這裡也是有關係的，如先說一個 5% 的可能性，這可能沒有一個固定的意義。 在正常的一個參數的問題中，可以拿到一個藉著 Wilk's statistic 的分布，基於機率測定所產生的 P-值。由之前的例子，察看到 L(theta0)/L(theta-hat) = c，P值的趨近值是 P( chi-squared > -2 log(c)  這展示出在可能性比(likelihood ratio) 與 P-值間通常有些關係，如此 P-值用到的時機就是用它來做為支持度的量測。無論如何，因為 P-值會依賴實驗的樣本空間，故這關係會視實驗而定。雖然 P-值一直以來受到一些統計學家的批評，但它在實務上還是受到廣泛的使用，它似乎不太可能消失。 在 non-regular 的問題中，我們不知道如何去測定可能性，我們可能必須使用純可能性比(likelihood ratio)作為支持度的量測。當沒有基於機率推論的正當理由時，這個與純可能性區間(likelihood intervals)的使用一致。例如說，去檢定 theta = 0.5， 而如何去定義此檢定的一 P-值不是很清楚時。另外的例子是一般在檢定統計量的分布為非對稱的情況下: 確切兩邊的 P-值是模擬兩可，此時就可能有好幾個角逐的定義。
閱讀完整內容

Wold Decomposition Theorem

圖片
在一些介紹 ARIMA 的文章或書中，你偶爾會讀到 Wold Decomposition Theorem。去查文獻你可能會看到一堆公式，在不知所云之下就放棄了。 事實上與 Wold Decomposition Theorem 最有關係的是 MA process。 Wold Decomposition Theorem 以簡化的說，這是說任何 stationary process 可以表示成兩類型的 processes 的和: 一個是 non-deterministic 另一個是 deterministic。一個 process 稱為 deterministic (或 singular) 是當此 process 可以被一個線性回歸依據過去的值(甚至無法取得最近的值)所正確的預測。一個 process 稱為 non-deterministic( regular 或 stochastic) 是當一個線性回歸依據過去的值對預測是無用的。 這理論與 MA processes 連結如下: 這 Wold decomposition 的 non-deterministic 部份可以表示成一個 MA process 有可能有無限項並需要連續 Z-t 序列的是 uncorrelated 而不是 independent (如一些作者定義 MA processes 需要)。 任何 stationary non-deterministic 時間序列正式地可以表示這種形式， 上式 psi0 = 1 同時 psi1*psi1 + psi2*psi2+ ... <  Inf  {Z-t}  表示一個純的 random process( 或 uncorrelated white noise) 有 mean 0 與常數 variance (它與 process 的 deterministic 部分無關連)。  所謂 {Zt} 是用最佳的線性預測子來做預測的時候所產生的 one-step-ahead 預測誤差， {Zt} 有時稱作 innovations。上式是一個 MA(∞) process，它通常稱作 process 的 Wold representation。它有時也叫做一個 linear process 或 general linea...
閱讀完整內容