將不同模型的預測值組合起來好嗎 ?
長期以來,將來自多個獨立來源的預測結合在一起被認為是提高預測準確性的一種方法。 Andreas Graefe 及其同事在2014年國際預測期刊上發表的文章“合併預測:應用程序與選舉的結合”中提供了一個很好的總結。他們的結論是“簡單的組合方法是一個最有用的程序預報人員的工具包“,並指出與潛在收益相比,合併成本可能微不足道。在這篇簡短的文章中,Paul Goodwin 研究了合併預測似乎有效的原因。其中(1)不同的模型使用不同的信息,因此組合模型可以從更廣泛的信息中獲得,以及(2)單個模型的偏差可能被抵消,導致更真實的組合預測。Goodwin 還討論了結合預測的替代加權方案。雖然除個別預測的簡單平均數之外,通常不需要採用的其他方法,但他的報告提倡關於權重的 Akaike Information Criteria(AIC)和“修剪的手段”(在平均之前刪除高和低預測值)的研究。
過去四分之一世紀預測研究的主要發現之一是,通過結合來自不同方法或來源的預測,往往可以實現更高的預測準確度。組合可以是一個簡單的過程,就像對不同預測進行簡單平均一樣,在這種情況下,組成預測的權重均等。其他更複雜的技術也是可用的,例如試圖估計應該附加到單個預測的最佳權重,以使那些可能最準確的權重在平均過程中獲得更大的權重。研究人員繼續調查可能對預報人員有用的情況,並比較不同方法對預報結合的準確性。
預測組合和英格蘭銀行統計預測模型套件
George Kapetanios 和他的同事們(Kapetanios et al,2008)最近評估了英格蘭銀行預測數據相結合的潛在優勢,該季度對通貨膨脹和 GDP 增長進行了預測。該銀行有一套可用的不同統計預測方法。
它們包括極其簡單的方法,例如預測等同於最近觀察的 naive(或隨機遊走)方法。該套件中更複雜和更複雜的方法包括自回歸,向量自回歸(VAR),馬爾可夫轉換模型,因子模型和時變係數(time-varying coefficient)模型。研究人員使用兩種不同的方法評估了可用方法的預測結果的價值。第一個涉及對套件中的方法產生的預測進行簡單的平均處理。第二個涉及根據Akaike Information Criteria(AIC)對個人預測進行加權。許多商業預測軟件包報告了AIC,這是一種考慮到模型如何配適過去數據的量測,但也基於其包含的參數數量來懲罰複雜性模型。因此,從比較簡單的模型得出的與過去的觀測結果非常吻合的預測,在平均過程中比那些複雜或較差的擬合模型得到更大的權重。
使用相對均方根誤差(RRMSE)統計量在一個預測期間範圍內上評估了兩種類型的組合預測的準確性。這比較了預測誤差平方和的平方根與基準預測方法的平方根(在這種情況下,基準是自回歸預測)。研究人員報告說,“預測表現令人驚訝... 如果將預測結合起來,而增長和通貨膨脹的最佳預測組合則是基於[Akaike] AIC 的組合。“Kapetanios小組的結論是”統計預測組合對我們感興趣的關鍵宏觀經濟變量產生良好預測“。
最近也有 David Rapach 和 Jack Strauss(Rapach and Strauss,2008)預測美國就業增長的研究報告以及預測美國 GDP的 Jeong-Ryeol Kurz-Kim(Kurz-Kim,2008)生長。後一項研究結合了以不同方式實施的相同方法(自回歸)的預測。
為什麼組合有用?
研究人員提出了一些原因。不同的模型使用不同的訊息集合,並且每個模型都可能表示了對驅動所感興趣變量的過程的不完整視圖。因此,組合預測能夠利用更廣泛的信息。此外,一些組成預測方法可能有偏差,因為他們一貫預測太高或太低。當幾種方法結合使用時,不同方向的偏差可能會相互抵消,從而提高準確性。
修剪的手段
雖然更複雜的基於AIC 的權重在 Kapetanios 等人的研究中表現最好,簡單的平均在這方面在Rapach 和 Strauss的研究中也表現出色。簡單的平均確實有優勢。首先,它很容易實施和解釋。它還避免了需要估計所附加到各預測的最佳權重集 - 在許多實際情況下,可能沒有足夠的數據來可靠地作出這些權重的估計。
然而,簡單均值的缺點是對極端預測值敏感:如果該集合中存在很偏離預測的平均值,則會對綜合預測產生不適當的影響。這導致一些研究人員(例如阿姆斯特朗,2001年)爭辯說,在計算均值之前應該從集合中刪除最高和最低的預測。由此產生的平均值被稱為修剪均值。
Victor Jose 和 Robert Winkler(Jose and Winkler,2008)最近調查了修剪均值是否意味著更準確的組合預測。他們探索了應用不同程度修整的效果(例如,在平均之前從集合中刪除兩個最高和兩個最低預測,或者三個最高和最低三個等等)。此外,他們評估了平均的另一種形式,Winsorized 的均值是否更有效。所謂 Winsorized 的均值不是取消最高和最低預測值,而是改變它們的值,使它們等於剩下的最高和最低預測值。
例如,從五種不同的方法考慮這些銷售預測:23,34,47,53,86。如果我們決定放棄兩個“外部”預測,我們的修剪均值將是 34,47 和 53 的平均值(即44.7)。相比之下,Winsorized平均值將是 34,34,47,53 和53(即44.2)的平均值。很顯然,只有至少有三種預測可以使用時,這兩種方法才有意義。而且,只有當有至少五個預測合併時,這兩種方式才會產生不同的結果。研究人員通過結合 M3 競賽(Makridakis 和 Hibon,2000)3003 時間序列的 22 種方法的預測來測試這些方法。此外,他們對費城聯邦儲備銀行專業預測人員調查季度名義 GDP 預測進行了類似的測試。他們發現,修剪均值和 Winsorization 的均值,這兩個比簡單均值產生的預測稍微準確一些 ; 他們也超越了所有的個別預測方法。然而,在修剪均值和Winsorization的均值之間沒有多少選擇。中等程度的修整,去除 10% 到 30% 的預測,似乎效果最好。在使用 Winsorization 的均值,取代 15 至 45% 的值似乎是最有效的。我會指出,當個別預測出現更多變化時,更大量的修剪或替換(Winsorization)會產生更高的準確性。這可能是因為高度可變異的預測集中包含極端值。
結論
所有這些表明,如果您可取得來自不同來源或方法的預測(例如,不同統計方法或不同專家的判斷預測),將這些預測結合起來可能是提高準確性的有效方法。 即使使用相對簡單的組合方法也足以在許多種情況下產生改進。 無論您的預測領域如何,將預測結合起來肯定值得考慮再三。
過去四分之一世紀預測研究的主要發現之一是,通過結合來自不同方法或來源的預測,往往可以實現更高的預測準確度。組合可以是一個簡單的過程,就像對不同預測進行簡單平均一樣,在這種情況下,組成預測的權重均等。其他更複雜的技術也是可用的,例如試圖估計應該附加到單個預測的最佳權重,以使那些可能最準確的權重在平均過程中獲得更大的權重。研究人員繼續調查可能對預報人員有用的情況,並比較不同方法對預報結合的準確性。
預測組合和英格蘭銀行統計預測模型套件
George Kapetanios 和他的同事們(Kapetanios et al,2008)最近評估了英格蘭銀行預測數據相結合的潛在優勢,該季度對通貨膨脹和 GDP 增長進行了預測。該銀行有一套可用的不同統計預測方法。
它們包括極其簡單的方法,例如預測等同於最近觀察的 naive(或隨機遊走)方法。該套件中更複雜和更複雜的方法包括自回歸,向量自回歸(VAR),馬爾可夫轉換模型,因子模型和時變係數(time-varying coefficient)模型。研究人員使用兩種不同的方法評估了可用方法的預測結果的價值。第一個涉及對套件中的方法產生的預測進行簡單的平均處理。第二個涉及根據Akaike Information Criteria(AIC)對個人預測進行加權。許多商業預測軟件包報告了AIC,這是一種考慮到模型如何配適過去數據的量測,但也基於其包含的參數數量來懲罰複雜性模型。因此,從比較簡單的模型得出的與過去的觀測結果非常吻合的預測,在平均過程中比那些複雜或較差的擬合模型得到更大的權重。
使用相對均方根誤差(RRMSE)統計量在一個預測期間範圍內上評估了兩種類型的組合預測的準確性。這比較了預測誤差平方和的平方根與基準預測方法的平方根(在這種情況下,基準是自回歸預測)。研究人員報告說,“預測表現令人驚訝... 如果將預測結合起來,而增長和通貨膨脹的最佳預測組合則是基於[Akaike] AIC 的組合。“Kapetanios小組的結論是”統計預測組合對我們感興趣的關鍵宏觀經濟變量產生良好預測“。
最近也有 David Rapach 和 Jack Strauss(Rapach and Strauss,2008)預測美國就業增長的研究報告以及預測美國 GDP的 Jeong-Ryeol Kurz-Kim(Kurz-Kim,2008)生長。後一項研究結合了以不同方式實施的相同方法(自回歸)的預測。
為什麼組合有用?
研究人員提出了一些原因。不同的模型使用不同的訊息集合,並且每個模型都可能表示了對驅動所感興趣變量的過程的不完整視圖。因此,組合預測能夠利用更廣泛的信息。此外,一些組成預測方法可能有偏差,因為他們一貫預測太高或太低。當幾種方法結合使用時,不同方向的偏差可能會相互抵消,從而提高準確性。
修剪的手段
雖然更複雜的基於AIC 的權重在 Kapetanios 等人的研究中表現最好,簡單的平均在這方面在Rapach 和 Strauss的研究中也表現出色。簡單的平均確實有優勢。首先,它很容易實施和解釋。它還避免了需要估計所附加到各預測的最佳權重集 - 在許多實際情況下,可能沒有足夠的數據來可靠地作出這些權重的估計。
然而,簡單均值的缺點是對極端預測值敏感:如果該集合中存在很偏離預測的平均值,則會對綜合預測產生不適當的影響。這導致一些研究人員(例如阿姆斯特朗,2001年)爭辯說,在計算均值之前應該從集合中刪除最高和最低的預測。由此產生的平均值被稱為修剪均值。
Victor Jose 和 Robert Winkler(Jose and Winkler,2008)最近調查了修剪均值是否意味著更準確的組合預測。他們探索了應用不同程度修整的效果(例如,在平均之前從集合中刪除兩個最高和兩個最低預測,或者三個最高和最低三個等等)。此外,他們評估了平均的另一種形式,Winsorized 的均值是否更有效。所謂 Winsorized 的均值不是取消最高和最低預測值,而是改變它們的值,使它們等於剩下的最高和最低預測值。
例如,從五種不同的方法考慮這些銷售預測:23,34,47,53,86。如果我們決定放棄兩個“外部”預測,我們的修剪均值將是 34,47 和 53 的平均值(即44.7)。相比之下,Winsorized平均值將是 34,34,47,53 和53(即44.2)的平均值。很顯然,只有至少有三種預測可以使用時,這兩種方法才有意義。而且,只有當有至少五個預測合併時,這兩種方式才會產生不同的結果。研究人員通過結合 M3 競賽(Makridakis 和 Hibon,2000)3003 時間序列的 22 種方法的預測來測試這些方法。此外,他們對費城聯邦儲備銀行專業預測人員調查季度名義 GDP 預測進行了類似的測試。他們發現,修剪均值和 Winsorization 的均值,這兩個比簡單均值產生的預測稍微準確一些 ; 他們也超越了所有的個別預測方法。然而,在修剪均值和Winsorization的均值之間沒有多少選擇。中等程度的修整,去除 10% 到 30% 的預測,似乎效果最好。在使用 Winsorization 的均值,取代 15 至 45% 的值似乎是最有效的。我會指出,當個別預測出現更多變化時,更大量的修剪或替換(Winsorization)會產生更高的準確性。這可能是因為高度可變異的預測集中包含極端值。
結論
所有這些表明,如果您可取得來自不同來源或方法的預測(例如,不同統計方法或不同專家的判斷預測),將這些預測結合起來可能是提高準確性的有效方法。 即使使用相對簡單的組合方法也足以在許多種情況下產生改進。 無論您的預測領域如何,將預測結合起來肯定值得考慮再三。
留言
張貼留言