劉三 格物 鐵雲

如何深度學習?　本篇不是談那個神經網路中的深度學習，而是我們在生活中如何學習。雖然可能我們拥有成熟的智慧並且閱歷豐富、同時可能每天由公司電腦或私人手機接收大量的資訊、日子充實的沒有時間回想過去。當然大部份我們是平凡並兢兢業業的面對我們每一天的工作，日復一日。小時候的我們，也許只能在我們的孩子身上略略浮現一二。 小孩子愛問。小一點的孩子愛問這個是什麼那個是什麼，練習探求周圍環境的任何物件，該如何用語言來描述，在腦中藉由影像、聲音、嗅覺、味覺、觸覺再加上自己的本能反應來形塑這個世界。 隨著時間，每一個當初這個世界逐漸堅固、安全、有序、並穩定。這種感覺尤其會隨著我們外面所拥有的越來越多，彷彿這些感覺也就越來越成立。 除非我們有一種習慣，常常能幫助我們釐清我們的美好平安的幸福感受與真實無知的差距。 這一種習慣就是學習或說是練習理性。這概括有四個動作： 1. 像小孩一樣，尋求那些詞語與短語的定義 2. 像個渾蛋，去確定那些假設 3. 像個機靈小鬼，確定如果別人或自己的陳述屬實，那可以回答那些問題 4. 像個偵探，去推敲確定著些陳述的目的 如果常常練習上述著些動作，或許我這隨著歲月而蒙塵的心，也有希望漸漸會明亮了起來。 學習的類型大約有下列 三種： 硬背式的學習：相信你所知覺的(例如：聽到的，讀到的，接觸到的)而沒有瞭解到這些你所知覺的。當受到更正的時候，你會改變你的信念，甚至這是不正確的更正，你還是不瞭解。[覺知=認知=信念] 不靈活的學習：即使對認知的理解是錯的，你也會調整你所相信的去符合正確的認知來檢查你是否正確的知覺，但是一旦接受認知就不會改變你的信念。[認知=信念，因為認知與信念之間沒有彈性空間] 深刻的學習：藉著追求了解為什麼來檢查你的信念是否正確，檢查你的知覺是否正確，同時你也會調整你所相信的去符合正確的認知。

1. 進到 CentOS 7，執行更新所有套件與 Kernal     $ yum clean all     $ yum -y update     $ yum -y install kernel-devel      $ yum  -y  install epel - release     $ yum -y install dkms 2. 安裝 GPU driver     # 取得 GPU 訊息     $ lspci | grep -i nvidia     # 去 Navida 取得該 GPU driver     # 安裝 GPU driver，例如     $  rmp -i nvidia-diag-driver-local-repo-rhel7-390.46-1.0-1.x86_64.rpm 3. 安裝 CUDA     # 去 Navida 取得該 CUDA 與 patches      $ sudo sh cuda_9.1.85_387.26_linux       ....      $ yum clean all      $ yum install cuda 4. 安裝 Anaconda (python 3.5.4 which I used)      $ conda install -c cuda-toolskit      $ conda install -c keras-gpu 5. 確認 keras tensorflow 能用 gpu，在 python 內執行： 　from keras import backend as KB     # check GPU     KB.tenso...

通過類比預測是新產品預測的常用方法。假設銷售具有與新產品相似屬性的以前產品，可以引導我們對新產品進行更準確的銷售預測。但是，正如在“新產品預測中的最差實踐”中所討論的那樣，規劃人員傾向於選擇不恰當的類比 - 甚至是“挑選”僅表現最好的以前的產品，以證明對新產品的更高預測。在這篇文章中，將更廣泛地看待了模式預測的好處和缺陷。 當發生破壞性事件（例如新產品介紹，公司收購出價或經濟危機）時，我們的自然反應是試圖通過尋找結果已知的類比來預測其影響。但是，儘管事件的過去發生可以作為預測新事件影響的類比，這裡認為類比的可靠性在於數據解釋和良好判斷的適當平衡。 與2009年美國的就業復甦預測一樣，基於模式的預測可能會出現嚴重的誤差，這與之前的幾次經濟衰退類似。問題在於知道哪些先前的事件與當前的預測問題真正類似。在這種情況下，2008年後的經濟衰退是由信貸危機造成的，而不是由貨幣政策或石油價格引起的，就像選定的類比。基於錯誤的類比，預測顯著高估了就業復甦的速度。 對過去數據不加批判的審查可能會導致錯誤的類比 - 對不適用於手邊案例模式的推斷。不加批判地使用任何和所有明顯相關的數據，給我們提供了統計上看起來很好的結果，但是忽略了審查中事件的關鍵特徵是否類似。另一方面，這裡也指出，如果我們在沒有能力建立可信統計模型的情況下，過度理論化目前的事件，那麼最後我們可能會看到很少的類比，並且對我們的錯誤判斷過於重視。良好的判斷需要建立在一個連貫的與數據一致的理論基礎上。糟糕的判斷是信仰、一廂情願的想法、和軼事的結果。 介紹 當發生破壞性事件時，我們的自然反應是試圖通過尋找結果已知的類比來預測其影響。在金融市場中，這是事件研究方法學的基礎，分析師已經使用了40多年的時間來預測企業行為（如收購和債券降級）的影響。在本文中，我們將介紹該方法，並考慮是否以及如何將其擴展到主流商業和經濟預測問題。成功的關鍵是找到正確的類比，這反過來又需要將領域知識和數據挖掘結合起來。 好的模式 假設我們想知道在收購出價前後某家公司的股價可能會發生什麼變化。在過去的公司歷史中不太可能發生類似的事件，股價在任何情況下都非常波動。在這種情況下，時間序列分析和因果模型建立並沒有多大用處。然而，過去許多其他公司都遭受了收購出價，我們可以通過匯總這些劇集的數據並在這些數據中搜索模式來學習。這是Fama，...

傳統的商業預測系統不是為了告訴我們極端事件。這是這次關於下行風險的討論中所得出的結論。問題在於，在業務受到嚴重衝擊時確定“最壞情況”的可能性，標準的統計模型提供了誤導性的證據，就像2008年世界金融危機時發生的那樣。典型的最壞情況預測可能不會比實際發生的最壞情況嚴重。雖然承認這一警告本身很重要，但也有辦法模擬極端事件的影響，從而得出下行風險的現實跡象。 這闡明了需要做些什麼來更準確地確定事情可能會有多糟糕。關鍵點之一是： ■嚴重衝擊通常會增加銷售的波動性：這種額外的波動性必須適當模擬。 ■在金融中使用的一種建模方法稱為 GARCH，這種方法假定波動率和預期的預測誤差在巨大的外部衝擊之後會增加。 Batchelor提供了一個汽車銷售案例研究，以說明GARCH模型如何提供更現實的行業面臨的下行風險預測。 在預測極端事件時，重要的是要了解最糟糕的事情還未到來。到目前為止已經發生的最糟糕的事情只是對可能發生的最壞情況的一種事先估計。事情總是會比以前變得更糟。 墨西哥灣爆井造成最壞情況的損壞 據新聞報導，主要應急計劃預計會出現最嚴重的四千萬加侖洩漏事故。在頭三個月裡，每天有數百萬加侖的水湧入。監管機構將其努力基於幾乎不是最差情況的最壞情況。 介紹 在最近的經濟衰退期間，公司已經看到銷量和產量以前所未有的數量萎縮。 月復一月，結果不僅沒有達到中央預測值，而且已經在統計模型產生的預測區間的下限中崩潰。 傳統的商業預測系統並不是為了告訴我們關於極端事件的信息。 下行風險一直是金融預測人士關注的焦點。 在金融市場中，價格的高波動意味著投資者潛在的巨大損失，而風險規避的對沖者將為不利事件的保險支付更多的費用。 期權定價理論將保險成本直接與未來價格變動的波動預測聯繫起來。 一個大規模的學術和實踐者文獻出現了，專注於對股價，貨幣和商品在未來是否可能變得或多或少有較好的預測。 可以預測波動率的變化。日常價格變化接近隨機，但這些價格變化的波動性是連續相關的：如果某一天有大的價格變化（上漲或下跌），則更有可能不會出現第二天價格變化很大（下跌或者上漲，我們不知道哪個）。 最近，對於關注未來銷售而不是金融市場價格的商業預測者而言，下行風險已成為一個重要問題。大多數公司都試圖定義最糟糕的銷售情況。庫存控制模型在很大程度上依賴於未來需求波動的估計。然而...

這裡繼續介紹實施針對預測的數據挖掘框架。它從理解業務領導的戰略目標開始。 預測(Forecasting)是預測建模(Predictive Modeling)的一個子集。其獨特之處在於，可用的數據是以時間序列的形式出現的（數據以等間隔的時間段，如周）。在進行數據挖掘項目時，交易數據（例如收銀機收據）可能不得不累積到時間序列（每日銷售收入）中，然後進一步匯總（例如，每週銷售額，季度銷售額）為時間序列層次結構。這些聚合的細化程度是一個重要的考慮因素 - 間隔會影響確定可預測性的基本模式。考慮一個每週改變價格的零售商（一些商品正在銷售，另一些正在銷售）。如果數據匯總到每月，則價格變化的細節將會丟失，從而降低其預測價值。 討論其他數據準備考慮事項，包括使用的特定累積方法。總結適用於很多事情（銷售量，收入）; 平均（貨物成本）和最小值或最大值可能最適合的庫存水平。關鍵是要選擇一種最能揭示時間序列系統模式的方法。 此處強調，掌握數據知識的利益相關者可以幫助分析師理解許多可用的變量。目標是將可能的數千個候選變量減少到最多數百個（可變減少步驟），並且通過經由統計和判斷手段的變量選擇，確定它們中的哪一個最終用於預測模型。 整合數據挖掘與預測可以提供最高質量的預測。它有助於獲得數以千計的候選變量，並且可以用方便和經濟有效的方式實現。 本文提供了一個用於實現預測分析的數據挖掘的各種方法的框架和概述（參見圖2.13）。 Rey等人給出了關於過程和方法的進一步細節以及逐步應用的例子。 （2012年），應用數據挖掘預測使用 SAS。 開發具有外生變量的時間序列預測模型的過程開始於瞭解贊助項目的商業領導的戰略目標。這通常通過書面章程來保證，以記錄關鍵目標，範圍，所有權，決策，價值，交付成果，時間安排和成本。在業務主題專家的幫助下了解正在研究的系統為註重和解決正確問題提供了適當的環境。 從這裡確定哪些數據有助於描述先前定義的系統可能需要一些時間。最後，已經表明，任何數據挖掘預測或預測問題中耗費時間的步驟都是在數據處理步驟中，數據創建，提取，清理，協調和準備以進行建模。就時間序列數據而言，通常需要將數據與現有的預測問題統一到相同的時間頻率。 時間序列數據創建 上述過程中的一個關鍵要素是選擇分析的時間間隔和積累方法。不同的利益相關者團體各有愛好的時間間隔和總...

接下來展示瞭如何將數據挖掘方法應用於大規模預測，其中可能需要預測數千個系列，以及數千個可能的解釋變量。 數據挖掘不適用於單變量預測方法，如指數平滑法，其中時間序列本身的值（例如，每週銷售額）是唯一使用的數據，也就是說沒有解釋變量。然而，對於包含解釋變量（例如價格，廣告，經濟狀況，天氣等）的迴歸模型和其他方法，數據挖掘可用於識別要包含在模型中的最相關變量。本文包括來自政府和商業來源的可用時間序列數據集列表。許多數據服務都是免費的，並且有系統可以自動將外部時間序列加載到組織的內部數據庫中。 數據挖掘過程中也有一些有用的參考，稱為變量或特徵選擇，即將多個候選解釋變量減少到有限數量以包含在預測模型中。 介紹，價值主張和先決條件 大數據對不同的人意味著不同的事物。在預測的背景下，精明的決策者需要設法從大數據中獲取價值。用於預測的數據挖掘，將為業務決策者提供了機會，隨時可用的內部和外部時間序列數據的眾多來源，利用它們到那些可直接影響盈利能力的可運作的策略。決定做什麼，什麼時候做，以及是誰來做的一個複雜的過程。了解哪些因素推動需求，以及這些因素（例如原材料，物流，勞動力等）如何與生產過程，或與需求相互作用並隨時間變化而改變，這些都是在此背景下可獲得價值的關鍵。 面向靜態類型數據（數據不具有時間序列框架）的傳統數據挖掘過程，方法和技術在過去的四分之一世紀已經大大增加（Fayyad et al。（1996），Cabena et al。（1998）， Berry（2000），Pyle（2003），Duling和Thompson（2005），Rey和Kalos（2005），Kurgan和Musilek（2006），Han等人（2012））。這些參考文獻談到了這個過程以及無數旨在建立沒有時間序列框架的數據預測模型的方法。推動本文的想法是，在數據挖掘的跨領域概念對預測具有重要價值。也就是說，隨著時間的推移使用基於時間序列的方法挖掘收集的數據。 這個價值有很多種形式。 很顯然，在庫存成本降低及收入優化的角度來幫助他們，在決定什麼時候、做什麼、以及誰可以的時候更加準確，更不用說在客戶的滿意度和忠誠度上的價值。 但是，捕捉主題專家對公司市場動態的了解也是有價值的。 而在數學模型方面，做這樣有助於使企業知識制度化。 如果做得好，在整個公司中使用隨後產生的等式，可以成為公司的...

極端的季節性發生在一件品項只在一年的特定時間銷售，其餘時間零銷售[季節限定型的產品]。這對於零售商來說是一種熟悉的情況，他們只是“按季節”存儲某些品項。請注意，極端季節性與間歇性需求的正常模式截然不同，在間歇性需求這種模式中，零銷售頻繁的期間會穿插非零銷售期。 傳統的時間序列預測方法，即使通過使用事件標記確定銷售時間而得到增強，但也會受到銷售期間以外的所有零值的嚴重影響，並因此表現不佳。 Udo Sglavo描述了一種在極端季節性情況下產生預測的新方法。使用時間壓縮方法，銷售季節之外的所有觀察結果都被壓縮成一個銷售額為零的觀測值。例如，如果某件商品每年銷售10週，則將該年的序列壓縮為 12 個觀察值。此時，可以將常規時間序列方法應用於壓縮後的每週序列，將“季節性”參數設置為12（而不是52，因為它通常與每週數據一起）。在選擇模型並生成預測後，結果將得到解壓縮，並在所有零售週內重新恢復到52週的一年。這種方法可以提供優於使用傳統方法的預測精度。 介紹 需求預測是一項具有挑戰性的活動。對於零售行業尤其如此，在那裡更嚴格的預測和規劃流程以及統計工具正在開始擴大商品銷售和補貨的“藝術”。 零售商想要知道會出售什麼在哪些價格，而哪些促銷活動最有效，以及當產品不合時宜時，什麼是最好的通關策略。這些問題的基礎都是預測。 預測被認為是一個重要的功能。隨著每個預測週期和規劃週期，它遵循與相同的迭代過程。該過程通常包括根據最新數據更新所生成的預測，以組織分層的方式調整預測，識別和修復有問題的預測，根據業務知識將判斷意見添加覆蓋到預測中，並將預測發佈到其他系統或報告。但是，許多組織仍然僅僅依靠員工熟悉的現成工具，而不是使用專門的預測軟件。 由於大多數組織的預測人員人數相對較少，因此通常在每個規劃週期的可用時間內需要大量的自動化來完成預測過程。零售商仍可能面臨需要特別考慮的某些類型的預測，例如預測僅在一個季節或節假日期間銷售的產品的需求。 本文將提出一種處理這種高度季節性預測的方法。它提供了基於實際數據的說明性示例。 挑戰 零售商通常面臨著僅在一年中的特定時間銷售的物品的預測。一個典型的例子是只在短時間內可用的特殊項目，例如假期。典型零售商面臨的挑戰是對這些類型的物品進行預測，因為他們需要讓供應商提前知道他們需要多少物品。交付時間有時可能長達六個月...

如果在時間序列數據中未檢測到趨勢或季節性，則會發生扁平線預測，並將歷史的所有起伏視為隨機雜訊。 雖然扁平線預測通常是未來將要發生的事情的最恰當表示，但 Stellwagen 認識到管理層可能會拒絕或需要解釋。 為了使管理層接受這樣的預測並提高他們對規劃的有用性，可以添加置信區間以顯示預期的波動範圍。 以備用零件(之後簡稱備件)預測為例（間歇性，極低的需求量），Stellwagen 展示了扁線預測如何顯示預期需求（並可用於預測備件銷售收入）。 置信區間上限可以用來確定保留在庫存中的備件數量。 僅基於品項的過去需求歷史生成預測的預測技術被稱為時間序列方法。通常情況下，時間序列方法將捕捉歷史中的結構 - 例如當前的銷售水平，趨勢和季節模式，並推斷它們。 如果數據沒有趨勢且不是季節性的，則時間序列方法通常會生成一個反映當前銷售水平的扁平線預測。由於往往是不太能可相信在未來有扁平線的情況，因此向管理層提供扁平線預測可能需要解釋未來情景與未來統計預測之間的區別。這篇文章解釋了這種區別，並討論了扁線預測何時適用和不適用。 考慮下面顯示的兩個數據集。下圖表示每月需要維護商用設備所需的昂貴備件組件。請注意，歷史需求由整數組成，並且在任何給定的月份中等於0,1,2,3或4個單位。下圖下面代表巴西1849-1920年間一個城市的年降雨量。請注意，歷史上每年降雨量在50至250厘米之間，降雨量每年都會有很大差異。 月需求 年度降雨 上面數據集都沒有趨勢。數據集都不是季節性的。因此，他們的預測並不是趨勢性的，也不是季節性的 - 它們是平坦的。這並不表示未來對備件裝配或降雨量的需求將持平 - 這些數量將在未來繼續波動 - 它只是表明這些數量將如何波動並不完全基於歷史數據 。預期的波動範圍由置信區間界限表示。 讓我們仔細看看我們的備件組件。預測為每月0.9個單位，置信上限設為97.5％。請注意，未來的預測不是未來可能的情景 - 我們不會在未來12個月內每月銷售0.9個單位 - 我們很可能在任何情況下繼續銷售0,1,2,3或4個單位/每月。問題在於未來訂單的時間和規模在過去的歷史中是不可知的。那麼我們的預測告訴我們什麼，我們如何使用它？ 在統計意義上，預測值是在未來期間的期望值。根據模型，這實際值可能高於或低於這一點期望值。 如果我們...

許多軟件支持分層預測，您可以在其中定義產品和位置的層次關係，在一個或多個層次上創建預測，然後在整個層次結構中協調預測。 採用自上而下的方法，您可以生成最高層級的預測，並將它們分配到較低的層級。在自下而上的預測中，您可以在層次結構的底部（最細粒度）級別生成預測，然後進行匯總以獲取更高級別的預測。在常用的中間方法中，您可以在某個中間層級生成預測，將它們匯總到更高的層級，並將它們分配到更細化的層級。 從這個問題開始，“它可以更簡單嗎？”Eric Stellwagen指出，層次結構應該只包括預測所需的最少層級。很明顯，存在與過於繁雜的層級相關的成本：更多的數據存儲和處理（降低系統性能），以及為預測分析人員提供更多工作（需要更多層級的預測來監控和維護）。 一旦定義了層次結構，下一個決策就是生成統計預測的層級。 Stellwagen說明了最細粒度的級別如何可能表現不佳，或缺乏足夠的數據來預測使用統計方法。因此，通常最好在更高的層面進行預測（數據的表現足夠好），然後使用分配方案將預測分攤到較低的層次。 儘管在 Stellwagen 的文章中沒有涉及，但是由於報告需要混淆了預測需要，導致層級過多的常見“最差做法”的原因之一。例如，服裝製造商可能需要知道預計有多少件白色，黑色，紅色和黃色的T恤衫，因此可以採購適量的染料。但這並不意味著顏色需要成為層次結構中的一個層次。 顏色是產品屬性。 預測顏色需求的正確方法是將品項層級的預測輸出到報告系統，然後根據顏色屬性匯總這些品項預測。 通過這種方式，可以在預測層次結構之外處理報告所需的其他級別。 許多組織需要在非常詳細的層面上生成預測。例如，一家消費品公司可能需要按客戶預測進行SKU，鞋製造商可能需要按尺寸進行預測，或者汽車製造商可能需要進行零件級預測。生成低低層級預測的一種方法是將統計預測方法直接應用於最低層級的需求歷史。另一種方法是對更多匯總數據使用統計預測方法，然後應用分配方案來生成較低層級的預測。 決定產生統計預測的最低層級並決定如何將統計預測分配到較低層級可能對預測準確性產生重大影響。本文將探討這些決策的一些問題，包括數據“預測性”如何在不同級別的聚合中發生變化。 它可以更簡單嗎？ 在決定使用統計模型預測什麼級別的預測層次結構之前，先考慮一下您的預測層級結構是否可以簡化。僅僅因為你可以獲得非常詳細...

在業務預測的實踐中，我們經常遇到包含異常值的歷史數據 -在給定時間段中，數據值異常大或小，遠高於或低於我們預期。最簡單的（也是最常見的）做法是“屏蔽”異常值（即將其從數據中移除）並忽略它們。難道它們不只是讓人難以以建立一個好的歷史模型的煩惱嗎？ 刪除或調整異常值可以使時間序列數據配適一個更簡單，更美觀的模型。這是工作中的“簡約原則”。該模型基於更規矩的數據，不會傳播真實歷史的不穩定高峰和低谷，並且最終會得到更好，更穩定的未來視角。事實上，未來開始看起來規規矩矩，而且可以預測，這就是預測者（和業務經理）喜歡它的方式！然而，無用的掩蓋異常值可能會有一個醜陋的缺點。 Eric Stellwagen 指出，離群值“向我們大喊”關於在歷史數據中的額外風險和不確定性。簡單地忽略它們可能是危險的，導致對我們的預測過度（並且不合理）的信心。然後他介紹了三種更好的異常處理方法： ■ 異常校正(Outliers Detection) ■ 分離需求流(Separation of Demand Streams) ■ 事件建模(Event Modeling) 重要的是要記住過去發生的不尋常和令人討厭的事情，並且可能在將來再次發生。當我們盲目地從我們的歷史數據中刪除異常值時，我們忽略了關於這個世界真的有多惡劣的重要信息來源。 離群值是一個超出數據預期範圍的數據點（即，它是一個異常大或小的數據點）。如果您忽略數據中的離群值，則可能會對預測產生重大負面影響。本文調查了三種不同的方法來預測包含離群值的數據，討論了每種方法的優缺點，並提出了何時最好使用每種方法的建議。 選項＃1：離群值校正 減少離群值影響的簡單方法是在生成預測值之前用更正常典型的值替換離群值。這個過程通常被稱為離群點校正。許多預測解決方案提供自動化程序來檢測異常值並在預測之前“修正”歷史記錄。修正嚴重離群值的歷史通常會改善預測。但是，如果離群值不是真的嚴重，糾正它可能會造成更多的傷害而不是好的。當你糾正一個離群值時，你將重寫歷史記錄比實際更平滑，這將改變預測並縮小置信限度。如果不要更正，這將導致預測不准確和不現實的置信限度。 建議： 1.如果知道離群值的原因，則在採用離群值更正之前應考慮其他方法（如下面的選項＃2和＃3）。 2.應該謹慎執行離群校正。使用自動檢測算法來識別潛在的候選對像是非...

長期以來，將來自多個獨立來源的預測結合在一起被認為是提高預測準確性的一種方法。 Andreas Graefe 及其同事在2014年國際預測期刊上發表的文章“合併預測：應用程序與選舉的結合”中提供了一個很好的總結。他們的結論是“簡單的組合方法是一個最有用的程序預報人員的工具包“，並指出與潛在收益相比，合併成本可能微不足道。在這篇簡短的文章中，Paul Goodwin 研究了合併預測似乎有效的原因。其中（1）不同的模型使用不同的信息，因此組合模型可以從更廣泛的信息中獲得，以及（2）單個模型的偏差可能被抵消，導致更真實的組合預測。Goodwin 還討論了結合預測的替代加權方案。雖然除個別預測的簡單平均數之外，通常不需要採用的其他方法，但他的報告提倡關於權重的 Akaike Information Criteria（AIC）和“修剪的手段”（在平均之前刪除高和低預測值）的研究。 過去四分之一世紀預測研究的主要發現之一是，通過結合來自不同方法或來源的預測，往往可以實現更高的預測準確度。組合可以是一個簡單的過程，就像對不同預測進行簡單平均一樣，在這種情況下，組成預測的權重均等。其他更複雜的技術也是可用的，例如試圖估計應該附加到單個預測的最佳權重，以使那些可能最準確的權重在平均過程中獲得更大的權重。研究人員繼續調查可能對預報人員有用的情況，並比​​較不同方法對預報結合的準確性。 預測組合和英格蘭銀行統計預測模型套件 George Kapetanios 和他的同事們（Kapetanios et al，2008）最近評估了英格蘭銀行預測數據相結合的潛在優勢，該季度對通貨膨脹和 GDP 增長進行了預測。該銀行有一套可用的不同統計預測方法。 它們包括極其簡單的方法，例如預測等同於最近觀察的 naive（或隨機遊走）方法。該套件中更複雜和更複雜的方法包括自回歸，向量自回歸（VAR），馬爾可夫轉換模​​型，因子模型和時變係數(time-varying coefficient)模型。研究人員使用兩種不同的方法評估了可用方法的預測結果的價值。第一個涉及對套件中的方法產生的預測進行簡單的平均處理。第二個涉及根據Akaike Information Criteria（AIC）對個人預測進行加權。許多商業預測軟件包報告了AIC，這是一種考慮到模型如何配適過去數據的量測，但也基於其包含...

Chris Chatfield 借鑒了40多年的預測經驗，就預測方法的選擇和實施提出了一些實用建議，並為預測從業人員和顧問提供建議。 Chatfield的關鍵點之一是： ■ 一種新方法的發明者通常會做出過分的主張。儘管新方法可能是預測工具箱的重要補充，但它們不會成為所有預測問題的靈丹妙藥。 ■ 當有公平的比較時，諸如在 M，M2 和 M3 競賽中，適用於一系列樣本的合理的方法之間的平均差異是非常小的。那些有大的差異應該以懷疑的方式來處理。 ■ Holt-Winters方法仍然是預測哪些顯示有趨勢和季節性數據的一種好並且穩健的方法。 ARIMA 建模僅適用於顯示短期相關性的序列，同時這些序列的變異不受趨勢和季節性的支配。 ■ 預測區間(Prediction Interval)忽略模型不確定性。因此，我們可以使用模型間的平均方式來考慮模型不確定性的影響，而不是用單一模型或單一組的假設來進行預測。 ■ 發表出版的偏差，預報人員不報告其失敗，不公平地反映更複雜方法的準確性。應鼓勵編輯發表負面結果以及正面的結果。 ■了解預測問題的背景，澄清目標和繪製數據，仍然同樣重要。 介紹 本文介紹了1964年開始的時間序列預測職業生涯中的一些啟發性亮點（和暗點！）。我們可以從我們的成功和失敗中學習，我鼓勵預測人員從兩者中學習。我在標題中用“務實”一詞來表示理智和實際，希望這適用於我的工作。 我的思考將涉及長期的時間序列方法，如Holt-Winters指數平滑和Box-Jenkins，以及一些基於神經網絡，狀態空間公式和GARCH模型的更新方法。我還將討論“最佳”預測的含義。談到實施問題，我將討論預測區間的構建，模型不確定性的處理，預測的組合以及不同品項數的對於預測的影響。發表出版偏差是我關心的問題，我也會解決這個問題。 對於預測顧問，我會提出一些實際建議，包括查看數據，理解背景，使用常識，確保預測比較公平，以及選擇簡單（但不是過份單純化）的預測方法的重要性。最後，我會更全面地評論今天和未來的預測。 一些歷史 預測被形容為“說出會發生什麼，然後解釋為什麼不會發生的藝術”。反過來也是如此，即說出什麼不會發生，然後解釋為什麼會發生。 縱觀歷史，人們不禁會被預測出錯的方式所打動，包括我自己在內。 杜撰的故事包括一個關於IBM創始人的故事，他在19...

諾貝爾經濟學家保羅克魯格曼在2009年寫道：“經濟學界誤入歧途，因為經濟學家作為一個團體，誤以為美麗，穿著令人印象深刻的數學，真相。”真理或美的作者大衛奧瑞爾：科學與“追求秩序（2012）”現在詢問這種狂妄自大是否適用於預測者。 牛頓的萬有引力定律是美學理論和預測模型的原型。它具有優雅，統一和對稱的三個關鍵美學屬性，並且可以準確預測各種現象。 將此與估算任何金融資產風險的廣泛使用的技術（稱為風險價值（VaR））進行了比較。雖然風險價值在數學上是優雅的，它包含了對稱性和穩定性的假設，並且統一了對廣泛現象的描述，但它並沒有定期出現。正如奧爾雷坦言的那樣，牛頓的律讓我們登上了月球，而風險價值讓我們陷入了金融危機。引用M3競爭這樣的經驗性測試，簡單模型在進行預測時往往比較複雜的模型更好。但是，涉及參數較少的簡單模型（如隨機遊走或單指數平滑）和像 VaR 這樣的模型之間存在區別，這些模型包含受理論標準（如對稱或均衡）的假設過度影響。 Orrell 總結說，因為“有生命的系統...抵制數學規律的整潔“，假設我們試圖分析的這些系統或者通過優雅的等式很容易地描繪或者預測，這確實是一個冒險的事。因此，當涉及到預測模型時，如果它們有點難看，也許可以。 介紹 大多數商業預測人員不會將他們的領域與追求美的聯繫在一起。 Excel電子表格並不以其吸引力而聞名。沒有人 - 即使我敢說，它的發明者 - 會聲稱一個有用的工具，如指數平滑，甚至是“自回歸整合移動平均數”，是有史以來最美麗的公式。 但是，美學的感覺在許多科學分支中起著重要的作用，如果是微妙的話。伯特蘭羅素寫道：“正確地看待數學，不僅具有真理，而且具有至高無上的美 - 像雕塑那樣冷酷而嚴峻。”同樣的美也被更多應用領域的研究人員所追求和讚賞 - 而不是只是為了它自己的緣故，但是因為它似乎常常表明一個人走在正確的道路上。 英國物理學家保羅·迪拉克更進一步說道：“在自己的方程中獲得美而不是讓他們做實驗更重要。”他通過使用一個優雅的方程來推斷反物質的存在之前就已經證明了這一點。諸如超對稱之類的現代“一切的理論”都明確地基於美學思想（例如，許多對稱性），儘管迄今為止成功率較低。 預測人員可能不會走到這樣的極端 - 他們不會因為“看起來很好”而預測經濟衰退或繁榮 - 但他們使用的模型經常會在他們的骨子裡留下一絲數學優雅，...

Steve Morlidge 在他的著作“未來就緒：如何掌握商業預測的藝術”，認為商業預測過於偏重單變量的短期預測。雖然有助於同步需求和供應，但這一重點對轉向業務績效的過程沒有多大貢獻。相反，預測者需要對戰略預測的作用採取更廣泛的視角，並對預測本身採取更長遠的觀點。 Morlidge 的補救措施要求專業預測人員面對預測經濟體系複雜行為的挑戰，並解決預測在現實上並非獨立單一的過程問題，而是作為組織控制系統的一部分而存在。針對預測而採取的反應行動（例如廣告增加）通常會使預測最初所基於的假設失效，從而導致準確性測量出現問題。 預測錯誤可能是決策和採取行動的結果，它並不能反映預測過程的質量。雖然吸引預測者從短期來看，這裡 Morlidge 提供了六個原則作為過程改進的路線圖，這些原則具體表現了創造並建立可靠的商業預測以指導決策所需的條件。 經濟預測破滅了 “這太可怕了！為什麼沒有人看到它呢？“在伊麗莎白女王於2008年11月講述了倫敦經濟學院的信貸危機後，他說了這些話。女王的問題呼應了所有社會層面的人們。經濟學家和經濟預測專家目前並不享有很高的聲譽。 不僅僅是宏觀經濟預測破滅。企業高管使用的財務預測也被證明是高度錯誤的。 “金融危機已經抹殺了企業預測，”CFO雜誌報導（Ryan，2009）;近期調查中有70％的受訪者表示他們未能看到超過四分之一的表現。 問題不僅限於經濟糟糕的時期。哈克特集團表示，只有18％的高級金融專業人士對他們的預測過程“非常滿意”，也就不足為奇了。平均而言，當盈利預測損失為 13％，其股價隨著下跌 6％（EIU，2007年）。自2005年以來，在倫敦證券交易所報價的1,300家公司每年平均發布400 次盈利警告，每次導致市值損失 10％ 至 20％（Bloom和同事，2009年）。 最近為 540 名高級管理人員（EIU，2007）對畢馬威進行的一項調查發現，將在未來三年中優先考慮預測的改善。而預測結果的能力也進入了全球首席財務官的內部問題清單裡（Karaian，2009）。 這些問題帶來了巨大的機遇。從近30年的金融經驗中，我可以證實，在對 CFO感興趣的各種預測中很少見專業預測投入：對未來收入，收益，現金流等的中期估計。頂多使用銷售預測支應短期預測;  即使這樣，它們也經常被調整。行業調查顯示，72％的調查預...

需求預測往往是不加批判地基於收到的訂單，出貨/銷售或兩者的組合的歷史。最終目標 - 衡量無約束的真實需求 - 是難以捉摸的，並不總是適合於基於訂單和出貨量的簡單公式。 由於真實需求不是直接可測量的，因此必須使用根據我們可用數據（訂單，出貨，缺貨等）構建的近似值進行預測。人們普遍認為，訂單提供了真實需求的上限，而出貨（或銷售）提供了下限，但這太簡單了。這種關係取決於在預期時間內未能滿足需求的反應。 那麼該怎麼辦？認識到測量困難，我們建議通常可以推導出“足夠接近”的真實需求的代理(替代品)，以便有助於產生沒有束縛的預測。然後，通過銷售和運營計劃或其他內部流程，將無束縛的預測與生產/採購能力和庫存可用性合併，以生成“受限制的預測”。 重要的一點是，預測績效評估應基於受限制的預測，這些預測代表了組織對考慮到供應限制後真正發生的事情的最佳猜測。我們可以可靠地衡量受限預測的準確性，將其與真正發生的事件（出貨，銷售或服務）進行比較。 公司通常將需求描述為“顧客想要什麼，什麼時候需要”，有時候還有一個附加條件，“以他們願意支付的價格，以及他們當時想要的任何其他產品”。當企業提到需求，它們意味著不受限制或真正的需求，而不考慮其滿足需求的能力。 真正的需求基本上是不可觀測的; 所以，作為一個實際問題，我們只能用可測量的數量來估計它。相反，約束需求這個術語指的是根據所需產品或服務的供應限制能夠滿足多少需求。因此，約束需求≤真實需求。 對未來足夠好的需求預測使組織能夠投資設施，設備，材料和人員配置，以最有利的方式滿足需求。規劃過程首先將需求歷史載入我們的預測軟件，目的是創建一個無約束的需求預測。在這裡，我們遇到了一個問題：我們對需求的操作定義( 提出一種可以測量、量   化、具體、可重複試驗的基本說明與解釋，亦即將抽象的概念具體化 )是什麼？我們測量的具體系統方法是什麼？ 公司需要知道如何衡量真實需求，以便為其預測模型提供適當的歷史記錄。 通常，您知道您的訂單，出貨量和銷售量。您知道在呼叫中心處理的電話，在零售店處理的交易以及由顧問付費的小時。您可以跟踪庫存，缺貨，訂單滿足率，後退訂單和取消訂單。儘管如此，儘管您掌握了所有這些數據，但沒有一個能夠得出確切的真實需求。 訂單與真實需求 如果客戶下單來表達他們的“需求”，並且如果製造商通過完整和準...

什麼是基準？ 標竿基準的概念廣泛應用於業務領域，從流程基準和財務基準到新硬件的IT性能基準。任何此類努力的共同之處在於收集和分析類似和可比較領域的績效衡量標準，以便了解最佳績效是什麼。 在標竿基準中，可比較性是關鍵！只有在類似情況下評估基准進程的基準時，基準才能被信任。例如，跨“一般公司”的基準利潤率不符合可比較性標準; 生物技術公司和公用事業公司具有廣泛不同的“正常”利潤率，並且將生物技術公司的最佳利潤作為公用事業的目標是不現實的。 標竿基準與尋找最佳實踐密切相關。理想情況下，可以確定績效基準，然後調查哪些因素能夠實現這個基準。舉例來說，最佳的銷售預測可能是非常不同的因素造成的：一個好的數據收集過程，一個複雜的預測算法，或在商店和/或倉庫匯集的 SKU ，都可能只是一個聰明的選項。 任何導致始終如一的卓越預測表現的方法，都將成為最佳實踐的候選人。作為預測者，我們對標竿基準的搜索實際上只是我們搜索最佳實踐的一部分。我們試圖優化我們的預測，並且需要了解我們的流程中哪些部分必須改進才能實現此目標。 以預測精度調查的問題 可以用那些公佈的銷售預測準確度的數據來作為基準嗎？ 分析表明，調查結果在其所基於的數據中存在多重不兼容性來源。 其中包括行業和產品的差異，空間和時間粒度，預測範圍，公制，預測流程和商業模式。 產品差異(Product Difference) 跨行業甚至跨公司，我們必須預測極不相似的產品的銷售。 罐裝湯和割草機的銷售行為非常不同; 他們的預測挑戰也會不同。 罐裝湯的製造商可能面臨季節性不佳以及由製造商控制時間的促銷活動驅動的銷售。 然而，割草機的銷售將是高度季節性的，主要取決於初夏的天氣。 因此，期望割草機的銷售比罐裝湯的銷售更難以預測，並預計割草機的“良好”預測比罐裝湯的“良好”預測具有更高的誤差。 當罐裝湯和割草機作為消費品或由零售業銷售的產品組合在一起時，可比較性問題就出現了。 另外，正如我上面提到的，單一公司的單獨產品在可預測性方面可能會有所不同。快速移動的主食可能很容易預測，而移動緩慢的高價物品可能會出現間歇性 - 因此難以預測。 此外，預測不僅計算產品，還計算服務和/或價格。對於人力規劃，企業需要準確預測各種服務，從為零售商的配送中心選擇產品到生產軟件。而在價格波動較強的行業，預測價格可能與預測數量一樣重...

了解我們整體企業（年度總體歷史銷售，naive 預測誤差，CoV等）的可預測性DNA的關鍵因素使我們能夠客觀地和定量地比較企業。 我們可以從SKU級別的特定業務的平均值開始，如下表所示。 比較兩個地區的企業4至企業10，我們發現企業4中的SKU平均銷量數量更多，客戶數量更少，並且企業10中的典型的SKU 歷史的長度和變異（由CoV衡量）類似 .我們也會注意到，企業4的需要預測SKU數量是所有 SKU 的一半。 在過去的12個月中，這些企業實現的準確度（在地區級進行衡量）是 請注意，可預測性模型以我們轉換為預測準確度的單位輸出基準預測誤差，以便於企業間的比較。 可預測性模型研究DNA，並給出以下內容作為每企業的基準預測準確度： 可預測性DNA模型還有助於我們客觀而詳細地了解為什麼我們認為企業 4可以將其預測精度從目前的34.5％水平顯著提高。 理由是： ■ 企業4的平均數量較多，這表明它可能比業務10更具可預測性。 ■ 將企業4的每 SKU平均 naive 預測誤差 30,395.17轉換為55.7％的 naive 預測精度，這也表明企業4的準確度可能提高。 ■ 通過研究所有可預測性DNA數據，我們發現企業4的標竿基準精準計算為 65.0％，明顯好於最近的預測精確度結果，這表明該企業的改進表現出來。 如果我們告訴他們一個更合適的目標是65.0％，他們可能會說：“由於 a，b 和 c，我的企業很難預測。”通常我們可以提供的回應不多，但是具有可預測性DNA數據可以說，“您的CoV與企業10類似，您的 naive 準確性已經達到55％，並將您的客戶數量，年銷售量（SOH），歷史長度以及其他基因可預測性的DNA，預測準確率高於60％應該是可以實現的。“如果企業仍然持懷疑態度，我們可以做進一步分析，以顯示其企業中的項目，在其他企業中的類似的許多其他項目，它們已經實現更高預測精度最高。 最後 可預測性和預測準確性標竿基準是預測世界中長期討論的主題。跨公司的標竿基準測試是一種流行的方法，但可能很具挑戰性，因為我們通常不知道其他人如何計算其指標的詳細信息（前置時間，聚合級別以及他們已淘汰的內容，僅列出一些未知數） ，更不用說他們的業務預測有多困難。畢竟，即使我們使用完全相同...

每當在有客氣文化的公司出現預測話題時，首先提出的問題之一 - 在關於糟糕預測的投訴已經停止之後 - 就是“我的預測準確度應該如何？”。由於很少有經驗豐富的商業專業人士認為目標 100％的預測準確性是現實的，那麼問題就變成了“什麼預測準確性是可以實現的？”當我們談論一個衡量指標或關鍵績效指標（KPI）時，我們通常會問“其他公司如何行事？” 類似的企業當然是一個相對簡單的方式來看看我們如何比較。 如果我們的競爭對手的準確率達到70％（平均30％的誤差），而我們達到50％，我們知道我們有一些工作要做。如果我們達到75％，而類似的企業達到65％，那麼我們可以認為我們持有自己的並獲得成果。魔鬼在這些指標如何在不同的公司或者單個公司的不同業務部門中進行計算的細節裡。 Stephan Kolassa  在他 Foresight 的文章（Kolassa，2008）中強調了標桿基準調查的實用性：“在標桿基準中，可比性是關鍵！” 為了建立預測指標的可比性，我們需要詢問以下事項： ■ 預測提前期是多久？ ■我們預測哪些預測時間單位（每月，每週或每日）？ ■我們所看到的產品層級中的哪個級別（SKU，SKU×配送中心，SKU×客戶×位置等）？ ■是否有任何內容被精確度度量標準清除了？ ■度量如何加權？ ■是否包含直接進口或按訂單生產的SKU？ 我們也可能會質疑企業預測的難度。 一般來說，預測像尿布這樣的非季節性消費品的銷售量比針對青少年的最近短期時尚更容易。 我們試圖通過對類似企業中的競爭對手進行標桿基準對比來消除這種情況，但即使我們一直在計算該指標並且這些公司處於相同部門，我們可以說其他一切 - 策略，供應鏈，產品構成，客戶行為等 也是平等的，甚至相當相似？ 如果沒有所有相關方面的合理可比性，我們同意 Stephan Kolassa所說的 “尋求外部預測標桿基準是徒勞的”（Kolassa，第13頁）。 既然抓住標桿基準的表面可能會產生跟答案一樣多的新問題，那麼當我們考慮評估可預測性時，這會帶來什麼呢？ 何謂可預測性? 一些研究人員將可預測性定義為改進簡單預測的能力，例如 naive 的方法（預測與最後實際相同）。 這樣的定義將naive方法作為標桿基準，因此可能是預期的最小預測準確度的指標。 然而，關於最佳可實現的預測準確性，這是沒有意義的。 更一...