計算進入 likelihood 世界的入口 - 規律的 likelihood function
關於 likelihood， Fisher 在 1922 年起初的引入是用它在於參數的估計，也就是 maximum likelihood estimation。但他在之後並沒有就將它就只做為估計參數的一個裝置。
這likelihood 是一種以數據來進行推理的工具。特別是用來處理數據中因所含訊息的限制而衍生的不確定性。整個 likelihood function 就是用來擷取在數據中所有關於參數的資訊。它不只是僅有最大值而已。
MLE 最明顯的角色就是提供(有興趣)參數的點估計，而有點估計的目的是由應用領域所決定。在一些情況，模型的參數有些物理的意涵，故合理的去問在所給定的數據之下最佳的估計為何；這種不確定是一種麻煩事，不是科學問題的一部份。而 MLE 通常是一合理的回答。MLE 另外的重要角色在簡化多參數 : 藉著將一些麻煩參數用MLE 來取代。
我們應當將 MLE 視作用來簡化 likelihood function 表現的一種設備，尤其特別是在實際資料分析的情況下: 用一個數字比用一個函示來的簡單。想像一下在敘述一研究母體的特性如此的標準工作中，我們心思仍然有可能去掌握、交互、比較和推理 10 或甚至 20 個樣本平均或比例，但如果去持續參照 20 個 likelihood functions 這可能沒辦法了。
一般而言，一個單一值無法足以表達一個函示。同樣的 MLE 有很少足以代表 likelihood function。假如一個 log-likelihood function 可以用一個二次函式來趨近，然後這我們需要至少兩個量來表示它: 最大值的位置(代入log-likelihood function 的一次微分式為 0)與在最大值的曲度(代入log-likelihood function 的二次微分式應為負值，故定義它為負的二次微分式值。當此值愈大，表示最大值的 peak 愈強愈明顯，最大值的作為最大值地位的不確定愈小 - 它的倒數就是此 MLE 的 variance，這就是有名的 observed Fisher Information)。在這種情況下的 likelihood function 稱作規律 regular。當樣本變大時，likelihood function 一般會變規律 regular。
重述一次這關鍵的要求，所謂規律問題就是log- likelihood function 在 MLE 的附近是否能用一個二次函式來趨近 - 在如此情況下我也將說此 likelihood function 為規律。(不是咬文嚼字，當我們說一個 likelihood function 有一個好的二次趨近，我們的意思是 log-likelihood。)
這趨近是計算進入 likelihood 世界的入口。
From All In Likelihood: Statistical modeling and inference
這likelihood 是一種以數據來進行推理的工具。特別是用來處理數據中因所含訊息的限制而衍生的不確定性。整個 likelihood function 就是用來擷取在數據中所有關於參數的資訊。它不只是僅有最大值而已。
MLE 最明顯的角色就是提供(有興趣)參數的點估計，而有點估計的目的是由應用領域所決定。在一些情況，模型的參數有些物理的意涵，故合理的去問在所給定的數據之下最佳的估計為何；這種不確定是一種麻煩事，不是科學問題的一部份。而 MLE 通常是一合理的回答。MLE 另外的重要角色在簡化多參數 : 藉著將一些麻煩參數用MLE 來取代。
我們應當將 MLE 視作用來簡化 likelihood function 表現的一種設備，尤其特別是在實際資料分析的情況下: 用一個數字比用一個函示來的簡單。想像一下在敘述一研究母體的特性如此的標準工作中，我們心思仍然有可能去掌握、交互、比較和推理 10 或甚至 20 個樣本平均或比例，但如果去持續參照 20 個 likelihood functions 這可能沒辦法了。
一般而言，一個單一值無法足以表達一個函示。同樣的 MLE 有很少足以代表 likelihood function。假如一個 log-likelihood function 可以用一個二次函式來趨近，然後這我們需要至少兩個量來表示它: 最大值的位置(代入log-likelihood function 的一次微分式為 0)與在最大值的曲度(代入log-likelihood function 的二次微分式應為負值，故定義它為負的二次微分式值。當此值愈大，表示最大值的 peak 愈強愈明顯，最大值的作為最大值地位的不確定愈小 - 它的倒數就是此 MLE 的 variance，這就是有名的 observed Fisher Information)。在這種情況下的 likelihood function 稱作規律 regular。當樣本變大時，likelihood function 一般會變規律 regular。
重述一次這關鍵的要求，所謂規律問題就是log- likelihood function 在 MLE 的附近是否能用一個二次函式來趨近 - 在如此情況下我也將說此 likelihood function 為規律。(不是咬文嚼字，當我們說一個 likelihood function 有一個好的二次趨近，我們的意思是 log-likelihood。)
這趨近是計算進入 likelihood 世界的入口。
From All In Likelihood: Statistical modeling and inference
留言
張貼留言