用例子簡單理解 EM 演算法
假設:
因為我們不知道 a 與 b，這樣的話，就沒有足夠可以獲得建構 log likelihood function 的訊息。
但是假如我們知道 p 的值，那我們可以估計 a、b 用下列
來估計 p 值。
所以由上述，以 EM 演算法來總結上述簡單參數估計的過程。設 p(n-1) 與 b(n-1) 為用上述反覆進行了 n-1 後 p 與 b 的估計值( a 不用估了，因為 a+b = k 知道 b 就等於知道 a )。
E-step 與 M-step 反覆執行直到收斂為止。
理論推導的部份可以參考:
1. http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
2. https://blog.csdn.net/zouxy09/article/details/8537620
事件
|
機率
|
促銷活動A
|
1/3
|
促銷活動B
|
0.5*p
|
促銷活動C
|
p
|
促銷活動D
|
2/3 – 1.5*p
|
我們抽樣觀察到:
事件
|
樣本發生的次數
|
促銷活動A
|
a
|
促銷活動B
|
b
|
促銷活動C
|
c
|
促銷活動D
|
d
|
log likelihood function 如下:
則可以用 MLE 可得
如果我們抽樣觀察到的樣本如下:
事件
|
樣本發生的次數
|
促銷活動B 或 A
|
k
|
促銷活動C
|
c
|
促銷活動D
|
d
|
因為我們不知道 a 與 b，這樣的話，就沒有足夠可以獲得建構 log likelihood function 的訊息。
但是假如我們知道 p 的值，那我們可以估計 a、b 用下列
如果知道了 a, b 值, 則用上述 p 的 MLE 公式
所以由上述，以 EM 演算法來總結上述簡單參數估計的過程。設 p(n-1) 與 b(n-1) 為用上述反覆進行了 n-1 後 p 與 b 的估計值( a 不用估了，因為 a+b = k 知道 b 就等於知道 a )。
E-step 與 M-step 反覆執行直到收斂為止。
理論推導的部份可以參考:
1. http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
2. https://blog.csdn.net/zouxy09/article/details/8537620
留言
張貼留言